機器學習部分

反向傳播 （Back propagation）vs 梯度下降（Gradient descent）

反向傳播算法是用來訓練ANN的。簡而言之，訓練ANN就是通過反向傳播代價，以減少代價為導向，調(diào)整參數(shù)。
調(diào)參的方式是采用梯度下降算法（Gradient descent），沿著梯度方向調(diào)整參數(shù)大小。
反向傳播算法的推導可以看博客：反向傳播算法具體推導過程

交叉熵

其中在soft target時，用到了raise the temperature策略，來提高soft target對應的cross entropy。

熵，說白了就是信息量。在dark knowledge論文中，Hinton提到利用soft target來提高交叉熵，就是要增大模型學到的信息量。（存疑）

為何CNN中的激活函數(shù)采用的是ReLU？

神經(jīng)網(wǎng)絡中常見的激活函數(shù)有sigmoid, tanh，而在CNN中我們最常使用的是ReLU。原因有一下三點：
1. 采用sigmoid等函數(shù)，算激活函數(shù)時（指數(shù)運算），計算量大，反向傳播求誤差梯度時，求導涉及除法，計算量相對大，而采用ReLU激活函數(shù)，整個過程的計算量節(jié)省很多。
2. 對于深層網(wǎng)絡，sigmoid函數(shù)反向傳播時，很容易就會出現(xiàn)梯度消失的情況（在sigmoid接近飽和區(qū)時，變換太緩慢，導數(shù)趨于0，這種情況會造成信息丟失，無法完成深層網(wǎng)絡的訓練。
3. ReLU會使一部分神經(jīng)元的輸出為0，這樣就造成了網(wǎng)絡的稀疏性，并且減少了參數(shù)的相互依存關(guān)系，緩解了過擬合問題的發(fā)生。

C++部分

字符串處理函數(shù)

長度函數(shù)int strlen(const char s[]):返回字符串中的字符個數(shù)，不計尾零。sizeof()計尾零。

復制函數(shù)char * strcpy(char to[], const char from[])

拼接函數(shù)char * strcat(char s1[], const char s2[])：返回指針指向s1串。

比較函數(shù)int strcmp(const char s1[], const char s2[]):按從前到后順序逐個比較對應字符的ASCII碼值。若s1中的字符串大于s2中的則返回值大于零；若兩字符串相等，則返回0；否則返回值小于零。

總結(jié)

以上是生活随笔為你收集整理的一些琐碎+分不清的知识点的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。