? ? loss函數(shù)，即損失函數(shù)，是決定網(wǎng)絡(luò)學(xué)習(xí)質(zhì)量的關(guān)鍵。若網(wǎng)絡(luò)結(jié)構(gòu)不變的前提下，損失函數(shù)選擇不當(dāng)會導(dǎo)致模型精度差等后果。若有錯誤，敬請指正，Thank you！

目錄

一、loss函數(shù)定義

二、常見的loss算法種類

1.MSE(均值平方差)

2.交叉熵

三、總結(jié)

四、tensorflow相應(yīng)函數(shù)

1.MSE

2.交叉熵

---

一、loss函數(shù)定義

loss函數(shù)的作用就是描述模型的預(yù)測值與真實(shí)值之間的差距大小。我的理解是尋找一個標(biāo)準(zhǔn)來幫助訓(xùn)練機(jī)制隨時優(yōu)化參數(shù)，以便于找到網(wǎng)絡(luò)的最高精度下的參數(shù)。這個標(biāo)準(zhǔn)不難理解，與我們?nèi)粘Ｉ钪械暮芏嗍虑橐恢?#xff0c;例如倒車入庫，在你倒車的同時肯定會一邊打方向盤一邊看倒后鏡一樣（當(dāng)然具備自動倒車入庫功能的車除外），根據(jù)倒后鏡中看到的停車線，隨時調(diào)整以便能夠準(zhǔn)確入庫，這個停車線就是標(biāo)準(zhǔn)。更通俗的來說，loss函數(shù)就是指導(dǎo)模型在訓(xùn)練過程中朝著收斂的方向前進(jìn)。

?

二、常見的loss算法種類

1.MSE(均值平方差)

數(shù)理統(tǒng)計(jì)中演化而來，均方誤差是指參數(shù)估計(jì)值和參數(shù)真實(shí)值之差平方的期望值。在此處其主要是對每個預(yù)測值與真實(shí)值作差求平方的平均值，具體公式如下所示：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

MSE越小代表模型越好，類似的算法還包括RMSE和MAD。

2.交叉熵

交叉熵(crossentropy)刻畫了兩個概率分布之間的距離，更適合用在分類問題上，因?yàn)榻徊骒乇磉_(dá)預(yù)測輸入樣本屬于某一類的概率。其公式如下所示：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ?? ? ? ??

與MSE一樣，交叉熵也是值越小代表模型精度越高。

三、總結(jié)

loss函數(shù)的選取取決于輸入標(biāo)簽數(shù)據(jù)的類型：若輸入的是實(shí)數(shù)、無界的值，損失函數(shù)使用平方差；若輸入標(biāo)簽是位矢量(分類標(biāo)志)，使用交叉熵更適合。此外預(yù)測值與真實(shí)值要采用同樣的數(shù)據(jù)分布，以便于loss函數(shù)取得更佳的效果。

四、tensorflow相應(yīng)函數(shù)

由于博主是基于tensorflow的框架來學(xué)習(xí)深度學(xué)習(xí)，之后的每篇文章最后一部分都會介紹tensorflow相應(yīng)函數(shù)。

1.MSE

tensorflow沒有單獨(dú)的MSE函數(shù)，不過可由開發(fā)者自己組合即可，如下所示：

#logits為真實(shí)值，outputs為預(yù)測值 MSE = tf.reduce_mean(tf.square(logits-outputs))) RMSE = tf.sqrt(tf.reduce_mean(tf.square(logits-outputs))) mad = tf.reduce_mean(tf.complex_abs(logits-outputs))

2.交叉熵

tensorflow具有多種常見的交叉熵函數(shù)：

#Sigmoid交叉熵 tf.nn.simoid_cross_entropy_with_logits(logits,target,name=None) #softmax交叉熵 tf.nn.softmax_cross_entropy_with_logits(logits,target,name=None) #Sparse交叉熵 tf.nn.sparse_cross_entropy_with_logits(logits,target,name=None) #加權(quán)Sigmoid交叉熵 tf.nn.weighter_cross_entropy_with_logits(logits,target,pos_weight,name=None)

參考文獻(xiàn)：

1.《深度學(xué)習(xí)之tensorflow》

總結(jié)

以上是生活随笔為你收集整理的深度学习基础（三）loss函数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。