都2021年了，不会还有人连深度学习都不了解吧（三）- 损失函数篇
一、前言
深度學習系列文章陸陸續續已經發了兩篇，分別是激活函數篇和卷積篇，純干貨分享，想要入門深度學習的童鞋不容錯過噢！書接上文，該篇文章來給大家介紹“ 選擇對象的標準 ”-- 損失函數，損失函數種類繁多，各式各樣，不僅包括單損失函數，而且也包括多損失函數，但是最常使用的還是經典的均方誤差損失函數和交叉熵損失函數，所以本篇文章重點介紹這兩種損失函數，至于其余單損失函數和多損失函數，我也會簡單介紹一下，并提供相應的經典論文供大家自行閱讀！
二、什么是損失函數、為什么使用損失函數
其實，我們在現實生活中會在無形之中已經為某些事情制作了判定標準，比如如果有人問你現在有多幸福，你會如何回答呢？一般的人可能會給出諸如“還可以吧”或者“不是那么幸福”等籠統的回答。如果有人回答“我現在的幸福指數是10.23”的話，可能會把人嚇一跳吧。因為他用一個數值指標來評判自己的幸福程度。這里的幸福指數只是打個比方，實際上神經網絡的學習也在做同樣的事情。
神經網絡的學習通過某個指標表示現在的狀態。然后，以這個指標為基準，尋找最優權重參數。和剛剛那位以幸福指數為指引尋找“最優人生”的人一樣，神經網絡以某個指標為線索尋找最優權重參數。神經網絡的學習中所用的指標稱為損失函數（loss function）。這個損失函數可以使用任意函數，但一般用均方誤差和交叉熵誤差等。
損失函數是表示神經網絡性能的“惡劣程度”的指標，即當前的神經網絡對監督數據在多大程度上不擬合，在多大程度上不一致。以“性能的惡劣程度”為指標可能會使人感到不太自然，但是如果給損失函數乘上一個負值，就可以解釋為“在多大程度上不壞”，即“性能有多好”。并且，“使性能的惡劣程度達到最小”和“使性能的優良程度達到最大”是等價的，不管是用“惡劣程度”還是“優良程度”，做的事情本質上都是一樣的。
三、單損失函數
3.1 均方誤差損失函數
可以用作神經網絡損失函數的函數有很多，其中最有名的莫過于均方誤差了，均方誤差如下式所示：
yk是表示神經網絡的輸出，tk表示監督數據，k表示數據的維數。均方誤差會計算神經網絡的輸出和正確解監督數據的各個元素之差的平方，再求總和。
3.2、交叉熵損失函數
相較于均方誤差損失函數，交叉熵損失函數在實際應用中用的會更多，在這一年的學習研究深度學習過程中，看過的論文中，若使用單損失函數，絕大多數都會用到交叉熵損失；即使是多損失函數，交叉熵函數也會是其中一部分，這足以說明交叉熵函數在深度學習領域的重要地位。交叉熵損失函數如下式表示：
log表示以e為底數的自然對數（log e）。yk是神經網絡的輸出，tk是正確解標簽。并且，tk中只有正確解標簽的索引為1，其他均為0。
當然，另一種表示形式會將交叉熵損失解釋的更加直白一些，另一種表示形式如下：
Note：（如何理解交叉熵損失，這很重要）
-
當y=1時，C = -loga。我們肯定是想讓-loga盡可能地小，這就意味著，loga要盡可能地大，這也意味著a要足夠大，但a再大也不可能大于1，所以，我們想要a盡可能地接近1。
-
當y=0時，C = -log(1-a)。我們肯定是想讓-log(1-a)盡可能地小，這就意味著，log(1-a)要盡可能地大，這也意味著a要足夠小，但a再小也不可能小于0，所以，我們想要a盡可能地接近0。
3.3 絕對值損失函數
絕對值損失函數是計算預測值與目標值的差的絕對值，該損失函數在深度神經網絡中用的非常少，基本可以忽略不記了。
3.4 對數損失函數
對數損失函數的標準形式如下：
‘
(1) log對數損失函數能非常好的表征概率分布，在很多場景尤其是多分類，如果需要知道結果屬于每個類別的置信度，那它非常適合。
(2) 健壯性不強，相比于hinge loss對噪聲更敏感。
(3) 邏輯回歸的損失函數就是log對數損失函數。
引用
3.5 指數損失函數
指數損失函數的定義如下：
該損失函數地特征是對離群點、噪聲非常敏感。但經常用在AdaBoost算法中。
推薦論文
推薦的論文都是深度學習方面的經典論文，非常適合深度學習入門。論文的寫法，如何做消融實驗都值得大家去學習。這些論文中使用的損失函數絕大多數都是交叉熵損失函數，從這里足以看出交叉熵損失函數的重要之處。
《VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION》
《Network In Network》
《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》
《Dense Fully Convolutional Network for Skin Lesion Segmentation》
四、多損失函數
多損失函數常用于多分枝的網絡模型中。這些模型中，大多數都設計了兩個分支，例如一個分支用來提取上下文特征信息，另一分支用于提取邊緣信息，兩者信息顯然是不同的，所以需要設計兩個損失函數分別來對網絡模型進行計算。在這里，我會分享一些前沿的論文供大家參考閱讀。
推薦論文
《Skin lesion segmentation via generative adversarial networks with dual discriminators》
《MATTHEWS CORRELATION COEFFICIENT LOSS FOR DEEP CONVOLUTIONAL NETWORKS: APPLICATION TO SKIN LESION SEGMENTATION》
參考文獻
《深度學習入門 - 基于Python的理論與實現》
https://zhuanlan.zhihu.com/p/58883095
《VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION》
《Network In Network》
《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》
《Dense Fully Convolutional Network for Skin Lesion Segmentation》
《Skin lesion segmentation via generative adversarial networks with dual discriminators》
《MATTHEWS CORRELATION COEFFICIENT LOSS FOR DEEP CONVOLUTIONAL NETWORKS: APPLICATION TO SKIN LESION SEGMENTATION》
計劃 – 深度學習系列
都2021年了，不會還有人連深度學習還不了解吧？（一）-- 激活函數篇
都2021年了，不會還有人連深度學習還不了解吧？（二）-- 卷積篇
都2021年了，不會還有人連深度學習還不了解吧？（三）-- 損失函數篇
都2021年了，不會還有人連深度學習還不了解吧？（四）-- 上采樣篇
都2021年了，不會還有人連深度學習還不了解吧？（五）-- 下采樣篇
都2021年了，不會還有人連深度學習還不了解吧？（六）-- Padding篇
都2021年了，不會還有人連深度學習還不了解吧？（七）-- 評估指標篇
都2021年了，不會還有人連深度學習還不了解吧？（八）-- 優化算法篇
都2021年了，不會還有人連深度學習還不了解吧？（九）-- 注意力機制篇
都2021年了，不會還有人連深度學習還不了解吧？（十）-- 數據歸一化篇
覺得寫的不錯的話，歡迎點贊+評論+收藏，這對我幫助很大！
總結
以上是生活随笔為你收集整理的都2021年了，不会还有人连深度学习都不了解吧（三）- 损失函数篇的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 都2021年了，不会还有人连深度学习都不
- 下一篇： 都2021年了，不会还有人连深度学习都不