點擊藍字關注我們

AI研習圖書館，發現不一樣的精彩世界

學習
筆記

常見損失函數總結-圖像分類篇【上】

一、前言在深度學習中，損失函數扮演著至關重要的角色。通過最小化損失函數，使模型達到收斂狀態，減少模型預測值的誤差。因此，不同的損失函數，對模型的影響是十分重大的。接下來，重點總結一下在實習工作實踐中經常用到的損失函數：

• 圖像分類：softmax，weighted softmax loss，focal loss，soft softmax loss，L-softmax Loss，Hinge，Exponential loss與Logistic loss
• 目標檢測：Focal loss，L1/L2損失，IOU Loss，GIOU ，DIOU，CIOU
• 圖像識別：Triplet Loss，Center Loss，Sphereface，Cosface，Arcface

什么是損失函數？深度學習中的損失函數(loss function)是用來評估模型的預測值-f(x)與真實值-y的不一致程度，損失函數越小，代表模型的魯棒性越好，損失函數能指導模型學習。?二、常見圖像分類損失函數2.1、0-1 loss

0-1 loss是最原始的loss，它直接比較輸出值與輸入值是否相等，對于樣本i，它的loss等于：

當標簽與預測類別相等時，loss為0，否則為1。可以看出，0-1 loss無法對x進行求導，在依賴于反向傳播的深度學習任務中，無法被使用，0-1 loss更多的是啟發新的loss的產生。2.2、熵與交叉熵loss物理學中的熵，表示一個熱力學系統的無序程度。為了解決對信息的量化度量問題，香農在1948年提出了“信息熵”的概念，它使用對數函數表示對不確定性的測量。熵越高，表示能傳輸的信息越多，熵越少，表示傳輸的信息越少，可以直接將熵理解為信息量。

對于單個的信息源，信源的平均不確定性就是單個符號不確定性-logpi的統計平均值，信息熵的定義如下：

假設有兩個概率分布p(x)和q(x)，其中p是已知的分布，q是未知的分布，則其交叉熵函數是兩個分布的互信息，可以反應其相關程度。至此，引出了分類任務中最常用的loss，即log loss，又名交叉熵loss，后統一稱為交叉熵：

在圖像分類中，經常使用softmax+交叉熵作為損失函數：

其中p(x)" role="presentation" style=" display: inline; line-height: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">p(x)表示真實概率分布，q(x)" role="presentation" style=" display: inline; line-height: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">q(x)表示預測概率分布。交叉熵損失函數通過縮小兩個概率分布的差異，來使預測概率分布盡可能達到真實概率分布。后來，谷歌在交叉熵的基礎上，提出了label smoothing(標簽平滑)在實際中，需要用預測概率去擬合真實概率，而擬合one-hot的真實概率函數會帶來兩個問題：

無法保證模型的泛化能力，容易造成過擬合；

全概率和0概率鼓勵所屬類別和其他類別之間的差距盡可能加大，而由梯度有界可知，這種情況很難適應，會造成模型過于相信預測的類別。

因此，為了減少這種過于自信，同時減緩人為標注的誤差帶來的影響，需要對p(x)" role="presentation" style=" display: inline; line-height: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">p(x)進行變化：其中，δ(k,y)" role="presentation" style=" display: inline; line-height: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">δ(k,y)為Dirac函數，u(k)" role="presentation" style=" display: inline; line-height: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">u(k)為均勻分布。簡單而言，降低標簽y的置信度，提高其余類別的置信度。從而，交叉熵變成：2.3、softmax loss及其變種假如log loss中的f(x)的表現形式是softmax概率的形式，那么交叉熵loss就是熟知的softmax with cross-entropy loss，簡稱softmax loss，所以說softmax loss只是交叉熵的一個特例。softmax loss被廣泛用于分類分割等任務，且發展出了很多的變種，有針對不平衡樣本問題的weighted softmax loss，focal loss，針對蒸餾學習的soft softmax loss，促進類內更加緊湊的L-softmax Loss等一系列的改進。

限于篇幅，更多精彩，請關注下期內容~

推薦閱讀文章

[1]?AI入門-人工智能的前世今生[2]?AI入門-深度學習綜述[3]?AI入門-計算機視覺學習指南[附資源][4]?深度學習框架總結—國際篇[5]?深度學習-CNN結構設計技巧[6]?資源分享-深度學習及數據分析等資源合集

[7]?今日分享—統計學習方法

[8]?算法總結—人臉檢測算法

Bilibili : 洛必達數數CSDN博客：算法之美DLGitHub：statisticszhang關注AI研習圖書館，發現不一樣的精彩世界 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的display函数怎么使用_损失函数—深度学习常见损失函数总结【图像分类|上】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。