主要內容：

0-1, Hinge, Logistic, Cross Entropy, Square, Absolute, Huber

簡述：

損失函數刻畫了模型與訓練樣本的匹配程度。

分類損失

分類Loss.png

1. 對于二分類問題，Y={1,-1}，我們希望

?

0-1損失：

最自然的損失函數是0-1損失，表示的是，當且僅當預測不正確的時候取值為1，否則取值為0。該損失函數能夠直觀的刻畫分類的錯誤率，但是由于其非凸、非光滑的特點，使得算法很難直接對該函數進行優化。

Hinge損失：

Hinge損失函數是0-1損失函數相對緊的凸上界，且當時候,該函數不對其做任何處罰。由于Hinge損失在f.y=1處不可導，因此不能使用梯度下降算法優化，而是使用次梯度下降法。

Logistic損失函數：

Logistic損失函數也是0-1損失函數的凸上界，且該函數處處光滑，因此可以使用梯度下降法進行優化。但是，該函數對所有樣本點都做懲罰，因此對異常點更為敏感。

Cross Entropy：

交叉熵損失函數是常用的二分類損失函數。交叉熵損失函數也是0-1損失的光滑凸上界。

回歸損失

回歸Loss.png

1.對于回歸問題,我們期望

Square損失：

平方損失函數是光滑函數，能夠使用梯度下降法優化。然而當預測值距離真實值越遠時，平方損失函數的懲罰力度越大，因此對異常點比較敏感。

Absolute損失：

絕對損失函數相當于在做中值回歸，相比做均值回歸的平方損失函數，絕對損失函數對異常點更魯棒。但是，絕對損失函數在f=y處無法求導。

Huber損失：

Huber損失函數在|f-y|較小時為平方損失，在|f-y|較大的時采用線性損失，處處可導，且對異常點魯棒。

---

歡迎關注【深度學習沖鴨】公眾號，我會在這里記錄自己在路上的一點一滴！

再小的人也有自己的品牌！期待和你一起進步！

總結

以上是生活随笔為你收集整理的边框回归的损失函数_一文搞懂常用的七种损失函数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。