我們在以前談過《線性回歸損失函數(shù)為什么要用平方形式》，除了這篇文章中提到的理由外。還有什么依據(jù)呢？

平方形式的損失函數(shù)一般為：

C=12∑i=1n(yi?y?i)2
這稱為 SSE（The sum of squares due to error）， 誤差平方和。

還有一種稱為MSE(Mean Squared Error)，均方差。

C=12n∑i=1n(yi?y?i)2

這兩種形式本質(zhì)上是等價的。只是MSE計算得到的值比SSE計算得到的值要小，因為除了一個n。誤差平方和以及均方差的公式中有系數(shù)1/2，是為了求導(dǎo)后，系數(shù)被約去。

它們都是平方形式，一個重要原因是：誤差的平方形式是正的，是正數(shù)。這樣正的誤差和負(fù)的誤差不會相互抵消。這就是為什么不用一次方，三次方的原因。

但是，誤差的絕對值也是正的，為什么不用絕對值呢。所有還有第二個重要原因是：平方形式對大誤差的懲罰大于小誤差。例如：

(10?5)2=25，|10?5|=5
(10?8)2=4，|10?8|=2

一個是25：4，一個是5：2，顯然平方形式對大誤差的懲罰更大。

此外，還有第三個重要原因：平方形式對數(shù)學(xué)運算也更友好。我們經(jīng)常要求損失函數(shù)的導(dǎo)數(shù)，平方形式求導(dǎo)后變成一次函數(shù)；而絕對值形式對求導(dǎo)數(shù)學(xué)運算很不友好，需要分段求導(dǎo)。

此外，4次方，6次方，8次方雖然也能避免誤差正負(fù)相抵消，但對大誤差的懲罰又過大了；此外，求導(dǎo)后也仍然是多次函數(shù)。

總結(jié)

以上是生活随笔為你收集整理的损失函数为什么用平方形式（二）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。