我們在前面的《線性回歸》中了解到，對于訓(xùn)練數(shù)據(jù)樣本(xi,yi)，我們有如下的擬合直線：

y?i=θ0+θ1?xi
我們構(gòu)建了一個(gè)損失函數(shù)：
C=∑i=1n(yi?y?i)2
表示每個(gè)訓(xùn)練數(shù)據(jù)點(diǎn) (xi,yi)到擬合直線 y?i=θ0+θ1?xi的豎直距離的平方和，通過最小化這個(gè)損失函數(shù)來求得擬合直線的最佳參數(shù) θ，實(shí)際上就是求損失函數(shù)C在取得最小值情況下 θ的值。那么損失函數(shù)為什么要用平方差形式呢，而不是絕對值形式，一次方，三次方，或四次方形式？

簡單的說，是因?yàn)槭褂闷椒叫问降臅r(shí)候，使用的是“最小二乘法”的思想，這里的“二乘”指的是用平方來度量觀測點(diǎn)與估計(jì)點(diǎn)的距離（遠(yuǎn)近），“最小”指的是參數(shù)值要保證各個(gè)觀測點(diǎn)與估計(jì)點(diǎn)的距離的平方和達(dá)到最小。

最小二乘法以估計(jì)值與觀測值的平方和作為損失函數(shù)，在誤差服從正態(tài)分布的前提下，與極大似然估計(jì)的思想在本質(zhì)上是相同。對于極大似然估計(jì)，可以參考下前期文章《極大似然估計(jì)》。
我們設(shè)觀測輸出與預(yù)估數(shù)據(jù)之間的誤差為：

εi=yi?y?i
我們通常認(rèn)為 ε服從正態(tài)分布，即：
f(εi;u,σ2)=1σ2π??√?exp[?(εi?u)22σ2]
我們求的參數(shù) ε的極大似然估計(jì) (u,σ2)，即是說，在某個(gè) (u,σ2)下，使得服從正態(tài)分布的 ε取得現(xiàn)有樣本 εi的概率最大。那么根據(jù)極大似然估計(jì)函數(shù)的定義，令：
L(u,σ2)=∏i=1n12π??√σ?exp(?(εi?u)22σ2)
取對數(shù)似然函數(shù)：
logL(u,σ2)=?n2logσ2?n2log2π?∑i=1n(εi?u)22σ2
分別求 (u,σ2)的偏導(dǎo)數(shù)，然后置0，最后求得參數(shù) (u,σ2)的極大似然估計(jì)為：
u=1n∑i=1nεi
σ2=1n∑i=1n(εi?u)2
我們在線性回歸中要求得最佳擬合直線 y?i=θ0+θ1?xi，實(shí)質(zhì)上是求預(yù)估值 y?i與觀測值 yi之間的誤差 εi最小（最好是沒有誤差）的情況下 θ的值。而前面提到過， ε是服從參數(shù) (u,σ2)的正態(tài)分布，那最好是均值 u和方差σ趨近于0或越小越好。即:
u=1n∑i=1nεi=1n∑i=1n(yi?y?i)趨近于0或越小越好
σ2=1n∑i=1n(εi?u)2=1n∑i=1n(yi?y?i?u)2≈1n∑i=1n(yi?y?i)2趨近于0或越小越好。
而這與最前面構(gòu)建的平方形式損失函數(shù)本質(zhì)上是等價(jià)的。

總結(jié)

以上是生活随笔為你收集整理的线性回归损失函数为什么要用平方形式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。