在線性回歸中，我們以最小二乘來(lái)作為損失函數(shù)，然后使得這個(gè)損失函數(shù)的值最小。那么為什么會(huì)選擇最小二乘

而不是其它的指標(biāo)呢？ 今天就用概率方面的知識(shí)來(lái)解釋。首先，設(shè)

?

?????

?

其中是樣本的誤差糾正量。由于我們目的是訓(xùn)練出合適的參數(shù)，使得的絕對(duì)值盡量小，那么可以確定

大部分的值集中在0附近，而少數(shù)值離0較遠(yuǎn)，很明顯，這可以看成隨機(jī)變量服從高斯分布。即

?

?????

?

那么概率密度函數(shù)為

?

?????

?

那么也就是說(shuō)有

?

?????

?

亦即

?

??????

?

那么進(jìn)一步得到聯(lián)合概率密度函數(shù)為

?

??????

?

現(xiàn)在我們來(lái)求最大似然估計(jì)，即找到合適的參數(shù)，使得上述概率取值最大。兩邊分別取對(duì)數(shù)得到

?

??????

?

要是上述目標(biāo)函數(shù)值最大，那么只需要

?

??????

?

最小即可。這就解釋了線性回歸為什么要選用最小二乘作為衡量指標(biāo)了。多么美的自然科學(xué)啊！！！

?

現(xiàn)在想想Logistic回歸也是基于一個(gè)假設(shè)，即概率只能為0或者1，它是用一個(gè)Sigmoid函數(shù)來(lái)把數(shù)據(jù)范圍映射

到區(qū)間[0,1]上的，最后根據(jù)聯(lián)合概率密度函數(shù)求最大似然估計(jì)。

?

?

總結(jié)

以上是生活随笔為你收集整理的最小二乘的概率解释的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。