最小二乘法的本質(zhì)原理

? 轉自：http://blog.sina.com.cn/s/blog_5e6614220101ks63.html

????本文主要以最簡單的二元線性函數(shù)為基礎，闡述最小二乘法的原理，事實上，最小二乘法可以更廣泛地應用于非線性方程中，但本文以介紹為主，希望能以最簡單的形式，使讀者能夠掌握最小二乘法的意義。

在物理實驗數(shù)據(jù)統(tǒng)計時，我們會記錄一些數(shù)據(jù)，記做數(shù)據(jù)x和數(shù)據(jù)y。但是，在記錄數(shù)據(jù)后，我們依然不知道x和y?的具體關系。例如，測算男人手掌面積和身高的關系，我們會得到兩組數(shù)據(jù)，如圖，

???????????????圖1數(shù)據(jù)點分布

這并不是一條嚴格意義上的直線，但這些數(shù)據(jù)對于實驗研究員來說，可以作為某種依據(jù)，從而判斷出兩種數(shù)據(jù)之間的關系。根據(jù)兩個量的許多組觀測數(shù)據(jù)來確定它們的函數(shù)曲線，這就是實驗數(shù)據(jù)處理中的曲線擬合問題。

事實上，我們更關注的是如何才能找到這么一條漂亮的曲線。那么，找到這條曲線的方法稱作“最小二乘法”。

曲線擬合中最基本和最常用的是直線擬合。設x和y之間的函數(shù)關系由直線方程

　　y=ax+b給出。

式中有兩個待定參數(shù)，b代表截距，a代表斜率。下面的問題在于，如何找到“最合適”的a和b使得盡可能多的數(shù)據(jù)落在或者更加靠近這條擬合出來的直線上。即數(shù)據(jù)對這條直線的逼近程度最佳。當然，當我們將直線擬合出來之后，就可以反過來進行預測了。所以說最小二乘法是很有用的一種測算方法。

實際上，我們并不關心x和y到底是多少，因為x和y是給定的，當然x和y與其本質(zhì)的內(nèi)在關系之間肯定存在誤差。我們關心的是方程中的a和b，也就是說，在這個待定的方程中，a和b才是所求的變量，它們可以描述出x和y的關系。?所以我們接下來的任務就是找到一組最好的a和b。

我們對a和b的要求就是，使得所有x和y相對擬合直線的誤差總和最小。也就是說，我們要考慮的是，要使這些數(shù)據(jù)點距離擬合直線的和最小，距離最短，這樣就可以使得盡可能多的數(shù)據(jù)成為有效點。

接下來我們的工作就是，最小化誤差了。

最小二成法就此登場。

最小二乘法名字的緣由有兩個，一是我們要將誤差最小化，二是我們將誤差最小化的方法是使誤差的平方和最小化。誤差最小化的原因前已述及，用誤差平方和最小化來約束誤差的原因是要規(guī)避負數(shù)對計算的影響。

接下來我們要做的就是使誤差的平方和最小了。

對試驗數(shù)據(jù)，使得最小，根據(jù)二元函數(shù)取極值，可知，須成立，

則??

?

聯(lián)立得

????????

?

接下來求解a和b，就可以了。

問題又來了，以上求極值的方法只能保證所求的點是駐點（臨界點），我們知道，多元函數(shù)的駐點可以分為三類，即極小點、極大點和鞍點。

?

?????????????圖2鞍點

?

?????????????圖3極小點

我們至此還不能說明這就是我們要找的最優(yōu)解，因為駐點有可能是極小點也有可能是鞍點或者是極大點。所以我們接下來要證明所求是滿足要求的極小點。

?

極值點的判定

?

設函數(shù)，假設a不為零，則

??

??

這樣，我們就把原式改寫成了平方和/差的形式了。但我們還不知道到底是平方和還是平方差，這取決于平方項的系數(shù)。

下面分三種情況討論：

若4ac-b^2<0，則二次項系數(shù)一正一負，臨界點是鞍點。

若4ac-b^2=0，則只有一個平方項，這就意味著函數(shù)臨界點只受到一個方向的約束，另一個方向發(fā)生了退化，不起作用了，如圖，

??????圖4?退化后的極值點

若4ac-b^2>0，這時會有兩個平方項的系數(shù)都是正，此時w必能取到極值。當a>0時取極大值；當a<0時取取極小值。

由于通常情況下，我們求解釋不可能有如此規(guī)范的方程形式，所以我們要引入二階導數(shù)，再用以上方法判斷臨界點的類型。

(1)?二元函數(shù)的極值一定在臨界點和不可導取得。對于不可導點，難以判斷是否是極值點；對于駐點可用極值的充分條件判定。

(2)二元函數(shù)取得極值的必要條件：?設在點處可微分且在點處有極值，則，，即是駐點。

(3)?二元函數(shù)取得極值的充分條件：設在的某個領域內(nèi)有連續(xù)上二階偏導數(shù)，且，令，，，則

當且?A<0時，f為極大值；

當且A>0，f為極小值；

時，是鞍點；

當B2－AC?=?0時，函數(shù)z?=?f?(x,?y)在點可能有極值，也可能沒有極值，這里不做討論了。

最后，我們將原始方法和二階導方法做一個聯(lián)系，事實上，二階導的方法是原始方法的進化版本。

對求導，得

?

????將求二階導方法中的A、B、C與原始方法中的a、b、c建立聯(lián)系，得

A=2a

B=b

C=2c

從而得到AC=4ac-b^2，可見兩種方法等效。

轉載于:https://www.cnblogs.com/Baron-Lu/p/9878693.html

總結

以上是生活随笔為你收集整理的最小二乘法的本质原理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。