最小二乘法原理及极值点判定
最小二乘法的本質(zhì)原理
??
????本文主要以最簡(jiǎn)單的二元線性函數(shù)為基礎(chǔ)，闡述最小二乘法的原理，事實(shí)上，最小二乘法可以更廣泛地應(yīng)用于非線性方程中，但本文以介紹為主，希望能以最簡(jiǎn)單的形式，使讀者能夠掌握最小二乘法的意義。
在物理實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)時(shí)，我們會(huì)記錄一些數(shù)據(jù)，記做數(shù)據(jù)x和數(shù)據(jù)y。但是，在記錄數(shù)據(jù)后，我們依然不知道x和y?的具體關(guān)系。例如，測(cè)算男人手掌面積和身高的關(guān)系，我們會(huì)得到兩組數(shù)據(jù)，如圖，
???????????????圖1數(shù)據(jù)點(diǎn)分布
這并不是一條嚴(yán)格意義上的直線，但這些數(shù)據(jù)對(duì)于實(shí)驗(yàn)研究員來(lái)說(shuō)，可以作為某種依據(jù)，從而判斷出兩種數(shù)據(jù)之間的關(guān)系。根據(jù)兩個(gè)量的許多組觀測(cè)數(shù)據(jù)來(lái)確定它們的函數(shù)曲線，這就是實(shí)驗(yàn)數(shù)據(jù)處理中的曲線擬合問(wèn)題。
事實(shí)上，我們更關(guān)注的是如何才能找到這么一條漂亮的曲線。那么，找到這條曲線的方法稱作“最小二乘法”。
曲線擬合中最基本和最常用的是直線擬合。設(shè)x和y之間的函數(shù)關(guān)系由直線方程
y=ax+b給出。
式中有兩個(gè)待定參數(shù)，b代表截距，a代表斜率。下面的問(wèn)題在于，如何找到“最合適”的a和b使得盡可能多的數(shù)據(jù)落在或者更加靠近這條擬合出來(lái)的直線上。即數(shù)據(jù)對(duì)這條直線的逼近程度最佳。當(dāng)然，當(dāng)我們將直線擬合出來(lái)之后，就可以反過(guò)來(lái)進(jìn)行預(yù)測(cè)了。所以說(shuō)最小二乘法是很有用的一種測(cè)算方法。
實(shí)際上，我們并不關(guān)心x和y到底是多少，因?yàn)閤和y是給定的，當(dāng)然x和y與其本質(zhì)的內(nèi)在關(guān)系之間肯定存在誤差。我們關(guān)心的是方程中的a和b，也就是說(shuō)，在這個(gè)待定的方程中，a和b才是所求的變量，它們可以描述出x和y的關(guān)系。?所以我們接下來(lái)的任務(wù)就是找到一組最好的a和b。
我們對(duì)a和b的要求就是，使得所有x和y相對(duì)擬合直線的誤差總和最小。也就是說(shuō)，我們要考慮的是，要使這些數(shù)據(jù)點(diǎn)距離擬合直線的和最小，距離最短，這樣就可以使得盡可能多的數(shù)據(jù)成為有效點(diǎn)。
接下來(lái)我們的工作就是，最小化誤差了。
最小二成法就此登場(chǎng)。
最小二乘法名字的緣由有兩個(gè)，一是我們要將誤差最小化，二是我們將誤差最小化的方法是使誤差的平方和最小化。誤差最小化的原因前已述及，用誤差平方和最小化來(lái)約束誤差的原因是要規(guī)避負(fù)數(shù)對(duì)計(jì)算的影響。
接下來(lái)我們要做的就是使誤差的平方和最小了。
對(duì)試驗(yàn)數(shù)據(jù)，使得最小，根據(jù)二元函數(shù)取極值，可知，須成立，
則??
?
聯(lián)立得
????????
?
接下來(lái)求解a和b，就可以了。
問(wèn)題又來(lái)了，以上求極值的方法只能保證所求的點(diǎn)是駐點(diǎn)（臨界點(diǎn)），我們知道，多元函數(shù)的駐點(diǎn)可以分為三類(lèi)，即極小點(diǎn)、極大點(diǎn)和鞍點(diǎn)。
?
?????????????圖2鞍點(diǎn)
?
?????????????圖3極小點(diǎn)
我們至此還不能說(shuō)明這就是我們要找的最優(yōu)解，因?yàn)轳v點(diǎn)有可能是極小點(diǎn)也有可能是鞍點(diǎn)或者是極大點(diǎn)。所以我們接下來(lái)要證明所求是滿足要求的極小點(diǎn)。
?
極值點(diǎn)的判定
?
設(shè)函數(shù)，假設(shè)a不為零，則
??
??
這樣，我們就把原式改寫(xiě)成了平方和/差的形式了。但我們還不知道到底是平方和還是平方差，這取決于平方項(xiàng)的系數(shù)。
下面分三種情況討論：
若4ac-b^2<0，則二次項(xiàng)系數(shù)一正一負(fù)，臨界點(diǎn)是鞍點(diǎn)。
若4ac-b^2=0，則只有一個(gè)平方項(xiàng)，這就意味著函數(shù)臨界點(diǎn)只受到一個(gè)方向的約束，另一個(gè)方向發(fā)生了退化，不起作用了，如圖，
??????圖4?退化后的極值點(diǎn)
若4ac-b^2>0，這時(shí)會(huì)有兩個(gè)平方項(xiàng)的系數(shù)都是正，此時(shí)w必能取到極值。當(dāng)a>0時(shí)取極大值；當(dāng)a<0時(shí)取取極小值。
由于通常情況下，我們求解釋不可能有如此規(guī)范的方程形式，所以我們要引入二階導(dǎo)數(shù)，再用以上方法判斷臨界點(diǎn)的類(lèi)型。
(1)?二元函數(shù)的極值一定在臨界點(diǎn)和不可導(dǎo)取得。對(duì)于不可導(dǎo)點(diǎn)，難以判斷是否是極值點(diǎn)；對(duì)于駐點(diǎn)可用極值的充分條件判定。
(2)二元函數(shù)取得極值的必要條件：?設(shè)在點(diǎn)處可微分且在點(diǎn)處有極值，則，，即是駐點(diǎn)。
(3)?二元函數(shù)取得極值的充分條件：設(shè)在的某個(gè)領(lǐng)域內(nèi)有連續(xù)上二階偏導(dǎo)數(shù)，且，令，，，則
當(dāng)且?A<0時(shí)，f為極大值；
當(dāng)且A>0，f為極小值；
時(shí)，是鞍點(diǎn)；
當(dāng)B2－AC?=?0時(shí)，函數(shù)z?=?f?(x,?y)在點(diǎn)可能有極值，也可能沒(méi)有極值，這里不做討論了。
最后，我們將原始方法和二階導(dǎo)方法做一個(gè)聯(lián)系，事實(shí)上，二階導(dǎo)的方法是原始方法的進(jìn)化版本。
對(duì)求導(dǎo)，得
?
????
????將求二階導(dǎo)方法中的A、B、C與原始方法中的a、b、c建立聯(lián)系，得
A=2a
B=b
C=2c
從而得到AC=4ac-b^2，可見(jiàn)兩種方法等效。
總結(jié)
以上是生活随笔為你收集整理的最小二乘法原理及极值点判定的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： SVN:多版本库环境的搭建
- 下一篇： cannot import caffe