平時(shí)日常的生活工作中，會(huì)產(chǎn)生一些數(shù)據(jù)集，這些數(shù)據(jù)或是關(guān)于時(shí)間的變量(基于時(shí)間的序列)，或者是關(guān)于多個(gè)自變量(由多個(gè)因素影響)的多元函數(shù)。在數(shù)學(xué)上為了建立能較為準(zhǔn)確地描述這種函數(shù)關(guān)系的模型。往往會(huì)用到一種較為直觀的方法，即圖表法，即繪制出自變量

的圖。

1.理論

1.1最小二乘法

首先，這個(gè)式子就是最小二乘法的數(shù)學(xué)表達(dá)，這個(gè)式子的

表示我們選取的模型得到的y的預(yù)測(cè)值，

則是真實(shí)值。使得所有的兩者之差的平方和最小，即可認(rèn)為是所有預(yù)測(cè)值偏離真實(shí)值的程度最小。(事實(shí)上可證明最小二乘法得到的是真實(shí)值的無(wú)偏估計(jì)，但是方差并不一定是最小的，還有很多優(yōu)化的措施)

1.2多元線性回歸

本文旨在介紹一下擬合未知數(shù)據(jù)集曲線的一種方法，即最小二乘法。由于線性回歸是大多數(shù)非線性回歸的基礎(chǔ)，先從線性回歸講起。或許在以前大家知道最小二乘法在擬合一元線性方程(即

)的應(yīng)用。那時(shí)得出來(lái)的公式如下：

但是總的來(lái)說(shuō)這個(gè)公式不具備普適性，比如y要是和x1還有x2都有關(guān)聯(lián)(即

)，這個(gè)公式就不適用了。接下來(lái)推導(dǎo)最小二乘法下的多元線性回歸公式，(涉及高等數(shù)學(xué)和線性代數(shù))

假設(shè)有一組因變量，且y滿足線性關(guān)系。

由于隨機(jī)誤差無(wú)法量化，故在計(jì)算中只需計(jì)算f(x)部分。由兩者關(guān)聯(lián)得到：

將此式子化為矩陣形式得到矩陣形式

w即是所要求的的各個(gè)自變量前的系數(shù)組成的行向量(a,b,c,...等等)。接下來(lái)求其最小值，則使矩陣式子關(guān)于向量w的偏導(dǎo)為0即可。

即可通過(guò)以下符號(hào)解來(lái)求解線性方程組的最優(yōu)參數(shù)。

(其實(shí)有些小缺陷，就是當(dāng)矩陣不滿秩時(shí)無(wú)法求逆，當(dāng)然是有解決辦法的，但這里不再贅述)

1.3非線性函數(shù)求解未知參數(shù)的方法

剛剛介紹了線性回歸里求解模型參數(shù)的方法，接下來(lái)進(jìn)入非線性的參數(shù)求解。舉個(gè)例子，我已經(jīng)確定我的模型為，這個(gè)明顯是個(gè)非線性函數(shù)，是個(gè)有兩個(gè)未知常數(shù)的指數(shù)模型。那么現(xiàn)在有了一堆數(shù)據(jù)點(diǎn)((x1,y1)(x2,y2)(x3,y3)...)我如何求解最小二乘法下的a、b的值呢？

引入梯度下降法的概念，梯度grad=

，是一個(gè)對(duì)函數(shù)f每一個(gè)自變量求偏導(dǎo)得到的向量。方向?qū)?shù)描述了多元函數(shù)在某個(gè)方向上的上升趨勢(shì)，而梯度方向是上升最快的方向，那么取梯度的反方向即當(dāng)前下降最快的方向。故梯度下降法的迭代式為

(ɑ為步長(zhǎng))，它是一種通過(guò)反復(fù)迭代來(lái)求解函數(shù)的局部最優(yōu)解的方法，一般用在凸函數(shù)的最優(yōu)解求解過(guò)程中。故多元非線性函數(shù)，可以通過(guò)利用梯度下降法來(lái)求最小二乘構(gòu)造的函數(shù)的最小值來(lái)求得參數(shù)。

2.應(yīng)用

2.1簡(jiǎn)單的曲線擬合

以下編程基于python2.7

就拿上面那個(gè)簡(jiǎn)單的例子來(lái)說(shuō)，

我先產(chǎn)生一個(gè)基于這個(gè)模型的散點(diǎn)，然后加上一個(gè)服從N~(0,1)正態(tài)分布的隨機(jī)噪聲。得到了以下散點(diǎn)：

黃色的散點(diǎn)為加上噪聲的數(shù)據(jù)，紅線為的曲線。這里我使用了一個(gè)簡(jiǎn)單的方法(當(dāng)然如果是一般情況，就要使用一些列優(yōu)化方法了)，使其可以轉(zhuǎn)化成線性回歸，(無(wú)法經(jīng)過(guò)處理線性化的非線性函數(shù)使用梯度下降法即可)做以下處理：

對(duì)等式兩邊取對(duì)數(shù)，得到，則可以根據(jù)(lny和lnx)的線性關(guān)系通過(guò)來(lái)算出來(lái)參數(shù)a和b。經(jīng)過(guò)計(jì)算，得到參數(shù)第一個(gè)即a，第二個(gè)即參數(shù)b，與真實(shí)結(jié)果a=0.5和b=3.456近似。再接著畫出來(lái)擬合的曲線如圖，藍(lán)色即為擬合的曲線：

總結(jié)

以上是生活随笔為你收集整理的曲线拟合最小二乘法优缺点_对最小二乘法拟合曲线的简单说明的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。