最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，并使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。 中文名

最小二乘法

外文名

Least squares

別????稱

最小平方法[1]?

提出者

馬里·勒讓德

提出時間

1806年

應用學科

數學

適用領域范圍

代數

適用領域范圍

曲線擬合

目錄

1?歷史

2?線性最小二乘的基本公式

3?原理

4?公式

5?擬合

6?課題

7?思考與練習

8?實例

歷史編輯

1801年，意大利天文學家朱賽普·皮亞齊發現了第一顆小行星谷神星。經過40天的跟蹤觀測后，由于谷神星運行至太陽背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學家利用皮亞齊的觀測數據開始尋找谷神星，但是根據大多數人計算的結果來尋找谷神星都沒有結果。時年24歲的高斯也計算了谷神星的軌道。奧地利天文學家海因里?！W爾伯斯根據高斯計算出來的軌道重新發現了谷神星。 高斯使用的最小二乘法的方法發表于1809年他的著作《天體運動論》中。 法國科學家勒讓德于1806年獨立發明“最小二乘法”，但因不為世人所知而默默無聞。 二乘法?(2張) 勒讓德曾與高斯為誰最早創立最小二乘法原理發生爭執。 1829年，高斯提供了最小二乘法的優化效果強于其他方法的證明，因此被稱為高斯-馬爾可夫定理。（來自于wikipedia）[1]?

線性最小二乘的基本公式編輯

考慮超定方程組（超定指未知數少于方程個數）： 其中m代表有m個等式，n代表有 n 個未知數 ? ，m>n ；將其進行向量化后為：
　　 ? ，? ? ，? 顯然該方程組一般而言沒有解，所以為了選取最合適的 ? 讓該等式"盡量成立"，引入殘差平方和函數S （在統計學中，殘差平方和函數可以看成n倍的均方誤差MSE） 當 ? 時， ? 取最小值，記作： 通過對 ? 進行微分[2]??求最值，可以得到： 如果矩陣 ? 非奇異則 ? 有唯一解[3]??：

原理編輯

在我們研究兩個變量（x,y）之間的相互關系時，通?？梢缘玫揭幌盗谐蓪Φ臄祿?#xff08;x1,y1.x2,y2... xm,ym）；將這些數據描繪在x -y直角坐標系中，若發現這些點在一條直線附近，可以令這條直線方程如（式1-1）。 ? （式1-1） 其中：a0、a1 是任意實數 為建立這直線方程就要確定a0和a1，應用《最小二乘法原理》，將實測值Yi與利用計算值Yj（Yj=a0+a1X）（式1-1）的離差（Yi-Yj）的平方和 ? 最小為“優化判據”。 令：φ = ? （式1-2) 把（式1-1）代入（式1-2）中得： φ = ? （式1-3) 當 ? 最小時，可用函數 φ 對a0、a1求偏導數，令這兩個偏導數等于零。 ∑2(a0 + a1*Xi - Yi）=0（式1-4) ∑2Xi（a0 +a1*Xi - Yi）=0（式1-5) 亦即： na0 + （∑Xi ) a1 = ∑Yi （式1-6) （∑Xi ) a0 + （∑Xi^2 ) a1 = ∑（Xi*Yi) （式1-7) 得到的兩個關于a0、 a1為未知數的兩個方程組，解這兩個方程組得出： a0 = （∑Yi) / n - a1（∑Xi) / n （式1-8) a1 = [n∑(Xi Yi) - （∑Xi ∑Yi)] / (n∑Xi^2 -∑Xi∑Xi)（式1-9) 這時把a0、a1代入（式1-1）中， 此時的(式1-1）就是我們回歸的一元線性方程即：數學模型。 在回歸過程中，回歸的關聯式不可能全部通過每個回歸數據點（x1,y1. x2,y2...xm,ym），為了判斷關聯式的好壞，可借助相關系數“R”，統計量“F”，剩余標準偏差“S”進行判斷；“R”越趨近于 1 越好；“F”的絕對值越大越好；“S”越趨近于 0 越好。 R = [∑XiYi - m （∑Xi / m）（∑Yi / m)]/ SQR{[∑Xi2 - m （∑Xi / m)2][∑Yi2 - m （∑Yi / m)2]} （式1-10) * 在（式1-10）中，m為樣本容量，即實驗次數；Xi、Yi分別為任意一組實驗數據X、Y的數值。[1]?

公式編輯

擬合編輯

對給定數據點集合 ? ，在取定的函數類 ? 中，求 ? ，使誤差的平方和 ? 最小， ? 。從幾何意義上講，就是尋求與給定點集 ? 的距離平方和為最小的曲線y=p(x)。函數p(x)稱為擬合函數或最小二乘解，求擬合函數p(x)的方法稱為曲線擬合的最小二乘法。[1]? 最小二乘法的矩陣形式 最小二乘法的矩陣形式為： 其中 ? 為 ? 的矩陣， ? 為 ? 的列向量， ? 為 ? 的列向量。如果 ? （方程的個數小于未知量的個數），這個方程系統稱為矛盾方程組（Over Determined System），如果 ? （方程的個數小于未知量的個數），這個系統就是Under Determined System。 正常來看，這個方程是沒有解的，但在數值計算領域，我們通常是計算 ? ，解出其中的 ? 。比較直觀的做法是求解 ? ，但通常比較低效。其中一種常見的解法是對 ? 進行QR分解（ ? ），其中 ? 是 ? 正交矩陣（Orthonormal Matrix）， ? 是 ? 上三角矩陣（Upper Triangular Matrix），則有 用MATLAB命令

1

x=R\(Q\b)

可解得 ? 。[1]? 最小二乘法的Matlab實現 ① 一次函數線性擬合使用polyfit（x,y,1） ②多項式函數線性擬合使用 polyfit（x,y,n），n為次數 擬合曲線 x=[0.5,1.0,1.5,2.0,2.5,3.0]， y=[1.75,2.45,3.81,4.80,7.00,8.60]。 解：MATLAB程序如下： x=[0.5,1.0,1.5,2.0,2.5,3.0]; y=[1.75,2.45,3.81,4.80,7.00,8.60]; p=polyfit(x,y,2) x1=0.5:0.5:3.0; y1=polyval(p,x1); plot(x,y,'*r',x1,y1,'-b') 計算結果為： p =0.5614 0.8287 1.1560 即所得多項式為y=0.5614x^2+0.8287x+1.15560 ③非線性函數使用 lsqcurvefit(fun,x0,x,y)[1]? a=nlinfit(x,y,fun,b0) 最小二乘法在交通運輸學中的運用 交通發生預測的目的是建立分區產生的交通量與分區土地利用、社會經濟特征等變量之間的定量關系，推算規劃年各分區所產生的交通量。因為一次出行有兩個端點，所以我們要分別分析一個區生成的交通和吸引的交通。交通發生預測通常有兩種方法：回歸分析法和聚類分析法。[1]? 回歸分析法是根據對因變量與一個或多個自變量的統計分析，建立因變量和自變量的關系，最簡單的情況就是一元回歸分析，一般式為：Y=α+βX式中Y是因變量，X是自變量，α和β是回歸系數。若用上述公式預測小區的交通生成，則以下標 i 標記所有變量；如果用它研究分區交通吸引，則以下標 j 標記所有變量。而運用公式的過程中需要利用最小二乘法來求解，上述公式中的回歸系數根據最小二乘法可得： 其中，式中的X拔是規劃年的自變量值，Y拔是規劃年分區交通生成（或吸引）預測值。[1]?

課題編輯

從前面的學習中, 我們知道最小二乘法可以用來處理一組數據, 可以從一組測定的數據中尋求變量之間的依賴關系, 這種函數關系稱為經驗公式. 本課題將介紹最小二乘法的精確定義及如何尋求點與點之間近似成線性關系時的經驗公式. 假定實驗測得變量之間的 n個數據, 則在 平面上, 可以得到 n個點 , 這種圖形稱為“散點圖”, 從圖中可以粗略看出這些點大致散落在某直線近旁, 我們認為 與 之間近似為一線性函數, 下面介紹求解步驟. 考慮函數 , 其中 和 是待定常數. 如果在一直線上,可以認為變量之間的關系為一元函數 . 但一般說來, 這些點不可能在同一直線上. 它只能用直線來描述 , 時, 計算值 與實際值 產生的偏差. 當然要求偏差越小越好, 但由于 可正可負, 因此不能認為總偏差 時, 函數 就很好地反映了變量之間的關系, 因為此時每個偏差的絕對值可能很大. 為了改進這一缺陷, 就考慮用 來代替 . 但是由于絕對值不易作解析運算, 因此, 進一步用 來度量總偏差. 因偏差的平方和最小可以保證每個偏差都不會很大. 于是問題歸結為確定 中的常數 和 , 使 為最小. 用這種方法確定系數 , 的方法稱為最小二乘法. 由極值原理得 , 即 解此聯立方程得 (*) 問題 I 為研究某一化學反應過程中, 溫度 ℃)對產品得率 (%)的影響, 測得數據如下: 溫度 ℃) 100 110 120 130 140 150 160 170 180 190 得率 (%) 45 51 54 61 66 70 74 78 85 89 (1) 利用“ListPlot”函數, 繪出數據 的散點圖(采用格式: ListPlot[{ , , …, }, Prolog->AbsolutePointSize[3]] ); (2) 利用“Line”函數, 將散點連接起來, 注意觀察有何特征? (采用格式: Show[Graphics[Line[{ , , …, }]] , Axes->True ]) ; (3) 根據公式(*), 利用“Apply”函數及集合的有關運算編寫一個小的程序, 求經驗公式 ; (程序編寫思路為: 任意給定兩個集合A (此處表示溫度)、B(此處表示得率), 由公式(*)可定義兩個二元函數(集合A和B為其變量)分別表示 和 . 集合A元素求和: Apply[Plus,A] 表示將加法施加到集合A上, 即各元素相加, 例如Apply[Plus,{1,2,3}]=6;Length[A]表示集合A 元素的個數, 即為n; A.B表示兩集合元素相乘相加;A*B表示集合A與B元素對應相乘得到的新的集合.) (4) 在同一張圖中顯示直線 及散點圖; (5) 估計溫度為200時產品得率. 然而, 不少實際問題的觀測數據 , , …, 的散點圖明顯地不能用線性關系來描敘, 但確實散落在某一曲線近旁, 這時可以根據散點圖的輪廓和實際經驗, 選一條曲線來近似表達 與 的相互關系. 問題 II 下表是美國舊轎車價格的調查資料, 今以 表示轎車的使用年數, (美元)表示相應的平均價格, 求 與 之間的關系. 使用年數 1 2 3 4 5 6 7 8 9 10 平均價格 2651 1943 1494 1087 765 538 484290 226 204 (1) 利用“ListPlot”函數繪出數據 的散點圖, 注意觀察有何特征? (2) 令 , 繪出數據 的散點圖, 注意觀察有何特征? (3) 利用“Line”函數, 將散點 連接起來, 說明有何特征? (4) 利用最小二乘法, 求 與 之間的關系; (5) 求 與 之間的關系; (6) 在同一張圖中顯示散點圖及 關于 的圖形.

思考與練習編輯

1. 假設一組數據 : , , …, 變量之間近似成線性關系, 試利用集合的有關運算, 編寫一簡單程序: 對于任意給定的數據集合 , 通過求解極值原理所包含的方程組, 不需要給出 、 計算的表達式, 立即得到 、 的值, 并就本課題 I /(3)進行實驗. 注: 利用Transpose函數可以得到數據A的第一個分量的集合, 命令格式為: 先求A的轉置, 然后取第一行元素, 即為數據A的第一個分量集合, 例如 (A即為矩陣 ) = (數據A的第一個分量集合) = (數據A的第二個分量集合) B-C表示集合B與C對應元素相減所得的集合, 如 = . 2. 最小二乘法在數學上稱為曲線擬合, 請使用擬合函數“Fit”重新計算 與 的值, 并與先前的結果作一比較. 注: Fit函數使用格式: 設變量為x, 對數據A進行線性擬合, 如對題1中的A擬合函數為:

實例編輯

數據編號	1	2	3	4
實驗次數w	2	1	1	1
x	0.1	0.2	0.3	0.4
y	1.1	1.9	3.1	3.9

要擬合得到形如y?=?a?+?b?x?的函數，求解函數中系數的方程組為 其中， ? 為權重，對應每個實驗點的實驗次數，4個實驗點只有第一個點重復做了一次且得到相同結果（如果結果不同則另算一個實驗點），其它都沒有重復實驗，因此總次數為5次。 解得 故擬合方程為 http://baike.baidu.com/link?url=rBgkhXjyELjtHVMpEpPLzh2iNTfUYzoLhgtuXLvyjsspa6K5PwdxNydnVlZYx3zpzqnWcXlXxWVVD-haWzWb0K

http://jingyan.baidu.com/article/59a015e3accd13f7948865a9.html

?

總結

以上是生活随笔為你收集整理的最小二乘法(转)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。