? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 最小二乘法(多元)推導

1 聲明

本文的數據來自網絡，部分代碼也有所參照，這里做了注釋和延伸，旨在技術交流，如有冒犯之處請聯系博主及時處理。

2 最小二乘法簡介

最小二乘法是一種優化的方法，它主要是通過最小化誤差的平方和來做函數擬合的方法。

3 最小二乘法多元推導

有如下回歸模型

其中b0，b1，…bp，μ2? ?x1，x2，…xp 都是與無關的未知參數。這里設

是一個樣本。

這里令殘差平方和的表達式為

則求Q關于b0，b1，…bp的偏導，并令它們都等于0則，則得

化簡上式(即將求和展開，相同的則乘以n)則得到

上式叫做正規方程組，可以以矩陣的形式重新定義。

因為

所以正規方程組又可寫成

???

這里假設XtX的逆存在，則

?稱為p元經驗線性回歸方程。

總結

以上是生活随笔為你收集整理的最小二乘法(多元)推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。