最常用的是普通最小二乘法（Ordinary Least Square，OLS）：所選擇的回歸函數應該使所有觀察值的殘差平方和達到最小。

在擬合函數時，先假定函數的通用表達式。這里以最簡單的一次函數為例。若 橫坐標（自變量）為

，觀測值 ， 假設為：

則估計值

使得殘差和

最小，表達式如下:

現在需要求

的值。 取何值時，殘差和 最小呢？

由于殘差和的表達式是二次函數，因此分別對

求偏導，使其等于0時，得到殘差和 的最小值。

整理后得

這里有詳細推導

在一次函數的情況下，函數擬合需要計算兩個未知量。但若將一次函數推廣到高階函數，上述手工計算函數的未知系數未免太繁雜，需要一個統一的公式使得計算機能夠幫助我們完成這部分任務。

在高階函數下

同理我們還是有

個自變量 和觀測值和，不妨將上式寫成矩陣形式。

上述矩陣方程記為

觀測值

寫為向量的形式，記為

同樣，使得殘差的平方和最小

將上式右半部展開，得：

由于上式中間兩項互為轉置關系，而相乘的結果是一個標量，原矩陣與其轉置相同。

可以對上式的

求偏導，使其偏導數為0即可得到最小殘差和平方

其中第二項為一次項，矩陣導數和標量的導數相同，第三項為常數項不參與求導，直接去掉。故上式化簡為：

根據矩陣的求導法則:

故

因此殘差平方

和對各階系數 的偏導寫為：

化簡后，我們得到高階函數各項系數的最優取值

總結

以上是生活随笔為你收集整理的ker矩阵是什么意思_矩阵形式下的最小二乘法推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。