最常用的是普通最小二乘法（Ordinary Least Square，OLS）：所選擇的回歸函數(shù)應(yīng)該使所有觀察值的殘差平方和達到最小。

在擬合函數(shù)時，先假定函數(shù)的通用表達式。這里以最簡單的一次函數(shù)為例。若 橫坐標（自變量）為

，觀測值 ， 假設(shè)為：

則估計值

使得殘差和

最小，表達式如下:

現(xiàn)在需要求

的值。 取何值時，殘差和 最小呢？

由于殘差和的表達式是二次函數(shù)，因此分別對

求偏導(dǎo)，使其等于0時，得到殘差和 的最小值。

整理后得

這里有詳細推導(dǎo)

在一次函數(shù)的情況下，函數(shù)擬合需要計算兩個未知量。但若將一次函數(shù)推廣到高階函數(shù)，上述手工計算函數(shù)的未知系數(shù)未免太繁雜，需要一個統(tǒng)一的公式使得計算機能夠幫助我們完成這部分任務(wù)。

在高階函數(shù)下

同理我們還是有

個自變量 和觀測值和，不妨將上式寫成矩陣形式。

上述矩陣方程記為

觀測值

寫為向量的形式，記為

同樣，使得殘差的平方和最小

將上式右半部展開，得：

由于上式中間兩項互為轉(zhuǎn)置關(guān)系，而相乘的結(jié)果是一個標量，原矩陣與其轉(zhuǎn)置相同。

可以對上式的

求偏導(dǎo)，使其偏導(dǎo)數(shù)為0即可得到最小殘差和平方

其中第二項為一次項，矩陣導(dǎo)數(shù)和標量的導(dǎo)數(shù)相同，第三項為常數(shù)項不參與求導(dǎo)，直接去掉。故上式化簡為：

根據(jù)矩陣的求導(dǎo)法則:

故

因此殘差平方

和對各階系數(shù) 的偏導(dǎo)寫為：

化簡后，我們得到高階函數(shù)各項系數(shù)的最優(yōu)取值

總結(jié)

以上是生活随笔為你收集整理的ker矩阵是什么意思_矩阵形式下的最小二乘法推导的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。