在上一節中，我們介紹了最簡單的學習算法——最小二乘法去預測奧運會男子100米時間。但是可以發現，它的自變量只有一個：年份。通常，我們所面對的數據集往往不是單個特征，而是有成千上萬個特征組成。那么我們就引入特征的向量來表示，這里涉及到矩陣的乘法，向量，矩陣求導等一些線性代數的知識。

---

一. 將擬合函數由單變量改寫為多變量

設我們的擬合函數

f(xi;ω)=ωTxi

其中， w表示擬合函數的參數，xi表示數據集中第i條數據。

對于上節中的f(x;a,b)=ax+b,我們可以令

ω=[ab],xi=[x1]

則這兩個函數等價。為了方便推導，我們在損失函數前邊加上1N,由于N是定值，它代表數據集的記錄數。那么，損失函數可以寫為：

L=1N∑i=1N(yi?ωTxi)2=1N(y?Xω)T(y?Xω)（1）
那么上式的推導過程也很簡單，令
X=???????xT1xT2?xTn???????=??????11?1x1x2?xn??????

y=???????y1y2?yn???????,ω=[ω0ω1]

帶入（1）式即可得證，此處略過。

二.多特征下求解參數 ω

L=1N(y?Xω)T(y?Xω)=1N(yT?ωTXT)(y?Xω)=1N(yTy?yTXω?ωTXTy+ωTXTXω)=1N(ωTXTXω?2ωTXTy+yTy)(2)
我們的目標是讓損失函數最小，即求（2）的最小值，我們對 ω求偏導數，令其等于0，就可以求出 L取得極小值時參數ω的值。
?L?ω=1N(2XTXω?2XTy)=0(3)?XTXω=XTy?ω=(XTX)?1XTy
至此，我們已經求出了參數值，接下來就可以預測了。

至于(3)的求導，注意以下求導公式即可：

f(w)?f?w

wTx	x
xTw	x
wTw	2w
wTCw	2Cw

總結

以上是生活随笔為你收集整理的机器学习笔记（二）——多变量最小二乘法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。