正規(guī)方程（Normal Equation）

定義

前面論述的線性回歸問題中，我們通過梯度下降法來求得 $J(\theta )$ 的最小值，但是對于學(xué)習(xí)率 $\alpha$ 的調(diào)節(jié)有時(shí)候使得我們非常惱火。為此，我們可通過正規(guī)方程來最小化 $J(\theta )$ ：

$$\theta =(X^{T}X{)}^{?1}{X}^{T}y$$

其中， $X$ 為輸入向量矩陣，第 0 個(gè)特征表示偏置$（x_0=1）$， $y$ 為目標(biāo)向量，僅從該表達(dá)式形式上看，我們也脫離了學(xué)習(xí)率 $\alpha$ 的束縛。

正規(guī)方程的推導(dǎo)過程省略了，斯坦福公開課上給出了完整的推導(dǎo)過程。

梯度下降與正規(guī)方程的對比

梯度下降正規(guī)方程

需要選擇適當(dāng)?shù)膶W(xué)習(xí)率 $\alpha$	不要學(xué)習(xí)率 $\alpha$
需要進(jìn)行多步迭代	不需要進(jìn)行迭代，在 Matlab 等平臺(tái)上，矩陣運(yùn)算僅需一行代碼就可完成
對多特征適應(yīng)性較好，能在特征數(shù)量很多時(shí)仍然工作良好	算法復(fù)雜度為 $O(n^3)$ ，所以如果特征維度太高（特別是超過 10000 維），那么不宜再考慮該方法。
能應(yīng)用到一些更加復(fù)雜的算法中，如邏輯回歸（Logic Regression）等	矩陣需要可逆，并且，對于一些更復(fù)雜的算法，該方法無法工作

總結(jié)

以上是生活随笔為你收集整理的1.4 正规方程-机器学习笔记-斯坦福吴恩达教授的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。