正規方程（Normal Equation）

定義

前面論述的線性回歸問題中，我們通過梯度下降法來求得 $J(\theta )$ 的最小值，但是對于學習率 $\alpha$ 的調節有時候使得我們非常惱火。為此，我們可通過正規方程來最小化 $J(\theta )$ ：

$$\theta =(X^{T}X{)}^{?1}{X}^{T}y$$

其中， $X$ 為輸入向量矩陣，第 0 個特征表示偏置$（x_0=1）$， $y$ 為目標向量，僅從該表達式形式上看，我們也脫離了學習率 $\alpha$ 的束縛。

正規方程的推導過程省略了，斯坦福公開課上給出了完整的推導過程。

梯度下降與正規方程的對比

梯度下降正規方程

需要選擇適當的學習率 $\alpha$	不要學習率 $\alpha$
需要進行多步迭代	不需要進行迭代，在 Matlab 等平臺上，矩陣運算僅需一行代碼就可完成
對多特征適應性較好，能在特征數量很多時仍然工作良好	算法復雜度為 $O(n^3)$ ，所以如果特征維度太高（特別是超過 10000 維），那么不宜再考慮該方法。
能應用到一些更加復雜的算法中，如邏輯回歸（Logic Regression）等	矩陣需要可逆，并且，對于一些更復雜的算法，該方法無法工作

總結

以上是生活随笔為你收集整理的1.4 正规方程-机器学习笔记-斯坦福吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。