本節目錄

過擬合

代價函數

正則化線性回歸

正則化邏輯回歸
1 過擬合問題
正則化技術可以改善過擬合問題。

第一個模型是一個線性模型，欠擬合，不能很好地適應我們的訓練集；第三個模型是一
個四次方的模型，過于強調擬合原始數據，而丟失了算法的本質：預測新數據。我們可以看
出，若給出一個新的值使之預測，它將表現的很差，是過擬合，雖然能非常好地適應我們的
訓練集但在新輸入變量進行預測時可能會效果不好；而中間的模型似乎最合適。
那我們應該如何處理過擬合呢？
1.丟棄一些不能幫助我們正確預測的特征。可以是手工選擇保留哪些特征，或者使用一
些模型選擇的算法來幫忙（例如 PCA）
2.正則化。 保留所有的特征，但是減少參數的大小（magnitude）。
2 代價函數
防止過擬合問題的假設：


注：根據慣例，我們不對𝜃0 進行懲罰。經過正則化處理的模型與原模型的可能對比如下圖所示：

如果選擇的正則化參數 λ 過大，則會把所有的參數都最小化了，導致模型變成 ?𝜃(𝑥) = 𝜃0，也就是上圖中紅色直線所示的情況，造成欠擬合。
那為什么增加的一項𝜆 = ∑ 𝜃𝑗 𝑛 2 𝑗=1 可以使𝜃的值減小呢？
因為如果我們令 𝜆 的值很大的話，為了使 Cost Function 盡可能的小，所有的 𝜃 的值
（不包括𝜃0）都會在一定程度上減小。
但若 λ 的值太大了，那么𝜃（不包括𝜃0）都會趨近于 0，這樣我們所得到的只能是一條
平行于𝑥軸的直線。
所以對于正則化，我們要取一個合理的 𝜆 的值，這樣才能更好的應用正則化。
3 正則化線性回歸
對于線性回歸的求解，我們之前推導了兩種學習算法：一種基于梯度下降，一種基于正
規方程。
正則化線性回歸的代價函數為：

如果我們要使用梯度下降法令這個代價函數最小化，因為我們未對進行正則化，所以梯
度下降算法將分兩種情形：


4 正則化的邏輯回歸模型
我們首先學習了使用梯度下降法來優化代價函數𝐽(𝜃)，接下來學習了更高級的優化算法，這些高級優化算法需要你自己設計代價函數𝐽(𝜃)。

總結

以上是生活随笔為你收集整理的吴恩达机器学习笔记四之正则化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。