8.1 過擬合的問題

過擬合問題會導致線性回歸和邏輯回歸效果變差，那么過擬合到底是指什么意思呢？

一個回歸問題的例子：

?圖一的線性回歸模型，欠擬合；圖三的邏輯回歸模型雖然經過了所有的樣本點，但是它預測新數據時卻效果很差，因為它過于強調擬合原始數據。這種情況就叫做過擬合。可以看出，若給出一個新的值使之預測，它將表現的很差，是過擬合，雖然能非常好地適應我們的訓練集但在新輸入變量進行預測時可能會效果不好；而中間的模型最合適。

一個分類問題的例子：

的次數越高，擬合的效果越好，但預測效果越差。

如果發現了過擬合問題，應該如何處理？

丟棄一些不能幫助我們正確預測的特征。可以是手工選擇保留哪些特征，或者使用一些模型選擇的算法來幫忙（例如PCA）

正則化。 保留所有的特征，但是減少參數的大小（magnitude）。

?

8.2 代價函數

在上一節的回歸模型問題中，高次項導致了過擬合的產生，所以如果能讓這些高次項的系數接近于0的話，就能很好的擬合了。

所以要做的就是在一定程度上減小這些參數的值，這就是正則化的基本方法。那么如何減小參數值呢？

就是在代價函數中引入懲罰。

假設有很多的特征，有很多的參數。一開始我們并不知道哪些參數需要懲罰，所以選擇對所以的參數進行懲罰，讓代價函數最優化的軟件來選擇懲罰的程度。這樣的結果是得到了一個較為簡單的能防止過擬合問題的假設：

，其中 稱正則化參數

注：根據慣例，不對 進行懲罰。

經過正則化處理的模型與原模型的可能對比如下圖所示：

如果選擇的正則化參數 過大，則會把所有的參數都最小化了，導致模型變成 ，也就是上圖中紅色直線所示的情況，造成欠擬合。

增加 可以使 值減小的原因：因為最后要求代價函數的最小值，如果把 的值設置的比較大，那么為了使值最小，所有的參數都會相應變小，但若設置的過大，則會導致所有參數都趨向于0，導致變成一條直線。因此，對于正則化，要合理選擇 的大小。

?

8.3 線性回歸的正規化

線性回歸的求解，前面推導了兩種學習算法：一種基于梯度下降，一種基于正規方程。

正則化線性回歸的代價函數為：

如果我們要使用梯度下降法令這個代價函數最小化，會是下面兩種形式：

可以看出，正則化線性回歸的梯度下降算法的變化在于，每次都在原有算法更新規則的基礎上令 值減少了一個額外的值。

同樣也可以利用正規方程來求解正則化線性回歸模型，方法如下所示：

，圖中的矩陣尺寸為? 。

?

8.4 正則化的邏輯回歸模型

針對邏輯回歸問題，用正則化來解決問題的代價函數為：

要最小化該代價函數，通過求導，得出梯度下降算法為:

雖然它們看起來和線性回歸模型的梯度下降一樣，但是 此處

總結

以上是生活随笔為你收集整理的吴恩达机器学习 -- 正则化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。