第32節 -正則化之代價函數(2)

參考視頻: 7 - 2 - Cost Function (10 min).mkv

上面的回歸問題中如果我們的模型是：

我們可以從之前的事例中看出，正是那些高次項導致了過擬合的產生，所以如果我們能讓這些高次項的系數接近于 0 的話，我們就能很好的擬合了。

所以我們要做的就是在一定程度上減小這些參數θ 的值，這就是正則化的基本方法。我們決定要減少 θ3 和 θ4 的大小，我們要做的便是修改代價函數，在其中 θ3 和 θ4 設置一點懲罰。這樣做的話，我們在嘗試最小化代價時也需要將這個懲罰納入考慮中，并最終導致選擇較小一些的θ3 和 θ4。修改后的代價函數如下：

通過這樣的代價函數選擇出的θ3和 θ4對預測結果的影響就比之前要小許多。假如我們有非常多的特征，我們并不知道其中哪些特征我們要懲罰，我們將對所有的特征進行懲罰，并且讓代價函數最優化的軟件來選擇這些懲罰的程度。這樣的結果是得到了一個較為簡單的能防止過擬合問題的假設：

其中λ 又稱為正則化參數(Regularization Parameter)。 注：根據慣例，我們不對 θ0 進行懲罰。經過正則化處理的模型與原模型的可能對比如下圖所示：

如果選擇的正則化參數λ 過大，則會把所有的參數都最小化了，導致模型變成 hθ(x)=θ0，也就是上圖中紅色直線所示的情況，造成欠擬合。

那為什么增加的一項

可以使 θ 的值減小呢？因為如果我們令λ的值很大的話，為了使 Cost Function 盡可能的小，所有的 θ 的值(不包括θ0)都會在一定程度上減小。但若λ的值太大了，那么θ(不包括 θ0)都會趨近于 0，這樣我們所得到的只能是一條平行于 x 軸的直線。所以對于正則化，我們要取一個合理的λ的值，這樣才能更好的應用正則化。回顧一下代價函數，為了使用正則化，讓我們把這些概念應用到到線性回歸和邏輯回歸中去，那么我們就可以讓他們避免過度擬合了。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的c#怎么拟合函数得到参数_吴恩达老师课程笔记系列第32节 -正则化之代价函数(2)...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。