正則化輸入

假設我有一個訓練集，它有兩個輸入特征x1和x2,。歸一化輸入需要兩個步驟。第一步是零均值話（subtract mean），經過零均值話處理之后數據就如中間那個圖分布的那樣。

第二步是歸一化方差，我們注意到x1的方差要比x2的方差大很多。所以進行如下操作：

σ2=1m∑i=1mx2(1)(1)σ2=1m∑i=1mx2

x=xσ2(2)(2)x=xσ2
之后圖片就變成右邊的樣子了。

注意，我們這里實際上是x-0的平方，因為我們已經做了零均值處理了，所以我們的均值就是0，m是樣本量，這樣我們就計算出了方差。我們通常情況下歸一化是使用

x?μσ2x?μσ2
但是這里的均值是0，所以(2)就這樣實現了歸一化處理。

最后右圖x1和x2的方差都變成了0。我們這里要提醒一下如果你用相同的歸一化方式去處理了訓練集，那么一定要用相同的方式去處理測試集

我們為什么要進行正則化輸入呢

如果你使用了非歸一化進行處理，最后cost函數就會像左圖這樣非常細長而狹窄。因為x1的取值范圍可能是0到1000，而x2的取值范圍可能只是0到1。結果會使得w1和w2的值范圍變得非常不同。最后cost function就會像這樣變得非常細長。

而你使用歸一化處理后函數可能會變得比較均勻，就像右圖所示。如果在左圖使用梯度下降法運行，那么你必須使用一個非常小的學習率，那將會增加許多迭代次數。但如果函數是一個圓的球形輪廓，那么不論從哪個位置開始，梯度下降法都能更直接的找到最小值。可以在梯度下降法中使用較大步長。

因此，如果輸入特征屬于不同范圍，那么歸一化是十分重要的，但是如果特征值在比較近似的范圍內，那么歸一化就不那么重要了

總結

以上是生活随笔為你收集整理的2.1.3 正则化（归一化）的用处以及何时使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。