weight decay的作用主要是令神經網絡中的權重變小（趨于0），以防止過擬合
如$y={\sum }_i{w}_i{x}_i$，則因噪聲的存在，可能會令其中某幾個$w$偏大，導致無法正確擬合正常輸入
weight decay的公式為：

$C=C_0+\frac{\lambda }{2n}{\sum }_i{w}_i^2$

$\frac{?C}{?w_k}=\frac{?C_0}{?w_k}+\frac{\lambda w_k}{n}$

其中$C_0$為原誤差，$\lambda$為weight decay系數，也可以看做是懲罰值, $\frac{1}{2}$則用于求導時的簡化

原始梯度下降$w_{new}=w_{old}?\eta \Delta ,\Delta =\frac{?C_0}{?w_k}$

使用了weight decay之后，$\Delta$中多了一項$\frac{\lambda w_k}{n}$，即對梯度下降時較大的權重，會賦予較大的懲罰值，使新的w趨于0

而在選取decay值上，目前尚沒有比較普適的公式
How could I choose the value of weight decay for neural network regularization 中提到用平時調參時常用的兩種策略：grid search 和 random search
其實都是類似窮舉，首先需要有個驗證集（不同于訓練集），分別對驗證集采取不同decay值(如0.5, 0.1, 0.01等等)進行測試，選取其中效果較好的decay，即作為訓練集的decay

總結

以上是生活随笔為你收集整理的关于weight decay的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。