和普通的機器學習算法一樣，DNN也會遇到過擬合的問題，需要考慮泛化，這里我們就對DNN的正則化方法做一個總結。

1. DNN的L1&L2正則化

　　　　想到正則化，我們首先想到的就是L1正則化和L2正則化。L1正則化和L2正則化原理類似，這里重點講述DNN的L2正則化。

　　　　而DNN的L2正則化通常的做法是只針對與線性系數矩陣WW,而不針對偏倚系數bb。利用我們之前的機器學習的知識，我們很容易可以寫出DNN的L2正則化的損失函數。

　　　　假如我們的每個樣本的損失函數是均方差損失函數,則所有的m個樣本的損失函數為：

J(W,b)=12m∑i=1m||aL?y||22J(W,b)=12m∑i=1m||aL?y||22

　　　　則加上了L2正則化后的損失函數是：

J(W,b)=12m∑i=1m||aL?y||22+λ2m∑l=2L||w||22J(W,b)=12m∑i=1m||aL?y||22+λ2m∑l=2L||w||22

　　　　其中,λλ即我們的正則化超參數，實際使用時需要調參。而ww為所有權重矩陣WW的所有列向量。

　　　　如果使用上式的損失函數，進行反向傳播算法時，流程和沒有正則化的反向傳播算法完全一樣，區別僅僅在于進行梯度下降法時，WW的更新公式。

　　　　回想我們在深度神經網絡（DNN）反向傳播算法(BP)中，WW的梯度下降更新公式為：

Wl=Wl?α∑i=1mδi,l(ax,

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的深度神经网络（DNN）的正则化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。