目錄

• 預備知識
• L0范數
• L1正則化
• L2正則化
• 為什么參數越小越好

預備知識

在深度學習中，模型的參數優化可以看做最大后驗估計，損失函數即為似然函數。所謂正則化，可以視為給予了模型參數估計的一個先驗知識。而似然函數*先驗信息即為最大后驗估計。
$${\theta }^{?}=argma{x}_{\theta }(\prod _{i}P(Y_i|X_i,\theta )\prod _{i}P({\theta }_i))=argmi{n}_{\theta }(\sum _i||f(X_i)?Y_i|{|}^2+\sum _i\text{ln}P({\theta }_i))$$

L0范數

L0范數統計向量中非0元素的個數，非0元素越少，意味著越稀疏。模型越稀疏，則過擬合的風險越低，同時可以提高模型的可解釋性。

L1正則化

L1范數是L0范數的最優凸近似，比L0范數更利于優化求解。由于L1范數在0值處不可微，所以L1正則化會趨向于讓參數=0。L1正則化在損失函數中的形式表現為，在原損失函數上加上權重參數$w$的絕對值，這相當于賦予$w$拉普拉斯先驗，如果$\lambda$越大，則$w$的分布越集中在0附近。
$$P({\theta }_i)=\frac{\lambda }{2}\text{exp}(?\lambda |{\theta }_i|)$$

L2正則化

L2正則化又叫做嶺回歸，也叫作權重衰減。L2正則化會讓參數趨向于0，在損失函數中的形式表現為，在原損失函數上加上權重參數$w$的平方，這相當于賦予$w$高斯先驗。
$$P({\theta }_i)=\frac{\lambda }{\sqrt{\pi }}\text{exp}(?\lambda ||{\theta }_i|{|}^2)$$

為什么參數越小越好

原因有二，一是奧卡姆剃刀原則，參照百度百科，可用八個字概括——“如無必要，勿增實體”；二是：在模型發生過擬合時，會導致模型在一個小區間，輸出存在劇烈變化。這意味著，模型在這個小區間內的導數值很大，而導數值由權重參數$w$決定，“大導數值”可以一定程度上等價于“大$w$”。也就是說，“大$w$”會導致過擬合，從而$w$越小越好。

總結

以上是生活随笔為你收集整理的正则化和范数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。