目錄

• 預(yù)備知識
• L0范數(shù)
• L1正則化
• L2正則化
• 為什么參數(shù)越小越好

預(yù)備知識

在深度學(xué)習(xí)中，模型的參數(shù)優(yōu)化可以看做最大后驗(yàn)估計(jì)，損失函數(shù)即為似然函數(shù)。所謂正則化，可以視為給予了模型參數(shù)估計(jì)的一個先驗(yàn)知識。而似然函數(shù)*先驗(yàn)信息即為最大后驗(yàn)估計(jì)。
$${\theta }^{?}=argma{x}_{\theta }(\prod _{i}P(Y_i|X_i,\theta )\prod _{i}P({\theta }_i))=argmi{n}_{\theta }(\sum _i||f(X_i)?Y_i|{|}^2+\sum _i\text{ln}P({\theta }_i))$$

L0范數(shù)

L0范數(shù)統(tǒng)計(jì)向量中非0元素的個數(shù)，非0元素越少，意味著越稀疏。模型越稀疏，則過擬合的風(fēng)險越低，同時可以提高模型的可解釋性。

L1正則化

L1范數(shù)是L0范數(shù)的最優(yōu)凸近似，比L0范數(shù)更利于優(yōu)化求解。由于L1范數(shù)在0值處不可微，所以L1正則化會趨向于讓參數(shù)=0。L1正則化在損失函數(shù)中的形式表現(xiàn)為，在原損失函數(shù)上加上權(quán)重參數(shù)$w$的絕對值，這相當(dāng)于賦予$w$拉普拉斯先驗(yàn)，如果$\lambda$越大，則$w$的分布越集中在0附近。
$$P({\theta }_i)=\frac{\lambda }{2}\text{exp}(?\lambda |{\theta }_i|)$$

L2正則化

L2正則化又叫做嶺回歸，也叫作權(quán)重衰減。L2正則化會讓參數(shù)趨向于0，在損失函數(shù)中的形式表現(xiàn)為，在原損失函數(shù)上加上權(quán)重參數(shù)$w$的平方，這相當(dāng)于賦予$w$高斯先驗(yàn)。
$$P({\theta }_i)=\frac{\lambda }{\sqrt{\pi }}\text{exp}(?\lambda ||{\theta }_i|{|}^2)$$

為什么參數(shù)越小越好

原因有二，一是奧卡姆剃刀原則，參照百度百科，可用八個字概括——“如無必要，勿增實(shí)體”；二是：在模型發(fā)生過擬合時，會導(dǎo)致模型在一個小區(qū)間，輸出存在劇烈變化。這意味著，模型在這個小區(qū)間內(nèi)的導(dǎo)數(shù)值很大，而導(dǎo)數(shù)值由權(quán)重參數(shù)$w$決定，“大導(dǎo)數(shù)值”可以一定程度上等價于“大$w$”。也就是說，“大$w$”會導(dǎo)致過擬合，從而$w$越小越好。

總結(jié)

以上是生活随笔為你收集整理的正则化和范数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。