首先毫無疑問的，他們都是可以防止過擬合，降低模型復(fù)雜度

L1是在loss function后面加上模型參數(shù)的1范數(shù)（也就是|xi|）L0范數(shù)的最小化問題在實(shí)際應(yīng)用中是NP難問題，無法實(shí)際應(yīng)用。L2是在loss function后面加上模型參數(shù)的2范數(shù)（也就是sigma(xi^2)），注意L2范數(shù)的定義是sqrt(sigma(xi^2))，在正則項(xiàng)上沒有添加sqrt根號(hào)是為了更加容易優(yōu)化。

L1 會(huì)產(chǎn)生稀疏的特征，L2 會(huì)產(chǎn)生更多地特征但是都會(huì)接近于0。L1在特征選擇時(shí)候非常有用，而L2就只是一種規(guī)則化而已。具體的L1為什么會(huì)產(chǎn)生稀疏的特征，請(qǐng)看這里，說的很詳細(xì)。

L1對(duì)應(yīng)拉普拉斯分布，L2對(duì)應(yīng)高斯分布。

L1不可導(dǎo)可以使用Proximal Algorithms或者ADMM來解決。

有關(guān)L0正則化的這里沒說，可以看這里L(fēng)0正則化

機(jī)器學(xué)習(xí)中的范數(shù)規(guī)則化之（一）L0、L1與L2范數(shù) - zouxy09的專欄 - CSDN博客
機(jī)器學(xué)習(xí)中正則化項(xiàng)L1和L2的直觀理解 - CSDN博客
機(jī)器學(xué)習(xí)中的范數(shù)規(guī)則化之（一）L0、L1與L2范數(shù) - zouxy09的專欄 - CSDN博客

歡迎關(guān)注我的公眾號(hào)，第一時(shí)間追蹤相關(guān)面試題和總結(jié)：百面機(jī)器學(xué)習(xí)?；貜?fù)干貨獲取相關(guān)資料和面試題總結(jié)(定期更新)。

總結(jié)

以上是生活随笔為你收集整理的l2高斯分布_L1和L2正则的区别，如何选择L1和L2正则？L1在0处不可导，怎么处理...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。