損失函數(shù)：

L1損失：

n個樣本的平均絕對誤差（MAE）：

即，真實值和預測值之間的差值的絕對值的和。

使用L1損失函數(shù)，就是最小化MAE。

L2損失：

n個樣本的均方誤差（MSE）：

即，真實值和預測值之間的差值的平方的和。

?使用L2損失函數(shù)，就是最小化MSE。

?

正則化：

L1正則化：即對權(quán)重矩陣的每個元素絕對值求和:

L2正則化：即對權(quán)重矩陣的每個元素求平方和（先平方，后求和）:

注意：正則化項不需要求平均數(shù)，因為權(quán)重矩陣和樣本數(shù)量無關(guān)，只是為了限制權(quán)重規(guī)模。

總結(jié)

以上是生活随笔為你收集整理的【深度学习】L1、L2损失 和 L1、L2正则化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。