一.平方損失(MSE)

Loss函數:?

梯度:

由于x,y是已知的，故可以忽略掉

?梯度更新:

? ??

sigmoid函數:

可以看出 導數在z取大部分值，都是很小的，這樣會使梯度更新慢．

y為1或0是，當a=1,w的梯度為0,a=0,w的梯度為0，故就能看出梯度更新慢．

二.交叉熵損失(Cross-entropy)

梯度更新比較圖

?可看出邏輯回歸比MSE慢．

Loss函數:

簡寫形式:

梯度更新:

由于沒有導數那一項，導致梯度更新不再慢．

參考:

交叉熵損失

總結

以上是生活随笔為你收集整理的MSE和Cross-entropy梯度更新比较的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。