深度學習（26）隨機梯度下降四: 損失函數(shù)的梯度

• 1. Mean Squared Error（MSE）
• 2. Cross Entropy Loss
• • CrossEntropy
• 3. Softmax
• • (1) Derivative
  • (2) Crossentropy gradient

Outline

• Mean Squared Error
• Cross Entropy Loss

1. Mean Squared Error（MSE）

• $loss=\sum [y?f_{\theta }(x){]}^2$
• $\frac{?loss}{?\theta }=2\sum [y?f_{\theta }(x)]?\frac{?f_{\theta }(x)}{?\theta }$
• $f_{\theta }(x)=sigmoid(XW+b)$
• $f_{\theta }(x)=relu(XW+b)$

MSE Gradient

注: 如果不寫tape.watch([w, b])的話，就需要將w和b手動轉(zhuǎn)換為Variable類型。

2. Cross Entropy Loss

CrossEntropy

• $H([0,1,0],[p_0,p_1,p_2])=D_{KL}(p│q)=?1\log ?p_1$
• $\frac{d}{dx}{\log }_2?(x)=\frac{1}{x?ln?(2)}$
• $p=softmax(logits)$

3. Softmax

• soft version of max
  

(1) Derivative

(2) Crossentropy gradient

參考文獻:
[1] 龍良曲:《深度學習與TensorFlow2入門實戰(zhàn)》

總結

以上是生活随笔為你收集整理的深度学习（26）随机梯度下降四: 损失函数的梯度的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。