?

目錄

反向傳播的作用

反向傳播的公式推導

誤差反向傳播

輸出層的權重參數更新

隱藏層的權重參數更新

輸出層和隱藏層的偏置參數更新

BP算法的四個核心公式

BP反向傳播算法流程

反向傳播解釋梯度消失的原因

---

反向傳播的作用

梯度下降法中需要利用損失函數對所有參數的梯度來尋找局部最小值點；

而反向傳播算法就是用于計算該梯度的具體方法，其本質是利用鏈式法則對每個參數求偏導。

反向傳播的公式推導

? 反向傳播算法原理；基本思想

（1）先計算每一層的狀態和激活值，直到最后一層（即信號是前向傳播的）；

（2）計算每一層的誤差，誤差的計算過程是從最后一層向前推進的（這就是反向傳播算法名字的由來）；

（3）更新參數（目標是誤差變小）。迭代前面兩個步驟，直到滿足停止準則（比如相鄰兩次迭代的誤差的差別很小）。

?

誤差反向傳播

代價函數 僅和權重矩陣 和偏置向量 相關，調整權重和偏置可以減小或增大代價誤差

所有訓練數據的總體代價：

輸出層的權重參數更新

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

?

隱藏層的權重參數更新

?

輸出層和隱藏層的偏置參數更新

BP算法的四個核心公式

BP反向傳播算法流程

反向傳播解釋梯度消失的原因

?

????

參考Blogs：

神經網絡BP反向傳播算法原理和詳細推導流程

?

最后如果轉載，麻煩留個本文的鏈接，因為如果讀者或我自己發現文章有錯誤，我會在這里更正，留個本文的鏈接，防止我暫時的疏漏耽誤了他人寶貴的時間。

?

總結

以上是生活随笔為你收集整理的反向传播BP算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。