1 共享路徑

對于每一個可學習的參數w，我們都需要通過梯度下降更新它的值。而我們可以使用反向傳播的思路來求解損失函數在某一個參數上的loss

?

如上圖所示，可以用如下方式運算?

可以發現 ，上圖紅色圈起來的部分是共享的

2 使用反向傳播的條件

1，鏈式法則成立（任何時候都成立）

2，計算圖無環

2.1 鏈式法則

3 forward pass VS backward pass

根據鏈式法則，C對w的偏導數可以分為前向pass和后向pass

?3.1 forward pass

結果就是相應的input x的值

?

3.2 backward pass

backpass 又可以分成兩項：

前一項就是我們相對應的激活函數的微分

?如果a被作為input，輸入到了w3和w4兩個neuron中，那么根據鏈式法則，有上面一行

?

綜合一下有：?

?

?4?反向的前饋神經網絡思考反向傳播

?對于這個，我們可以想成反向的前饋神經網絡：

?????

?

?

?

總結

以上是生活随笔為你收集整理的机器学习笔记：反向传播的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。