反向傳播的原文是：
1986年的《Learning representations by back-propagating errors》

$$x_j=\sum _i{y}_i{w}_{ji}(1)$$
$$y_j=\frac{1}{1+e^{?x_i}}(2)$$
這個就是Sigmoid函數

$$E=\frac{1}{2}\sum _c\sum _j(y_{j,c}?d_{j,c}{)}^2(3)$$

$$\frac{?E}{?y_j}=y_j?d_j(4)$$
$$\frac{?E}{?x_j}=\frac{?E}{?y_j}{y}_j(1?y_j)(5)$$

$$\frac{?E}{?w_{ji}}=\frac{?E}{?x_j}?\frac{?x_j}{?w_{ji}}=\frac{?E}{?x_j}{y}_i(6)$$

$$\frac{?E}{?y_i}=\sum _j\frac{?E}{?x_j}?w_{ji}(7)$$

$$\Delta w=?\epsilon \frac{?E}{?w}(8)$$
$$\Delta w(t)=?\epsilon \frac{?E}{?w(t)}+\alpha \Delta w(t?1)(9)$$

原文沒有提及b是怎么變化的,另外參考了下文獻:
https://blog.csdn.net/qq_29762941/article/details/80343185
$$\Delta b=?\epsilon \frac{?E}{?b}$$

##########如何記憶######################

首先記住這個神經元：

然后就是下面的一大堆
$$\frac{?E}{?w_{ji}}=\frac{?E}{?y_j}?\frac{?y_j}{?x_j}?\frac{?x_j}{?w_{ji}}$$
上面三個因子怎么計算呢？
$\frac{?E}{?y_j}的計算:\frac{1}{2}(d_j?y_j{)}^2,d_j是實際的類別標簽,y_j是預測結果$剩下就是求導操作。

$\frac{?y_j}{?x_j}的計算：就是對式(2)進行求導$

$\frac{?x_j}{?w_{ji}}的計算：這里的x_j不要誤解成是整個神經元的輸入端，而是激活函數的輸入端，所以這個的結果就是y_i$

hidden unit 就是放激活函數的。
也就是后期論文中常見的隱藏層。

怎么個傳播法呢？
最后就是$w_{ji}=?\epsilon △w+w_{ji}$

總結

以上是生活随笔為你收集整理的Learning representations by back-propagating errors原文解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。