深度學習之循環神經網絡（3）梯度傳播

?通過循環神經網絡的更新表達式可以看出輸出對張量${\mathbf{W}}_{xh}$、${\mathbf{W}}_{hh}$和偏置$\mathbf{b}$均是可導的，可以利用自動梯度算法來求解網絡的梯度。此處我們僅簡單地推導一下RNN的梯度傳播公式，并觀察其特點。

?考慮梯度$\frac{?\mathcal{L}}{?{\mathbf{W}}_{hh}}$，其中$\mathcal{L}$為網絡的誤差，只考慮最后一個時刻$t$的輸出${\mathbf{o}}_t$與真實值之間的差距。由于${\mathbf{W}}_{hh}$被每個時間戳i上權值共享，在計算$\frac{?\mathcal{L}}{?{\mathbf{W}}_{hh}}$時需要將每個中間時間戳$i$上面的梯度求和，利用鏈式法則展開為
$$\frac{?\mathcal{L}}{?{\mathbf{W}}_{hh}}=\sum _{i=1}^t\frac{?\mathcal{L}}{?{\mathbf{o}}_t}\frac{?{\mathbf{o}}_t}{?{\mathbf{h}}_t}\frac{?{\mathbf{h}}_t}{?{\mathbf{h}}_i}\frac{{?}^{+}{\mathbf{h}}_i}{?{\mathbf{W}}_{hh}}$$
其中$\frac{?\mathcal{L}}{?{\mathbf{o}}_t}$可以基于損失函數直接求得，$\frac{?{\mathbf{o}}_t}{?{\mathbf{h}}_t}$ 在${\mathbf{o}}_t={\mathbf{h}}_t$的情況下:
$$\frac{?{\mathbf{o}}_t}{?{\mathbf{h}}_t}=1$$
而$\frac{{?}^{+}{\mathbf{h}}_i}{?{\mathbf{W}}_{hh}}$的梯度將${\mathbf{h}}_i$展開后也可以求得:
$$\frac{{?}^{+}{\mathbf{h}}_i}{?{\mathbf{W}}_{hh}}=\frac{?\sigma ({\mathbf{W}}_{xh}{\mathbf{x}}_t+{\mathbf{W}}_{hh}{\mathbf{h}}_{t?1}+\mathbf{b})}{?{\mathbf{W}}_{hh}}$$
其中$\frac{{?}^{+}{\mathbf{h}}_i}{?{\mathbf{W}}_{hh}}$只考慮到一個時間戳的梯度傳播，即“直接”偏導數，與$\frac{?\mathcal{L}}{?{\mathbf{W}}_{hh}}$考慮$i=1,\dots ,t$所有的時間戳的偏導數不同。

?因此，只需要推導出$\frac{?{\mathbf{h}}_t}{?{\mathbf{h}}_i}$的表達式即可完成循環神經網絡的梯度推導。利用鏈式法則，我們把$\frac{?{\mathbf{h}}_t}{?{\mathbf{h}}_i}$分拆分連續時間戳的梯度表達式:
$$\frac{?{\mathbf{h}}_t}{?{\mathbf{h}}_i}=\frac{?{\mathbf{h}}_t}{?{\mathbf{h}}_{t?1}}\frac{?{\mathbf{h}}_{t?1}}{?2}\dots \frac{?{\mathbf{h}}_{i+1}}{?{\mathbf{h}}_i}=\prod _{k=i}^{t?1}\frac{?{\mathbf{h}}_{k+1}}{?{\mathbf{h}}_k}$$
考慮
$${\mathbf{h}}_{k+1}=?\sigma ({\mathbf{W}}_{xh}{\mathbf{x}}_{k+1}+{\mathbf{W}}_{hh}{\mathbf{h}}_k+\mathbf{b})$$
那么
$$\begin{array}{rl}\frac{?{\mathbf{h}}_{k+1}}{?{\mathbf{h}}_k}& ={\mathbf{W}}_{hh}^{T}diag({\sigma }^{\prime }({\mathbf{W}}_{xh}{\mathbf{x}}_{k+1}+{\mathbf{W}}_{hh}{\mathbf{h}}_k+\mathbf{b}))\\ & ={\mathbf{W}}_{hh}^{T}diag({\sigma }^{\prime }({\mathbf{h}}_{k+1}))\end{array}$$
其中$diag(\mathbf{x})$把向量$\mathbf{x}$的每個元素作為矩陣的對角元素，得到其它元素全為0的對角矩陣，例如:
$$diag([3,2,1])=?\begin{array}{ccc}3& 0& 0\\ 0& 2& 0\\ 0& 0& 1\end{array}?$$
因此
$$\frac{?{\mathbf{h}}_t}{?{\mathbf{h}}_i}=\prod _{j=i}^{t?1}diag({\sigma }^{\prime }({\mathbf{W}}_{xh}{\mathbf{x}}_{k+1}+{\mathbf{W}}_{hh}{\mathbf{h}}_k+\mathbf{b})){\mathbf{W}}_{hh}$$
至此，$\frac{?\mathcal{L}}{?{\mathbf{W}}_{hh}}$的梯度推導完成。

?由于深度學習框架可以幫助我們自動推導梯度，只需要簡單地了解循環神經網絡的梯度傳播方式即可。我們在推導$\frac{?\mathcal{L}}{?{\mathbf{W}}_{hh}}$的過程中發現，$\frac{?{\mathbf{h}}_t}{?{\mathbf{h}}_i}$的梯度包含了${\mathbf{W}}_{hh}$的連乘運算，我們會在后面介紹，這是導致循環神經網絡訓練困難的根本原因。

總結

以上是生活随笔為你收集整理的深度学习之循环神经网络（3）梯度传播的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。