深度循環(huán)神經網絡

循環(huán)神經網絡只有一個單向的隱藏層，在深度學習應用里，我們通常會用到含有多個隱藏層的循環(huán)神經網絡，也稱作深度循環(huán)神經網絡。

下圖演示了一個有$L$個隱藏層的深度循環(huán)神經網絡，每個隱藏狀態(tài)不斷傳遞至當前層的下一時間步和當前時間步的下一層。

具體來說

• 在時間步$t$里，設小批量輸入${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$（樣本數為$n$，輸入個數為$d$）
• 第$?$隱藏層（$?=1,\dots ,L$）的隱藏狀態(tài)為${\mathbf{H}}_t^{(?)}\in {\mathbb{R}}^{n\times h}$（隱藏單元個數為$h$）
• 輸出層變量為${\mathbf{O}}_t\in {\mathbb{R}}^{n\times q}$（輸出個數為$q$），且隱藏層的激活函數為$?$。

第1隱藏層的隱藏狀態(tài)和之前的計算一樣：
$${\mathbf{H}}_t^{(1)}=?({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(1)}+{\mathbf{H}}_{t?1}^{(1)}{\mathbf{W}}_{hh}^{(1)}+{\mathbf{b}}_h^{(1)}),$$

其中權重${\mathbf{W}}_{xh}^{(1)}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}^{(1)}\in {\mathbb{R}}^{h\times h}$和偏差 ${\mathbf{b}}_h^{(1)}\in {\mathbb{R}}^{1\times h}$分別為第1隱藏層的模型參數。

當$1<?\le L$時，第$?$隱藏層的隱藏狀態(tài)的表達式為

$${\mathbf{H}}_t^{(?)}=?({\mathbf{H}}_t^{(??1)}{\mathbf{W}}_{xh}^{(?)}+{\mathbf{H}}_{t?1}^{(?)}{\mathbf{W}}_{hh}^{(?)}+{\mathbf{b}}_h^{(?)}),$$

其中權重${\mathbf{W}}_{xh}^{(?)}\in {\mathbb{R}}^{h\times h}$、${\mathbf{W}}_{hh}^{(?)}\in {\mathbb{R}}^{h\times h}$和偏差 ${\mathbf{b}}_h^{(?)}\in {\mathbb{R}}^{1\times h}$分別為第$?$隱藏層的模型參數。

最終，輸出層的輸出只需基于第$L$隱藏層的隱藏狀態(tài)：

$${\mathbf{O}}_t={\mathbf{H}}_t^{(L)}{\mathbf{W}}_{hq}+{\mathbf{b}}_q,$$

其中權重${\mathbf{W}}_{hq}\in {\mathbb{R}}^{h\times q}$和偏差${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$為輸出層的模型參數。

同多層感知機一樣，隱藏層個數$L$和隱藏單元個數$h$都是超參數。此外，如果將隱藏狀態(tài)的計算換成門控循環(huán)單元或者長短期記憶的計算，就可以得到深度門控循環(huán)神經網絡。

總結

以上是生活随笔為你收集整理的（pytorch-深度学习）深度循环神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。