雙向循環神經網絡

一般，我們認為循環神經網絡模型都是假設當前時間步是由前面的較早時間步的序列決定的，因此它們都將信息通過隱藏狀態從前往后傳遞。
有時候，當前時間步也可能由后面時間步決定。
例如，當我們寫下一個句子時，可能會根據句子后面的詞來修改句子前面的用詞。雙向循環神經網絡通過增加從后往前傳遞信息的隱藏層來更靈活地處理這類信息。

• 給定時間步$t$的小批量輸入${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$（樣本數為$n$，輸入個數為$d$）
• 隱藏層激活函數為$?$。

在雙向循環神經網絡的架構中， 設

• 該時間步正向隱藏狀態為${\mathbf{H}}_t\in {\mathbb{R}}^{n\times h}$（正向隱藏單元個數為$h$）
• 反向隱藏狀態為${\mathbf{H}}_t\in {\mathbb{R}}^{n\times h}$（反向隱藏單元個數為$h$）。

我們可以分別計算正向隱藏狀態和反向隱藏狀態：

$$\begin{array}{rl}{\mathbf{H}}_t& =?({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(f)}+{\mathbf{H}}_{t?1}{\mathbf{W}}_{hh}^{(f)}+{\mathbf{b}}_h^{(f)}),\\ {\mathbf{H}}_t& =?({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(b)}+{\mathbf{H}}_{t+1}{\mathbf{W}}_{hh}^{(b)}+{\mathbf{b}}_h^{(b)})\end{array}$$

其中權重${\mathbf{W}}_{xh}^{(f)}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}^{(f)}\in {\mathbb{R}}^{h\times h}$、${\mathbf{W}}_{xh}^{(b)}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}^{(b)}\in {\mathbb{R}}^{h\times h}$和偏差 ${\mathbf{b}}_h^{(f)}\in {\mathbb{R}}^{1\times h}$、${\mathbf{b}}_h^{(b)}\in {\mathbb{R}}^{1\times h}$均為模型參數。

然后通過連結兩個方向的隱藏狀態${\mathbf{H}}_t$和${\mathbf{H}}_t$來得到隱藏狀態${\mathbf{H}}_t\in {\mathbb{R}}^{n\times 2h}$，并將其輸入到輸出層。

輸出層計算輸出${\mathbf{O}}_t\in {\mathbb{R}}^{n\times q}$（輸出個數為$q$）：

$${\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q,$$

其中權重${\mathbf{W}}_{hq}\in {\mathbb{R}}^{2h\times q}$和偏差${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$為輸出層的模型參數。不同方向上的隱藏單元個數也可以不同。

總結

以上是生活随笔為你收集整理的（pytorch-深度学习）双向循环神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。