---

←上一篇↓↑下一篇→

1.11 雙向神經網絡	回到目錄	1.13 總結

---

深層循環神經網絡 (Deep RNNs)

目前你學到的不同RNN的版本，每一個都可以獨當一面。但是要學習非常復雜的函數，通常我們會把RNN的多個層堆疊在一起構建更深的模型。這節視頻里我們會學到如何構建這些更深的RNN。

一個標準的神經網絡，首先是輸入 $x$ ，然后堆疊上隱含層，所以這里應該有激活值，比如說第一層是 $a^{[1]}$ ，接著堆疊上下一層，激活值 $a^{[2]}$ ，可以再加一層 $a^{[3]}$ ，然后得到預測值 $\hat{y}$ 。深層的RNN網絡跟這個有點像，用手畫的這個網絡（下圖編號1所示），然后把它按時間展開就是了，我們看看。

這是我們一直見到的標準的RNN（上圖編號3所示方框內的RNN），只是我把這里的符號稍微改了一下，不再用原來的 $a^{<0>}$ 表示0時刻的激活值了，而是用 $a^{[1]<0>}$ 來表示第一層（上圖編號4所示），所以我們現在用 $a^{[l]<t>}$ 來表示第 $l$ 層的激活值，這個表示第 $t$ 個時間點，這樣就可以表示。第一層第一個時間點的激活值 $a^{[1]<1>}$ ，這（ $a^{[1]<2>}$ ）就是第一層第二個時間點的激活值， $a^{[1]<3>}$ 和 ${}^{[1]<4>}$ 。然后我們把這些（上圖編號4方框內所示的部分）堆疊在上面，這就是一個有三個隱層的新的網絡。

我們看個具體的例子，看看這個值（ $a^{[2]<3>}$ ，上圖編號5所示）是怎么算的。激活值 $a^{[2]<3>}$ 有兩個輸入，一個是從下面過來的輸入（上圖編號6所示），還有一個是從左邊過來的輸入（上圖編號7所示）， $a^{[2]<3>}=g(W_a^{[2]}[a^{[2]<2>},a^{[1]<3>}]+b_a^{[2]})$ ，這就是這個激活值的計算方法。參數 $W_a^{[2]}$ 和 $b_a^{[2]}$ 在這一層的計算里都一樣，相對應地第一層也有自己的參數 $W_a^{[1]}$ 和 $b_a^{[1]}$ 。

對于像左邊這樣標準的神經網絡，你可能見過很深的網絡，甚至于100層深，而對于RNN來說，有三層就已經不少了。由于時間的維度，RNN網絡會變得相當大，即使只有很少的幾層，很少會看到這種網絡堆疊到100層。但有一種會容易見到，就是在每一個上面堆疊循環層，把這里的輸出去掉（上圖編號1所示），然后換成一些深的層，這些層并不水平連接，只是一個深層的網絡，然后用來預測 $y^{<1>}$ 。同樣這里（上圖編號2所示）也加上一個深層網絡，然后預測 $y^{<2>}$ 。這種類型的網絡結構用的會稍微多一點，這種結構有三個循環單元，在時間上連接，接著一個網絡在后面接一個網絡，當然 $y^{<3>}$ 和 $y^{<4>}$ 也一樣，這是一個深層網絡，但沒有水平方向上的連接，所以這種類型的結構我們會見得多一點。通常這些單元（上圖編號3所示）沒必要非是標準的RNN，最簡單的RNN模型，也可以是GRU單元或者LSTM單元，并且，你也可以構建深層的雙向RNN網絡。由于深層的RNN訓練需要很多計算資源，需要很長的時間，盡管看起來沒有多少循環層，這個也就是在時間上連接了三個深層的循環層，你看不到多少深層的循環層，不像卷積神經網絡一樣有大量的隱含層。

這就是深層RNN的內容，從基本的RNN網絡，基本的循環單元到GRU，LSTM，再到雙向RNN，還有深層版的模型。這節課后，你已經可以構建很不錯的學習序列的模型了。

課程板書

---

←上一篇↓↑下一篇→

1.11 雙向神經網絡	回到目錄	1.13 總結

---

總結

以上是生活随笔為你收集整理的1.12 深层循环神经网络-深度学习第五课《序列模型》-Stanford吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。