來源：機器之心

英文原文：Deep learning architecture diagrams
參與：老紅、李亞洲
原文鏈接：圖解LSTM神經網絡架構及其11種變體（附論文）
本文經機器之心（微信公眾號：almosthuman2014）授權轉載，禁止二次轉載

就像雨季后非洲大草原許多野生溪流分化成的湖泊和水洼，深度學習已經分化成了各種不同的專門架構。

并且，每個架構都會有一個圖解，這里將詳細介紹它們。

神經網絡在概念上很簡單，并且它們十分動人。在層級上，有著一堆同質化的元素和統一的單位，并且它們之間還存在在一系列的加權連接。這就是神經網絡的所有，至少從理論上來說是這樣。然而，時間證明的結果卻有所不同。并非工程的特性，我們現在擁有的是建筑工程，而非工程的特性，正如 Stephen Merrity 描述的那樣：

深度學習的浪漫主義描述通常預示著手工制作工程特性的日子一去不復返了，這個模型的本身是足以先進到能夠解決問題的。正如大多數廣告一樣，它同時具備真實性和誤導性。

雖然深度學習在很多情況下簡化了工程特性，但它肯定還沒有徹底地擺脫它。隨著工程特性的減少，機器學習模型本身的結構變得越來越復雜。大多數時候，這些模型架構會特定于一個給定的任務，就像過去的工程特性那樣。

需要澄清一下的是，這仍然是很重要的一步。結構工程要比工程特性更具一般性，并且提供了許多新的機會。正如我們提到的，我們不能無視這樣一個事實：我們離我們想要達到的還很遠。

LSTM 圖解

怎樣解釋這些架構？自然地，我們可以通過圖解，圖解往往可以讓闡述變得更清晰。

讓我們先來看看如今最流行的兩種網絡，CNN 和 LSTM：

很簡單吧，我們再更仔細地研究下：

正如大家所言，你可能有很多不理解的數學問題，但你會慢慢習慣它們。幸運地是，我們有很多非常好的解釋。

仍覺得 LSTM 太復雜了？那讓我們來試試簡單的版本，GRU (Gated Recurrent Unit)，相當瑣碎。

尤其是這一個，被稱為 minimal GRU：

更多圖解

LSTM 個多各樣的變體如今很常見。下面就是一個，我們稱之為深度雙向 LSTM：

DB-LSTM（參見論文：End-to-end Learning of Semantic Role Labeling Using Recurrent Neural Networks ）

剩下的也不需要加以過多說明。讓我們從 CNN 和 LSTM 的結合開始說起：

卷積殘差記憶網絡（參見論文：Convolutional Residual Memory Networks）

動態 NTM（參見論文：Dynamic Neural Turing Machine with Soft and Hard Addressing Schemes）

可發展神經圖靈機（參見論文：Evolving Neural Turing Machines for Reward-based Learning）

視覺注意的循環模型（參見論文：Recurrent Models of Visual Attention）

通過反向傳播無監督域適應（參見論文：Unsupervised Domain Adaptation by Backpropagation）

進行圖像超分辨率的深度遞歸 CNN（參見論文：Deeply-Recursive Convolutional Network for Image Super-Resolution）

帶有合成梯度的多層感知器的圖解在清晰度上得分很高：

帶有合成梯度的 MLP（參見論文：Decoupled Neural Interfaces using Synthetic Gradients）

每天都有新的成果出現，下面這個就是新鮮的，來自谷歌的神經機器翻譯系統：

一些完全不同的東西

Neural Network ZOO（一篇描述神經網絡架構的文章，機器之心同樣進行了編譯） 的描繪非常簡單，但很多都華而不實，例如：ESM, ESN 和 ELM。

它們看上去像沒有完全連接的感知器，它們看上去像沒有完全連接的感知器，但它們應該代表的是一種液體狀態機、一個回聲狀態網絡和一個極端學習機。

LSM 和 ESN 有何不同？很簡單，LSM 有著三角狀綠色的神經元。而 ESN 和 ELM 又有什么不同呢？它們都有藍色的神經元。

講真，雖然類似，,ESN 是一個遞歸網絡而 ELM 則不是。而這種區別也可在架構圖中見到。

歡迎加入我愛機器學習QQ13群：550972653

微信掃一掃，關注我愛機器學習公眾號

微博：我愛機器學習

總結

以上是生活随笔為你收集整理的图解LSTM神经网络架构及其11种变体（附论文）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。