圖文解讀主要的神經網絡結構。

作者：Andre Ye
編譯：McGL
公眾號：PyVision（歡迎關注，專注CV，偶爾CS）

11 Essential Neural Network Architectures, Visualized & Explained

https://towardsdatascience.com/11-essential-neural-network-architectures-visualized-explained-7fc7da3486d8

隨著深度學習的快速發展，人們創建了一整套神經網絡結構來解決各種各樣的任務和問題。 盡管有無數的神經網絡結構，這里有十一種對于任何深度學習工程師來說都應該理解的結構，可以分為四大類: 標準網絡、循環網絡、卷積網絡和自動編碼器。

---

標準網絡

1 | 感知器（Perceptron）

感知器是所有神經網絡中最基本的，也是更復雜的神經網絡的基本組成部分。 它只連接一個輸入神經元和一個輸出神經元。

2 | 前饋（Feed-Forward）網絡

前饋網絡是感知器的集合，其中有三種基本類型的層: 輸入層、隱藏層和輸出層。 在每個連接過程中，來自前一層的信號被乘以一個權重，增加一個偏置，然后通過一個激活函數。 前饋網絡使用反向傳播迭代更新參數，直到達到理想的性能。

3 | 殘差網絡(Residual Networks/ResNet)
深層前饋神經網絡的一個問題是所謂的梯度消失，即當網絡太深時，有用的信息無法在整個網絡中反向傳播。 當更新參數的信號通過網絡傳播時，它會逐漸減少，直到網絡前面部分的權重不再改變或者根本不再使用。
為了解決這個問題，殘差網絡使用跳過連接實現信號跨層傳播。 通過使用這種不易受到影響的連接來減少梯度消失問題。 隨著時間的推移，通過學習特征空間，網絡學會了重建跳過的層，但訓練更有效，因為它的梯度不容易消失和需要探索更少的特征空間。

循環網絡

4 | 循環神經網絡 (Recurrent Neural Network/RNN)
循環神經網絡是一種特殊類型的網絡，它包含環和自重復，因此被稱為“循環”。 由于允許信息存儲在網絡中，RNNs 使用以前訓練中的推理來對即將到來的事件做出更好、更明智的決定。 為了做到這一點，它使用以前的預測作為“上下文信號”。 由于其性質，RNNs 通常用于處理順序任務，如逐字生成文本或預測時間序列數據(例如股票價格)。 它們還可以處理任意大小的輸入。

5 | 長短期記憶網絡(Long Short Term Memory Network/LSTM)
由于上下文信息的范圍在實踐中是非常有限的，所以 RNNs 有個大問題。 給定的輸入對隱藏層(即對網絡的輸出)輸入的影響(反向傳播誤差) ，要么指數級爆炸，要么網絡連接循環衰減為零。 解決這個梯度消失問題的方法是長短期記憶網絡(LSTM)。
這種 RNN 結構是專門為解決梯度消失問題而設計的，結構中加入了內存塊。 這些模塊可以看作是計算機中的內存芯片——每個模塊包含幾個循環連接的內存單元和三個門(輸入、輸出和遺忘，相當于寫入、讀取和重置)。 該網絡只能通過每個門與神經元進行互動，因此這些門學會智能地打開和關閉，以防止梯度爆炸或消失，但也通過“不斷錯誤傳送帶”傳播有用信息，以及丟棄不相關的內存內容。

標準的 RNNs 在輸入事件和目標信號之間的時間滯后大于5到10個時間步長時無法學習，LSTM 則不會受到影響，甚至連接時間滯后1,000個時間步長它都可以通過實施一個有用的常量誤差流來學習。

6 | 回聲狀態網絡(Echo State Networks/ESN)
回聲狀態網絡是循環神經網絡的一個變種，它有一個非常稀疏連接的隱藏層(通常是百分之一的連通性)。 神經元的連通性和權重是隨機分配的，忽略層和神經元的差異(跳過連接)。 通過學習輸出神經元的權重，使網絡能夠產生和再現特定的時間模式。 這個網絡背后的原因是，盡管它是非線性的，但在訓練過程中修改的權重只是突觸連接，因此誤差函數可以被微分為線性系統。

卷積網絡

7 | 卷積神經網絡 (Convolutional Neural Network/CNN)
圖像具有非常高的維數，因此訓練一個標準的前饋網絡來識別圖像將需要成千上萬的輸入神經元，除了顯而易見的高計算量，還可能導致許多與神經網絡中的維數災難相關的問題。 卷積神經網絡提供了一個解決方案，利用卷積和池化層，來降低圖像的維度。 由于卷積層是可訓練的，但參數明顯少于標準的隱藏層，它能夠突出圖像的重要部分，并向前傳播每個重要部分。 傳統的CNNs中，最后幾層是隱藏層，用來處理“壓縮的圖像信息”。

卷積神經網絡在基于圖像的任務上表現良好，例如將圖像分類為狗或貓。8 | 反卷積神經網絡(Deconvolutional Neural Network/DNN)
正如它的名字所暗示的那樣，反卷積神經網絡與卷積神經網絡操作相反。 DNN不是通過卷積來降低圖像的維數，而是利用反卷積來創建圖像，通常是從噪聲中獲得圖像。 這本身就是一項艱巨的任務; 想象一下 CNN 的任務：用三句話寫出奧威爾《1984》全書的總結摘要，而 DNN 的任務是把這三句話擴展成全本書。

9 | 生成對抗網絡(Generative Adversarial Network/GAN)
生成對抗網絡是一種專門設計用于生成圖像的網絡，由兩個網絡組成: 一個鑒別器和一個生成器。 鑒別器的任務是區分圖像是從數據集中提取的還是由生成器生成的，生成器的任務是生成足夠逼真的圖像，以至于鑒別器無法區分圖像是否真實。
隨著時間的推移，在謹慎的監督下，這兩個對手相互競爭，彼此都想成功地改進對方。 最終的結果是一個訓練有素的生成器，可以生成逼真的圖像。 鑒別器是一個卷積神經網絡，其目標是最大限度地提高識別真假圖像的準確率，而生成器是一個反卷積神經網絡，其目標是最小化鑒別器的性能。

自動編碼器

10 | 自動編碼器(Auto Encoder/AE)
自動編碼器的基本思想是將原始的高維數據“壓縮”成高信息量的低維數據，然后將壓縮后的數據投影到一個新的空間中。 自動編碼器有許多應用，包括降維、圖像壓縮、數據去噪、特征提取、圖像生成和推薦系統。 它既可以是無監督的方法，也可以是有監督的，可以得到對數據本質的洞見。

隱藏的神經元可以替換為卷積層，以便處理圖像。11 | 變分自動編碼器(Variational Auto Encoder/VAE)
自動編碼器學習一個輸入（可以是圖像或文本序列）的壓縮表示，例如，壓縮輸入，然后解壓縮回來匹配原始輸入，而變分自動編碼器學習表示的數據的概率分布的參數。 不僅僅是學習一個代表數據的函數，它還獲得了更詳細和細致的數據視圖，從分布中抽樣并生成新的輸入數據樣本。 從這個意義上說，它更像是一個純粹的“生成”模型，就像一個 GAN。

VAE使用了概率隱藏神經元，它對測試用例和神經元平均值之間的差應用了一個徑向基核函數。

總結

以上是生活随笔為你收集整理的利用循环神经网络生成唐诗_11种主要神经网络结构图解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。