1 Feed forward neural networks (FF or FFNN) and perceptrons (P)

前饋神經網絡和感知機，信息從前（輸入）往后（輸出）流動，一般用反向傳播（BP）來訓練。算是一種監督學習。

對應的代碼https://github.com/danijar/layered

https://github.com/civisanalytics/muffnn

2 Radial basis function (RBF)

徑向基函數網絡，是一種徑向基函數作為激活函數的FFNNs（前饋神經網絡）。

對應的代碼https://github.com/eugeniashurko/rbfnnpy

3 Hopfield network (HN)

Hopfield網絡，是一種每個神經元都跟其它神經元相連接的神經網絡。

對應的代碼https://github.com/yosukekatada/Hopfield_network

4 Markov chains (MC or discrete time Markov Chain, DTMC)

馬爾可夫鏈 或離散時間馬爾可夫鏈，算是BMs和HNs的雛形。

對應的代碼Markov chains：https://github.com/jsvine/markovify

DTMC：https://github.com/AndrewWalker/dtmc

6 Restricted Boltzmann machines (RBM)

受限玻爾茲曼機，和玻爾茲曼機以及Hopfield網絡都比較類似。

對應的代碼https://github.com/echen/restricted-boltzmann-machines

7 Autoencoders (AE)

自動編碼，和FFNN有些類似，它更像是FFNN的另一種用法，而不是本質上完全不同的另一種架構。

對應的代碼https://github.com/caglar/autoencoders/blob/master/ae.py

8 Sparse autoencoders (SAE)

稀疏自動編碼，跟自動編碼在某種程度比較相反。

對應的代碼https://github.com/caglar/autoencoders/blob/master/sa.py

9 Variational autoencoders (VAE)

變分自動編碼，和AE架構相似，不同的是：輸入樣本的一個近似概率分布。這使得它跟BM、RBM更相近。

對應的代碼https://github.com/mattjj/svae

10 Denoising autoencoders (DAE)

去噪自動編碼，也是一種自編碼機，它不僅需要訓練數據，還需要帶噪音的訓練數據。對應對應的代碼https://github.com/caglar/autoencoders/blob/master/da.py

11 Deep belief networks (DBN）

深度信念網絡，由多個受限玻爾茲曼機或變分自動編碼堆砌而成。

對應的代碼https://github.com/albertbup/deep-belief-network

12 Convolutional neural networks (CNN or deep convolutional neural networks, DCNN)

卷積神經網絡

對應的代碼：

CNN：https://github.com/bamtercelboo/cnn-lstm-bilstm-deepcnn-clstm-in-pytorch/blob/master/models/model_CNN.py

DCNN：https://github.com/bamtercelboo/cnn-lstm-bilstm-deepcnn-clstm-in-pytorch/blob/master/models/model_DeepCNN.py

13 Deconvolutional networks (DN)

去卷積網絡，又叫逆圖形網絡，是一種逆向的卷積神經網絡。

對應的代碼https://github.com/ifp-uiuc/anna

14Deep convolutional inverse graphics networks (DCIGN)

深度卷積逆向圖網絡，實際上是VAE，且分別用CNN、DNN來作編碼和解碼。

對應的代碼https://github.com/yselivonchyk/TensorFlow_DCIGN

15 Generative adversarial networks (GAN)

生成對抗網絡，Goodfellow的封神之作

對應的代碼https://github.com/devnag/pytorch-generative-adversarial-networks

16 Recurrent neural networks (RNN)

循環神經網絡，這個更不用解釋，做語音、NLP的沒有人不知道，甚至非AI相關人員也知道。

對應的代碼https://github.com/farizrahman4u/recurrentshop

17 Long / short term memory (LSTM)

長短期記憶網絡，RNN的變種，解決梯度消失/爆炸的問題，也不用解釋，這幾年刷爆各大頂會。

對應的代碼https://github.com/bamtercelboo/cnn-lstm-bilstm-deepcnn-clstm-in-pytorch/blob/master/models/model_LSTM.py

18 Gated recurrent units (GRU)

門循環單元，類似LSTM的定位，算是LSTM的簡化版。

對應的代碼https://github.com/bamtercelboo/cnn-lstm-bilstm-deepcnn-clstm-in-pytorch/blob/master/models/model_GRU.py

19 Neural Turing machines (NTM)

神經圖靈機，LSTM的抽象，以窺探LSTM的內部細節。具有讀取、寫入、修改狀態的能力。

對應的代碼https://github.com/MarkPKCollier/NeuralTuringMachine

20 Bidirectional recurrent neural networks, bidirectional long / short term memory networks and bidirectional gated recurrent units (BiRNN, BiLSTM and BiGRU respectively)

雙向循環神經網絡、雙向長短期記憶網絡和雙向門控循環單元，把RNN、雙向的LSTM、GRU雙向，不再只是從左到右，而是既有從左到右又有從右到左。

對應的代碼：

BiLSTM：https://github.com/bamtercelboo/cnn-lstm-bilstm-deepcnn-clstm-in-pytorch/blob/master/models/model_BiLSTM.py

BiGRU：https://github.com/bamtercelboo/cnn-lstm-bilstm-deepcnn-clstm-in-pytorch/blob/master/models/model_BiGRU.py

21 Deep residual networks (DRN)

深度殘差網絡，是非常深的FFNN，它可以把信息從某一層傳至后面幾層（通常2-5層）。

對應的代碼https://github.com/KaimingHe/deep-residual-networks

22 Echo state networks (ESN)

回聲狀態網絡，是另一種不同類型的（循環）網絡。

對應的代碼https://github.com/m-colombo/Tensorflow-EchoStateNetwork

23 Extreme learning machines (ELM)

極限學習機，本質上是隨機連接的FFNN。

對應的代碼https://github.com/dclambert/Python-ELM

24 Liquid state machines (LSM)

液態機，跟ESN類似，區別是用閾值激活函數取代了sigmoid激活函數。

對應的代碼https://github.com/kghose/Liquid

25 Support vector machines (SVM)

支持向量機，入門機器學習的人都知道

對應的代碼https://github.com/ajtulloch/svmpy

26 Kohonen networks (KN, also self organising (feature) map, SOM, SOFM)

Kohonen 網絡，也稱之為自組織（特征）映射。

對應的代碼KN/SOM：https://github.com/mljs/som

總結

以上是生活随笔為你收集整理的常见25种深度学习模型的github代码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。