CNN：

總結：利用權值共享【卷積操作】將神經網絡本來的全連接層替換為非全連接層，使輸入可以為尺度可變的張量。

可用結構：

（Max, mean）Pooling:降維;

全連接層：分類；

GAN：

總結：利用兩個網絡對抗生成模型，生成器與辨別器，生成器輸入圖像，生成所需圖像，辨別器辨別所需圖像與生成圖像，使生成器的生成圖像騙過辨別器。

可用結構：

CNN；(Recursive)Residual Network(殘差(遞歸)網絡);FCN(全卷積網絡)；convolutional LSTM；

Autoencoder【AE】自編碼器:

與GAN一樣，并不是單純的網絡結構，只是類似PCA一樣的東西，在無監督學習中的框架，利用conv與deconv降維升維來進行學習，分別叫做encoder與decoder編碼解碼，一般基于卷積網絡，encoder后相當于學習到了特征，而decoder后相當于還原了圖像，既可以用輸入圖像進行訓練，訓練好一層加深一層。再可以利用有監督微調，從而達到分類或者圖像轉換的目的。

可用結構：

CNN；Residual Network；

Variance Autoencoder【VAE】變分自編碼器:

與AE不同的是，在encoder后與噪聲作用，是一種生成模型。

CNN；Residual Network；

殘差網絡Resnet：

利用上一級的輸入與結果相加來使深層網絡效果更好（一個殘差塊一般不小于兩層）。

?

U-NET

也是encoder-decoder,利用前一encoder的信息與decoder信息結合，兩者一一對應，共享信息。

RNN

在每層神經元間也有級聯，也可以使用卷積層。

https://blog.csdn.net/weixin_41923961/article/details/81516622

LSTM

是RNN的特殊變體，由于RNN距離遠的神經元會出現梯度消失，其之間聯系得不到利用，對神經元間加入一些結構，可以有選擇的級聯，解決梯度消失。

3D-CNN

既輸入是三維數組，原來比如是256??256??3，現在可以輸入視頻256??256??3??300，用于分析視頻，對物體運動以及三維形態。

Batch normalization 層

網絡中間層數據做一個歸一化處，但如果是僅僅使用原本的歸一化公式，對網絡某一層A的輸出數據做歸一化，然后送入網絡下一層B，這樣是會影響到本層網絡A所學習到的特征的，相當于這一層網絡所學習到的特征分布被破壞了。解決：變換重構，引入了可學習參數γ、β，這就是算法關鍵之處：

每一個神經元xk都會有一對這樣的參數γ、β。這樣其實當：

、

是可以恢復出原始的某一層所學到的特征的。因此我們引入了這個可學習重構參數γ、β，讓網絡可以學習恢復出原始網絡所要學習的特征分布。最后Batch?Normalization網絡層的前向傳導過程公式就是：

?

上面的公式中m指的是mini-batch?size。其可以極大加快網絡訓練速度，甚至可以舍棄L2正則和drop?out.

Dense Net

https://blog.csdn.net/weixin_41923961/article/details/82829733

DBN 深度置信網絡

https://blog.csdn.net/weixin_41923961/article/details/81586213

GCN圖卷積網絡

https://blog.csdn.net/weixin_41923961/article/details/88372849

總結

以上是生活随笔為你收集整理的总结深度学习各种网络结构【更新中...】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。