一.CNN分類

1.基于空間利用的CNN

2.基于深度的CNN

3.基于多路徑的CNN

4.基于寬度的多連接

5.基于特征圖的CNN

6.基于通道的CNN

7.基于注意力的CNN

二，ResNet V1?

2015 ILSVRC 第一

論文指出歸一化包括BN,權重初始化已經很大程度解決了梯度消失和爆炸的問題，所以單純一層一層疊加的深層網絡效果不好是由于網絡退化的原因造成的，增加了short cut能夠能夠讓梯度直接回傳，并且不需要額外的參數和復雜度。

三，ResNet V2

v2是為了證明short cut上是干凈的，對于傳播更加容易。

對于（b） 來說，BN改變了short cut上的信號傳輸，抑制信息的流通。

對于（c）負半軸的信息無法進入網絡，影響resdiual分支，進而影響網絡的表達能力。

四，ResNeXt

2016?ILSVRC 第二

引入了新的維度，即?Cardinality。

五，DenseNet

傳統的網絡有L層就有L個連接，但是DenseNet卻有L*（L+1）/2個。

其有三大優點：1,解決梯度彌散問題;2,增強特征傳遞;3,t特征得以復用，減少參數量。

從而使得信息流通更通暢。

short cut并不是像ResNet那樣進行相加，而是concate。

由于不需要重新學習大量的特征，并且實際上很多特征都是沒什么用的，DenseNet設計了每層只有12個濾波器。

網絡結構如下：

其中Dense Block 用于特征提取，transition layers用于改變feature map size。

與ResNet公式區別：

對于ResNet而言，l層的輸出是l-1層的輸出加上對l-1層輸出的非線性變換

[x0,x1,…,xl-1]表示將0到l-1層的輸出feature map做concatenation。concatenation是做通道的合并，就像Inception那樣。而前面resnet是做值的相加，通道數是不變的。

Growth rate K用來控制每一層的channel個數

不用數據增強也沒問題,具有防止過擬合作用，也許是參數少的原因。

201層的DenseNet參數只有20M比40M的101-ResNet還要少。

?

總結

以上是生活随笔為你收集整理的CNN分类，ResNet V1 ,ResNet V2,ResNeXt,DenseNet的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。