文章首發于微信公眾號《有三AI》

【完結】總結12大CNN主流模型架構設計思想

專欄《CNN模型解讀》正式完結了，在這一個專欄中，我們給大家回顧了深度學習中的各類具有代表性的CNN模型，詳細分析了各類模型的特點，設計思想。當然，這一個系列不可能包含所有的模型，但是我們可以從中洞見最核心的思想。如果有必要，以后我們還會進行補充的。

作者?|?言有三

編輯?|?言有三

?

01?從LeNet5到VGG

LeNet5不是CNN的起點，但卻是它的hello?world，讓大家看到了卷積神經網絡商用的前景。

AlexNet是CNN向大規模商用打響的第一槍，奪得ImageNet?2012年分類冠軍，宣告神經網絡的王者歸來。VGG以其簡單的結構，在提出的若干年內在各大計算機視覺領域都成為了最廣泛使用的benchmark。

它們都有著簡單而又優雅的結構，同出一門。詮釋了增加深度是如何提高了深度學習模型的性能。詳細解讀如下：

【模型解讀】從LeNet到VGG，看卷積+池化串聯的網絡結構

?

02?1*1卷積

1*1卷積本身只是N*N卷積的卷積核半徑大小退化為1時的特例，但是由于它以較小的計算代價增強了網絡的非線性表達能力，給網絡結構在橫向和縱向拓展提供了非常好的工具，常用于升維和降維操作，尤其是在深層網絡和對計算效率有較高要求的網絡中廣泛使用。

詳細解讀如下：

【模型解讀】network?in?network中的1*1卷積，你懂了嗎

?

03GoogLeNet

GoogLeNet奪得ImageNet2014年分類冠軍，也被稱為Inception?V1。Inception?V1有22層深，參數量為5M。同一時期的VGGNet性能和Inception?V1差不多，但是參數量卻遠大于Inception?V1。Inception的優良特性得益于Inception?Module，結構如下圖：

由1*1卷積，3*3卷積，5*5卷積，3*3最大池化四個并行通道運算結果進行融合，提取圖像不同尺度的信息。如果說VGG是以深度取勝，那么GoogLeNet可以說是以寬度取勝，當然1*1卷積起到了很大的作用，這一點在SqueezeNet中也很關鍵。詳細解讀如下：

【模型解讀】GoogLeNet中的inception結構，你看懂了嗎

?

04MobileNets

脫胎于Xception的網絡結構MobileNets使用Depthwise?Separable?Convolution(深度可分離卷積)構建了輕量級的28層神經網絡，成為了移動端上的高性能優秀基準模型。

一個depthwise?convolution，專注于該通道內的空間信息，一個pointwise?convolution，專注于跨通道的信息融合，兩者共同努力，然后強大，在此基礎上的一系列模型如shufflenet等都是后話。詳細解讀如下：

【模型解讀】說說移動端基準模型MobileNets

?

05殘差網絡

當深層網絡陷身于梯度消失等問題而導致不能很有效地訓練更深的網絡時，脫胎于highway?network的殘差網絡應運而生，附帶著MSRA和何凱明的學術光環，詮釋了因為簡單，所以有效，但你未必能想到和做到的樸素的道理。

詳細解讀如下：

【模型解讀】resnet中的殘差連接，你確定真的看懂了？

?

06非正常卷積

誰說卷積一定要規規矩矩四四方方呢？MSRA總是一個出新點子的地方，在spatial?transform?network和activeconvolution的鋪墊下，可變形卷積deformable?convolution?network如期而至。

文章依舊寫的很簡單，這是一個致力于提升CNN對具有不同幾何形變物體識別能力的模型，關鍵在于可變的感受野。

【模型解讀】“不正經”的卷積神經網絡

?

07密集連接網絡

說起來，DenseNet只不過是殘差網絡的升級版，將網絡中的每一層都直接與其前面層相連，把殘差做到了極致，提高了特征的利用率；因為可以把網絡的每一層設計得很窄，提高計算性能。

不過還是那句話，就算你能想到，也未必能做到，我們還是單獨詳細解讀如下：

【模型解讀】全連接的卷積網絡，有什么好？

?

08非局部神經網絡

卷積神經網絡因為局部連接和權重共享而成功，但是它的感受野是有限的。為了這樣，我們不得不使用更深的網絡，由此帶來了三個問題。(1)?計算效率不高。(2)?感知效率不高。(3)?增加優化難度。這一次又是學神凱明帶隊出發，從傳統降噪算法Non-Local中完成借鑒。

雖非真主流，了解一下也無妨。

【模型解讀】從“局部連接”回到“全連接”的神經網絡

?

09多輸入網絡

見慣了輸入一個圖像或者視頻序列，輸出分類，分割，目標檢測等結果的網絡，是否會想起輸入兩張，或者多張圖片來完成一些任務呢，這就是多輸入網絡結構。

從檢索，比對，到排序，跟蹤，它可以做的事情有很多，你應該了解一下。

【模型解讀】深度學習網絡只能有一個輸入嗎

?

103D卷積

2D卷積玩膩了，該跳到更加高維的卷積了，常見的也就是3D卷積了。

雖然3D帶來了暴漲的計算量，但是想想可以用于視頻分類和分割，3D點云，想想也是有些小激動呢。

【模型解讀】從2D卷積到3D卷積，都有什么不一樣

?

11RNN和LSTM

不是所有的輸入都是一張圖片，有很多的信息是非固定長度或者大小的，比如視頻，語音，此時就輪到RNN，LSTM出場了。

話不多說，好好學：

【模型解讀】淺析RNN到LSTM

?

12?GAN

近幾年來無監督學習領域甚至是深度學習領域里最大的進展非生成對抗網絡GAN莫屬，被譽為下一代深度學習，不管是研究熱度還是論文數量，已經逼近甚至超越傳統判別式的CNN架構。在研究者們的熱情下，GAN已經從剛開始的一個生成器一個判別器發展到了多個生成器多個判別器等各種各樣的結構。

快上車，因為真的快來不及了。

【模型解讀】歷數GAN的5大基本結構

?

總結

希望經歷過這一個系列后，小伙伴們能夠更好的認識CNN的結構，從只會使用別人的模型開始進階到自己學會設計，調優，以后我也會來分享的，因為真正的干貨，才剛剛揭開序幕呢。

轉載文章請后臺聯系

侵權必究

感謝各位看官的耐心閱讀，不足之處希望多多指教。后續內容將會不定期奉上，歡迎大家關注有三公眾號 有三AI！

總結

以上是生活随笔為你收集整理的【完结】总结12大CNN主流模型架构设计思想的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。