大家好，歡迎來到我們的星球知識卡片專欄，本期給大家分享殘差網絡模型的一些變種。

作者&編輯 | 言有三

1 殘差連接誕生

殘差連接的思想起源于中心化，在神經網絡系統中，對輸入數據等進行中心化轉換，即將數據減去均值，被廣泛驗證有利于加快系統的學習速度。

2 殘差網絡誕生

何凱明等人在2015年正式提出了ResNet，成為一個重要的基準模型結構。相比于之前的卷積，池化相互堆疊的網絡，它簡化了highway network中的形式。

3 預激活殘差網絡

當前卷積神經網絡的基本模塊通常為卷積+歸一化+激活函數(conv+bn+relu)的順序，對于普通的按照這些模塊進行順序堆疊的網絡來說，各個模塊的順序沒有什么影響，但是對于殘差網絡來說卻不一樣，且看“Identity Mappings in Deep Residual Networks”中對這個問題的研究。

4 更寬的殘差網絡

Wide ResNet，就是比普通的殘差網絡更寬（也就是通道數量更大）的結構，那么它與ResNet有什么不同呢。

5 分組并聯的殘差網絡

ResNext是分組卷積和殘差卷積的結合，取得了比ResNet更高效的結果，它有何妙處？

6 其他

除了以上基本的變種，殘差網絡還有非常多的新方向，包括：

(1) 通用泛化版本的殘差模型。

(2) 密集連接的殘差模型變種。

(3) 多分支合并與融合的殘差變種。

(4) 與注意力機制的結合。

(5) 與動態網絡的結合。

(6) 其他等等。

以上內容，如果你不想自己學習，可以去我們知識星球的網絡結構1000變板塊—殘差網絡板塊閱讀，純屬自愿，不愿勿噴。

有三AI知識星球

知識星球是有三AI的付費內容社區，里面包括各領域的模型學習，數據集下載，公眾號的付費圖文原稿，技術總結PPT和視頻，知識問答，書籍下載，項目推薦，線下活動等資源，了解詳細請閱讀以下文章：

【雜談】有三AI知識星球一周年了！為什么公眾號+星球才是完整的？

【雜談】萬萬沒想到，有三還有個保密的‘朋友圈’，那里面都在弄啥！

轉載文章請后臺聯系

侵權必究

往期精選

• 【雜談】2020年有三AI計算機視覺培養計劃詳解，該不該學&怎么學CV的簡單討論

• 【年終總結】2019年有三AI做了什么，2020年我們要做什么？
  

• 【總結】有三AI秋季劃模型優化組3月直播講了哪些內容，為什么每一個從事深度學習的同學都應該掌握模型優化的內容

• 【總結】有三AI秋季劃人臉算法組3月直播講了哪些內容，計算機視覺你不可能繞開人臉圖像

• 【總結】有三AI秋季劃圖像質量組3月直播講了哪些內容，為什么解決好底層圖像處理問題那么重要

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。