【每周CV论文推荐】 掌握残差网络必读的10多篇文章
歡迎來到《每周CV論文推薦》。在這個專欄里，還是本著有三AI一貫的原則，專注于讓大家能夠系統性完成學習，所以我們推薦的文章也必定是同一主題的。
殘差網絡作為當今最成功的網絡結構之一，今天就給大家推薦一些必讀的文章，涵蓋殘差網絡的由來，原理及其發展變種。
作者&編輯 | 言有三
1 殘差機制的由來
殘差連接的思想起源于中心化，Nicol N. Schraudolph[1]其實很早就將這樣的思想拓展到了梯度的反向傳播中，提出了shortcut connection技術。雖然文章不知名，但是大家還是應該了解。
文章引用量：較少
推薦指數：?????
[1] Schraudolph N. Accelerated gradient descent by factor-centering decomposition[J]. Technical report/IDSIA, 1998, 98.
2 早期殘差網絡探索
既然殘差思想早就誕生了，不可能沒有大佬注意這個問題，2012年的時候Raiko，LeCun等人就在論文[2]中更加細致地研究了shortcut connections對模型性能的影響。因為算力不夠沒有火起來，但這說明了大佬們是很敏感的。幾年后與殘差網絡同時期還有一篇文章叫highway-network[3]，借鑒了來自于LSTM的控制門的思想，比殘差網絡復雜一點。
文章引用量：150+
推薦指數：?????
[2] Raiko T, Valpola H, LeCun Y. Deep learning made easier by linear transformations in perceptrons[C]//Artificial intelligence and statistics. 2012: 924-932.
[3]?Srivastava R K, Greff K, Schmidhuber J. Training very deep networks[C]//Advances in neural information processing systems. 2015: 2377-2385.
3 深度學習與殘差網絡誕生
前面三篇是前菜，向前輩致敬，然后就是主菜殘差網絡了，不多說，才過了四年就26000多的引用量，太驚人了。
文章引用量：26000+
推薦指數：?????
[4] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.
4 ResNet深度冗余性研究
在剛開始的時候大多數人認為殘差網絡有效是因為促進了梯度傳播從而可以使用更深的模型，但是隨著研究者的增加，大家并不滿足于這個解釋。其中非常具有代表性的一篇文章就是文[5]，它發現深層的殘差網絡可以看做是不同深度的淺層神經網絡的ensemble，訓練完一個深層網絡后，在測試的時候隨機去除某個網絡層，并不會使得網絡的性能有很大的退化，而對于VGG等網絡來說則是致命的。雖然引用率依然不高，但卻是非常好的工作，對之后的很多研究都有重要影響，相似的文章還有[6]。
文章引用量：290+
推薦指數：?????
[5]?Veit A, Wilber M J, Belongie S. Residual networks behave like ensembles of relatively shallow networks[C]//Advances in neural information processing systems. 2016: 550-558.
[6]?Huang G, Sun Y, Liu Z, et al. Deep networks with stochastic depth[C]//European conference on computer vision. Springer, Cham, 2016: 646-661.
5 ResNet結構對稱性研究
一些研究表明殘差網絡的有效性是因為其非對稱的結構減緩了神經網絡的退化問題，這也是對其有效性機制的一個重要研究，大家可以以此篇文章作為起點。
文章引用量：較少
推薦指數：?????
[7] Orhan A E, Pitkow X. Skip connections eliminate singularities[J]. arXiv preprint arXiv:1701.09175, 2017.
6 預激活ResNet
由于主流的卷積神經網絡都是卷積+BN+激活串接的方式，因此我們一般都不會去在意它們的順序問題。但是對于殘差網絡這個順序卻會有影響，這也對后面的一些研究有指導意義。
文章引用量：2000+
推薦指數：?????
[8] He K, Zhang X, Ren S, et al. Identity mappings in deep residual networks[C]//European conference on computer vision. Springer, Cham, 2016: 630-645.
7 ResNet寬度問題?
寬度和深度一直都是兩個重要的維度，高效的網絡有時候也需要在這兩者之間進行折衷。那么寬度和深度到底誰更加重要，在殘差網絡結構上這個問題也有兩篇重要的研究。
文章引用量：2000+
推薦指數：?????
[9]?Zagoruyko S, Komodakis N. Wide residual networks[J]. arXiv preprint arXiv:1605.07146, 2016.
[10]?Xie S, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1492-1500.
8 更多的連接
假如進一步將殘差連接的思想發揮到極致，把所有層都與其他所有層相連，就可以得到DenseNet。假如連接是雙向的，就是CliqueNet。它們都是比原始的殘差網絡更加高效的設計，非常有用。
文章引用量：4000+
推薦指數：?????
[11]?Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.
[12]?Yang Y, Zhong Z, Shen T, et al. Convolutional neural networks with alternately updated clique[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 2413-2422.
殘差網絡相關的文章實在是太多了，這里只能列舉一個比較合適的學習路線，如果你想要了解更多，可以到有三AI知識星球交流。
9 如何獲取文章與交流
找到有三AI開源項目即可獲取。
https://github.com/longpeng2008/yousan.ai
文章細節眾多，閱讀交流在有三AI知識星球中進行，感興趣可以加入。
總結
以上就是初學殘差網絡結構必讀的文章，下一期我們將介紹一些理論相關的文章。
有三AI夏季劃
有三AI夏季劃進行中，歡迎了解并加入，系統性成長為中級CV算法工程師。
轉載文章請后臺聯系
侵權必究
往期精選
有三AI知識星球官宣，BAT等大咖等你來撩
揭秘7大AI學習板塊，這個星球推薦你擁有
有三AI 1000問回歸，備戰秋招，更多，更快，更好，等你來戰！
【知識星球】做作業還能贏獎金，傳統圖像/機器學習/深度學習盡在不言
【知識星球】顏值，自拍，美學三大任務簡介和數據集下載
【知識星球】數據集板塊重磅發布，海量數據集介紹與下載
【知識星球】貓貓狗狗與深度學習那些事兒
【知識星球】超3萬字的網絡結構解讀，學習必備
【知識星球】視頻分類/行為識別網絡和數據集上新
【知識星球】3D網絡結構解讀系列上新
【知識星球】動態推理網絡結構上新，不是所有的網絡都是不變的
【知識星球】Attention網絡結構上新，聚焦才能贏
【知識星球】幾個人像分割數據集簡介和下載
【知識星球】總有些骨骼輕奇，姿態妖嬈的模型結構設計，不知道你知不知道，反正我知道一些
總結
以上是生活随笔為你收集整理的【每周CV论文推荐】 掌握残差网络必读的10多篇文章的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 为什么有三AI从来不追热点，信息越多学的
- 下一篇： 【知识星球】超3万字的网络结构解读，学习