歡迎來(lái)到《每周CV論文推薦》。在這個(gè)專欄里，還是本著有三AI一貫的原則，專注于讓大家能夠系統(tǒng)性完成學(xué)習(xí)，所以我們推薦的文章也必定是同一主題的。

殘差網(wǎng)絡(luò)作為當(dāng)今最成功的網(wǎng)絡(luò)結(jié)構(gòu)之一，今天就給大家推薦一些必讀的文章，涵蓋殘差網(wǎng)絡(luò)的由來(lái)，原理及其發(fā)展變種。

作者&編輯 | 言有三

1 殘差機(jī)制的由來(lái)

殘差連接的思想起源于中心化，Nicol N. Schraudolph[1]其實(shí)很早就將這樣的思想拓展到了梯度的反向傳播中，提出了shortcut connection技術(shù)。雖然文章不知名，但是大家還是應(yīng)該了解。

文章引用量：較少

推薦指數(shù)：?????

[1] Schraudolph N. Accelerated gradient descent by factor-centering decomposition[J]. Technical report/IDSIA, 1998, 98.

2 早期殘差網(wǎng)絡(luò)探索

既然殘差思想早就誕生了，不可能沒(méi)有大佬注意這個(gè)問(wèn)題，2012年的時(shí)候Raiko，LeCun等人就在論文[2]中更加細(xì)致地研究了shortcut connections對(duì)模型性能的影響。因?yàn)樗懔Σ粔驔](méi)有火起來(lái)，但這說(shuō)明了大佬們是很敏感的。幾年后與殘差網(wǎng)絡(luò)同時(shí)期還有一篇文章叫highway-network[3]，借鑒了來(lái)自于LSTM的控制門(mén)的思想，比殘差網(wǎng)絡(luò)復(fù)雜一點(diǎn)。

文章引用量：150+

推薦指數(shù)：?????

[2] Raiko T, Valpola H, LeCun Y. Deep learning made easier by linear transformations in perceptrons[C]//Artificial intelligence and statistics. 2012: 924-932.

[3]?Srivastava R K, Greff K, Schmidhuber J. Training very deep networks[C]//Advances in neural information processing systems. 2015: 2377-2385.

3 深度學(xué)習(xí)與殘差網(wǎng)絡(luò)誕生

前面三篇是前菜，向前輩致敬，然后就是主菜殘差網(wǎng)絡(luò)了，不多說(shuō)，才過(guò)了四年就26000多的引用量，太驚人了。

文章引用量：26000+

推薦指數(shù)：?????

[4] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

4 ResNet深度冗余性研究

在剛開(kāi)始的時(shí)候大多數(shù)人認(rèn)為殘差網(wǎng)絡(luò)有效是因?yàn)榇龠M(jìn)了梯度傳播從而可以使用更深的模型，但是隨著研究者的增加，大家并不滿足于這個(gè)解釋。其中非常具有代表性的一篇文章就是文[5]，它發(fā)現(xiàn)深層的殘差網(wǎng)絡(luò)可以看做是不同深度的淺層神經(jīng)網(wǎng)絡(luò)的ensemble，訓(xùn)練完一個(gè)深層網(wǎng)絡(luò)后，在測(cè)試的時(shí)候隨機(jī)去除某個(gè)網(wǎng)絡(luò)層，并不會(huì)使得網(wǎng)絡(luò)的性能有很大的退化，而對(duì)于VGG等網(wǎng)絡(luò)來(lái)說(shuō)則是致命的。雖然引用率依然不高，但卻是非常好的工作，對(duì)之后的很多研究都有重要影響，相似的文章還有[6]。

文章引用量：290+

推薦指數(shù)：?????

[5]?Veit A, Wilber M J, Belongie S. Residual networks behave like ensembles of relatively shallow networks[C]//Advances in neural information processing systems. 2016: 550-558.

[6]?Huang G, Sun Y, Liu Z, et al. Deep networks with stochastic depth[C]//European conference on computer vision. Springer, Cham, 2016: 646-661.

5 ResNet結(jié)構(gòu)對(duì)稱性研究

一些研究表明殘差網(wǎng)絡(luò)的有效性是因?yàn)槠浞菍?duì)稱的結(jié)構(gòu)減緩了神經(jīng)網(wǎng)絡(luò)的退化問(wèn)題，這也是對(duì)其有效性機(jī)制的一個(gè)重要研究，大家可以以此篇文章作為起點(diǎn)。

文章引用量：較少

推薦指數(shù)：?????

[7] Orhan A E, Pitkow X. Skip connections eliminate singularities[J]. arXiv preprint arXiv:1701.09175, 2017.

6 預(yù)激活ResNet

由于主流的卷積神經(jīng)網(wǎng)絡(luò)都是卷積+BN+激活串接的方式，因此我們一般都不會(huì)去在意它們的順序問(wèn)題。但是對(duì)于殘差網(wǎng)絡(luò)這個(gè)順序卻會(huì)有影響，這也對(duì)后面的一些研究有指導(dǎo)意義。

文章引用量：2000+

推薦指數(shù)：?????

[8] He K, Zhang X, Ren S, et al. Identity mappings in deep residual networks[C]//European conference on computer vision. Springer, Cham, 2016: 630-645.

7 ResNet寬度問(wèn)題?

寬度和深度一直都是兩個(gè)重要的維度，高效的網(wǎng)絡(luò)有時(shí)候也需要在這兩者之間進(jìn)行折衷。那么寬度和深度到底誰(shuí)更加重要，在殘差網(wǎng)絡(luò)結(jié)構(gòu)上這個(gè)問(wèn)題也有兩篇重要的研究。

文章引用量：2000+

推薦指數(shù)：?????

[9]?Zagoruyko S, Komodakis N. Wide residual networks[J]. arXiv preprint arXiv:1605.07146, 2016.

[10]?Xie S, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1492-1500.

8 更多的連接

假如進(jìn)一步將殘差連接的思想發(fā)揮到極致，把所有層都與其他所有層相連，就可以得到DenseNet。假如連接是雙向的，就是CliqueNet。它們都是比原始的殘差網(wǎng)絡(luò)更加高效的設(shè)計(jì)，非常有用。

文章引用量：4000+

推薦指數(shù)：?????

[11]?Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.

[12]?Yang Y, Zhong Z, Shen T, et al. Convolutional neural networks with alternately updated clique[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 2413-2422.

殘差網(wǎng)絡(luò)相關(guān)的文章實(shí)在是太多了，這里只能列舉一個(gè)比較合適的學(xué)習(xí)路線，如果你想要了解更多，可以到有三AI知識(shí)星球交流。

9 如何獲取文章與交流

找到有三AI開(kāi)源項(xiàng)目即可獲取。

https://github.com/longpeng2008/yousan.ai

文章細(xì)節(jié)眾多，閱讀交流在有三AI知識(shí)星球中進(jìn)行，感興趣可以加入。

總結(jié)

以上就是初學(xué)殘差網(wǎng)絡(luò)結(jié)構(gòu)必讀的文章，下一期我們將介紹一些理論相關(guān)的文章。

有三AI夏季劃

有三AI夏季劃進(jìn)行中，歡迎了解并加入，系統(tǒng)性成長(zhǎng)為中級(jí)CV算法工程師。

轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系

侵權(quán)必究

往期精選

• 有三AI知識(shí)星球官宣，BAT等大咖等你來(lái)撩

• 揭秘7大AI學(xué)習(xí)板塊，這個(gè)星球推薦你擁有

• 有三AI 1000問(wèn)回歸，備戰(zhàn)秋招，更多，更快，更好，等你來(lái)戰(zhàn)！

• 【知識(shí)星球】做作業(yè)還能贏獎(jiǎng)金，傳統(tǒng)圖像/機(jī)器學(xué)習(xí)/深度學(xué)習(xí)盡在不言

• 【知識(shí)星球】顏值，自拍，美學(xué)三大任務(wù)簡(jiǎn)介和數(shù)據(jù)集下載

• 【知識(shí)星球】數(shù)據(jù)集板塊重磅發(fā)布，海量數(shù)據(jù)集介紹與下載

• 【知識(shí)星球】貓貓狗狗與深度學(xué)習(xí)那些事兒

• 【知識(shí)星球】超3萬(wàn)字的網(wǎng)絡(luò)結(jié)構(gòu)解讀，學(xué)習(xí)必備

• 【知識(shí)星球】視頻分類/行為識(shí)別網(wǎng)絡(luò)和數(shù)據(jù)集上新

• 【知識(shí)星球】3D網(wǎng)絡(luò)結(jié)構(gòu)解讀系列上新

• 【知識(shí)星球】動(dòng)態(tài)推理網(wǎng)絡(luò)結(jié)構(gòu)上新，不是所有的網(wǎng)絡(luò)都是不變的

• 【知識(shí)星球】Attention網(wǎng)絡(luò)結(jié)構(gòu)上新，聚焦才能贏

• 【知識(shí)星球】幾個(gè)人像分割數(shù)據(jù)集簡(jiǎn)介和下載

• 【知識(shí)星球】總有些骨骼輕奇，姿態(tài)妖嬈的模型結(jié)構(gòu)設(shè)計(jì)，不知道你知不知道，反正我知道一些

總結(jié)

以上是生活随笔為你收集整理的【每周CV论文推荐】 掌握残差网络必读的10多篇文章的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。