歡迎來到《每周CV論文推薦》。在這個(gè)專欄里，還是本著有三AI一貫的原則，專注于讓大家能夠系統(tǒng)性完成學(xué)習(xí)，所以我們推薦的文章也必定是同一主題的。

高效率(緊湊)的CNN模型設(shè)計(jì)是深度學(xué)習(xí)在工業(yè)界落地的關(guān)鍵，今天給大家推薦初學(xué)者必讀的一些文章。

作者&編輯 | 言有三

1 小卷積的使用

VGG很大，但它使用的卷積很小。在保證具有同樣大小的輸出和感受野的前提下，任何奇數(shù)的大卷積都可以使用多個(gè)3*3卷積來替代，

兩個(gè)3*3的卷積能代替一個(gè)5*5的卷積；參數(shù)比例為3×3×2/(5×5)=0.72。三個(gè)3*3的卷積能代替一個(gè)7*7的卷積，參數(shù)比例為3×3×3/(7×7)=0.55，將近一倍的壓縮，簡單而有效。雖然VGG不是小卷積的初次實(shí)踐者，但從它開始了解是很好的起點(diǎn)。

文章引用量：60000+

推薦指數(shù)：?????

[1] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

2 1*1卷積

1*1卷積就是將普通卷積核半徑變?yōu)?的卷積，影響了之后幾乎所有的模型，將這個(gè)1×1的特殊卷積用于通道的降維和升維，已經(jīng)成為很多緊湊模型設(shè)計(jì)不可缺少的組件，畢竟模型的寬度(通道數(shù))對計(jì)算量和參數(shù)量的貢獻(xiàn)巨大。

文章引用量：4000+

推薦指數(shù)：?????

[2] Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013.

3 Inception/SqueezeNet

在VGG網(wǎng)絡(luò)不能再通過加深得到進(jìn)一步性能突破的時(shí)候，Inception[3]模型(又名GoogLeNet)使用了擁有不同感受野并行的多分支Inception結(jié)構(gòu)，進(jìn)一步加深了網(wǎng)絡(luò)深度并有著更少的參數(shù)和更高的效率，成為當(dāng)年的基準(zhǔn)模型，其中起到關(guān)鍵作用的是1*1卷積。

隨后，SqueezeNet[4]同樣利用1*1卷積進(jìn)行模型壓縮，成為早期經(jīng)典。

文章引用量：15000+

推薦指數(shù)：?????

[3] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1-9.

[4]?Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size[J]. arXiv preprint arXiv:1602.07360, 2016.

4 Xception/MobileNet/ResNext

通道的分組是設(shè)計(jì)高效網(wǎng)絡(luò)常見的思想，關(guān)于它的來源可有詳見之前的文章，【AI不惑境】移動(dòng)端高效網(wǎng)絡(luò)，卷積拆分和分組的精髓。

通道分組卷積的第一次大規(guī)模應(yīng)用在Xception[5]中，在Mobilenet[6]中進(jìn)一步發(fā)揮到極致，在Resnext[7]中也取得了很好的效果。如果你想了解更多的分組卷積的應(yīng)用，就參考上述往期文章和有三AI知識星球吧。

文章引用量：2000+

推薦指數(shù)：?????

[5] Chollet F. Xception: Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1251-1258..

[6]?Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv:1704.04861, 2017.

[7]?Xie S, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1492-1500.

5 CReLU/DenseNet

卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)存在冗余，網(wǎng)絡(luò)的寬度對于參數(shù)量和通道的貢獻(xiàn)非常大，如何提高通道的利用率是一個(gè)很重要的課題。

CReLU[8]采用了非常簡單的網(wǎng)絡(luò)互補(bǔ)技巧，DenseNet[9]則使用了密集的通道互補(bǔ)策略，都是非常有效的方法。

文章引用量：5000+

推薦指數(shù)：?????

[8] Shang W, Sohn K, Almeida D, et al. Understanding and improving convolutional neural networks via concatenated rectified linear units[C]//international conference on machine learning. 2016: 2217-2225.

[9]?Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.

6 其他資料

因?yàn)槭敲恐苷撐拈喿x，就不給大家推薦太多文章(每周10篇左右)。對于更高效(緊湊)的模型設(shè)計(jì)，這里給出的文章僅僅是冰山一角。如果你對模型優(yōu)化感興趣，有三AI知識星球中有更多的內(nèi)容。

7 如何獲取文章與交流

找到有三AI開源項(xiàng)目即可獲取。

https://github.com/longpeng2008/yousan.ai

文章細(xì)節(jié)眾多，閱讀交流在有三AI知識星球中進(jìn)行，感興趣可以加入。

總結(jié)

以上就是初次了解高效率模型設(shè)計(jì)需要讀的文章，這是非常重要的一個(gè)方向，希望大家認(rèn)真對待。下一次，我們將開始推薦計(jì)算機(jī)視覺各個(gè)方向的文章。

有三AI夏季劃

有三AI夏季劃進(jìn)行中，歡迎了解并加入，系統(tǒng)性成長為中級CV算法工程師。

轉(zhuǎn)載文章請后臺(tái)聯(lián)系

侵權(quán)必究

往期精選

• 【每周論文推薦】 初入深度學(xué)習(xí)CV領(lǐng)域必讀的幾篇文章

• 【每周CV論文推薦】 掌握殘差網(wǎng)絡(luò)必讀的10多篇文章

• 【每周CV論文推薦】 初學(xué)者必須精讀的5篇深度學(xué)習(xí)優(yōu)化相關(guān)文章

• 【每周CV論文推薦】 CV領(lǐng)域中數(shù)據(jù)增強(qiáng)相關(guān)的論文推薦

總結(jié)

以上是生活随笔為你收集整理的【每周CV论文推荐】 初学高效率CNN模型设计应该读的文章的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。