作者 | ywsun
論文鏈接 | https://arxiv.org/abs/1811.07275
原文地址 | https://zhuanlan.zhihu.com/p/58095683
加入**專業(yè)CV社區(qū)**，獲取更多高質(zhì)量干貨

CVPR2019年的一篇文章 RePr: Improved Training of Convolutional Filters

這篇文章初看abstract和introduction，差點(diǎn)以為是model pruning，看到后面發(fā)現(xiàn)是針對(duì)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，而且這個(gè)方法比較簡單，但文章通過大量的分析和實(shí)驗(yàn)，驗(yàn)證了提出的訓(xùn)練方法非常有效，在cifar、ImageNet、VQA、object detection上漲點(diǎn)很多，個(gè)人覺得paper writing/representation做的非常好，ablation study做的非常充分，是我目前看過的CVPR2019中最好的一篇文章。

遺憾的是個(gè)人水平有限，無法深入的分析這篇文章，就談?wù)勛约旱臏\見，也算是自己的閱讀筆記。

先來看效果圖，用新的訓(xùn)練方法，測試準(zhǔn)確率遠(yuǎn)遠(yuǎn)超過了標(biāo)準(zhǔn)的訓(xùn)練方法，是不是amazing？

下面看看在object detection上的測試結(jié)果，RePr在ResNet50-FPN上有4.1個(gè)點(diǎn)的提升，在ResNet101-FPN有2.8個(gè)點(diǎn)的提升，可以說是非常明顯了。

【Introduction】

卷積神經(jīng)網(wǎng)絡(luò)在視覺任務(wù)中取得了SOTA性能，我們會(huì)為不同的任務(wù)單獨(dú)設(shè)計(jì)不同的網(wǎng)絡(luò)結(jié)構(gòu)，雖然網(wǎng)絡(luò)結(jié)構(gòu)不同，但使用的優(yōu)化方法都是一樣的，而且這些優(yōu)化方法將網(wǎng)絡(luò)權(quán)重視為單獨(dú)的個(gè)體，沒有考慮彼此之前的相關(guān)性。而事實(shí)上，網(wǎng)絡(luò)權(quán)重之間是有很大聯(lián)系的。為了獲取最好的性能，網(wǎng)絡(luò)經(jīng)常過參數(shù)化(over-parameterized)。然而即使是過參數(shù)化的網(wǎng)絡(luò)，也會(huì)存在很多冗余的參數(shù)。model pruning證明了一個(gè)大的網(wǎng)絡(luò)可以通過丟棄一部分參數(shù)權(quán)重得到一個(gè)性能損失不大的小網(wǎng)絡(luò)，從而實(shí)現(xiàn)網(wǎng)絡(luò)壓縮和加速。

因此文章提出了一個(gè)新的訓(xùn)練方法。既然網(wǎng)絡(luò)中有些參數(shù)權(quán)重是多余，那我們訓(xùn)練的時(shí)候把他們丟棄（pruning），接著訓(xùn)練剩下的網(wǎng)絡(luò)，為了不損失模型的capacity，然后再把丟棄的參數(shù)拿回來，效果是不是會(huì)好一點(diǎn)呢？基于這個(gè)想法，文章作者任務(wù)有幾個(gè)重要的點(diǎn)：一是pruning哪些權(quán)重，而是如何再把丟棄的權(quán)重拿回來讓他們發(fā)揮更大的作用。本文的一個(gè)貢獻(xiàn)在于提出了一個(gè)metric，用于選擇哪些filters丟棄。同時(shí)作者指出，即使是一個(gè)參數(shù)很少（ under-parameterized ）的網(wǎng)絡(luò)，也會(huì)出現(xiàn)學(xué)到冗余的參數(shù)的情況，這不僅僅在多參數(shù)的網(wǎng)絡(luò)中存在，原因就在于訓(xùn)練過程低效。

【Motivation】

特征之間的相關(guān)性越高，其泛化性能越差。為了降低特征之間的相關(guān)性，有人提出了各種方法，比如在損失函數(shù)中加入特征相關(guān)性的項(xiàng)，在優(yōu)化目標(biāo)函數(shù)的時(shí)候使的模型自動(dòng)學(xué)習(xí)出低相關(guān)的特征，然而并沒有什么效果。還有通過分析不同層的特征并進(jìn)行聚類，這種方法在實(shí)際中不可行因?yàn)橛?jì)算量巨大。還有人嘗試過loss添加正則項(xiàng)讓模型學(xué)習(xí)到相互正交的權(quán)重，最后也發(fā)現(xiàn)收效甚微。實(shí)驗(yàn)發(fā)現(xiàn)，僅僅通過正則化項(xiàng)讓網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)到正交的權(quán)重是不夠的，文章提出的訓(xùn)練方法其實(shí)已經(jīng)隱式地起到了正則化效果，并且對(duì)模型的收斂沒有任何影響。

為了說明即使是參數(shù)少的模型，由于訓(xùn)練的低效，也會(huì)存在大量冗余的卷積核，通過一個(gè)比較小的卷積神經(jīng)網(wǎng)絡(luò)，作者可視化了不同層的卷積核對(duì)性能的影響，如下圖右，layer2的大部分卷積核對(duì)性能的影響僅僅只有1%，即使是淺層的layer1，也存在大量不重要的權(quán)重。

【新的訓(xùn)練方法：RePr】

訓(xùn)練過程如下：方式比較簡單，先訓(xùn)練整個(gè)網(wǎng)絡(luò)，根據(jù)metric drop掉30%的filter，再訓(xùn)練剩下的網(wǎng)絡(luò)，再把drop的filter拿回來，用于現(xiàn)有filters正交的方式初始化。迭代這個(gè)過程N(yùn)次。

算法中最重要的其實(shí)這個(gè)metric，即如何選出需要drop的filters。

文章寫的很明白，一個(gè)layer的多個(gè)卷積核可以用一個(gè)matrix表示，也就是 W_{l} ,先對(duì) W_{l} 歸一化，再與自己的轉(zhuǎn)置相乘得到 P_{l} ,這是一個(gè) J_{l} x J_{l} 大小的matrix，第i行表示其他filter對(duì)第i個(gè)filter的projection，可以看成是相關(guān)性，如果是正交性的越大，那么這個(gè)值就越小，一行的數(shù)值之和越小，說明其他filter與這個(gè)filter相關(guān)性越低。因此可以通過這個(gè)sum來對(duì)filter進(jìn)行rank。

同時(shí)文章還說明了，計(jì)算這個(gè)metric是在一個(gè)layer內(nèi)，但rank是在所有l(wèi)ayer進(jìn)行的，目的是為了不讓layer這個(gè)因數(shù)影響filter的rank，避開layer的差異性，同時(shí)也不引入過多的超參。

文章一個(gè)值得稱贊的點(diǎn)就是ablation study部分做的非常詳細(xì)而充分。文章做了大量的對(duì)比實(shí)驗(yàn)，對(duì)該方法涉及的參數(shù)進(jìn)行了討論，并對(duì)比了不同的optimization的影響，同時(shí)也比較了dropout、knowledge distillation，指出該方法不僅和他們有很大區(qū)別，與他們結(jié)合還能得到更好的結(jié)果。

【Results】

作者做了大量實(shí)驗(yàn)，驗(yàn)證該方法在cifar10,cifar100,imagenets上都能取得很好的性能。

這是RePr早其他task上的表現(xiàn)，VQA上有不同程度的漲點(diǎn)，效果明顯。

object detection上漲點(diǎn)達(dá)到了ResNet50 4.1個(gè)點(diǎn)，ResNet101 2.8個(gè)點(diǎn)，可是說是非常明顯了。

總的來說，這是一篇看起來真正做work的paper，做法簡單有效，實(shí)驗(yàn)充分合理，相信很多人會(huì)去復(fù)現(xiàn)這篇paper，有些超參還是需要調(diào)一調(diào)的，具體效果如何還需要看實(shí)際情況，特別是detection部分，如果真的work，未來會(huì)成為刷SOTA的一個(gè)標(biāo)配。


幾個(gè)疑問的點(diǎn)：

• 為何文章中說ResNet、Inception的設(shè)計(jì)是為了減低feature之間的相關(guān)性？
• 對(duì)detection部分work比較感興趣，希望知道更多的細(xì)節(jié)。

其他CVPR2019論文解讀：
CVPR2019 | 目標(biāo)檢測新文：Generalized Intersection over Union
CVPR 2019論文/代碼/解讀匯總

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的[CVPR2019]:专门为卷积神经网络设计的训练方法：RePr的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。