這項工作由卡內基梅隆大學，香港科技大學合作完成，目的是通過網絡自動化搜索，找到在已知網絡的權重（weight）和激活值（activation）都為二值化｛－1，＋1｝的情況下，搜索最能充分利用二值化卷機層的表達能力的網絡結構。

該工作是第一篇在 depth-wise 的卷積中通過搜索 group conv 來實現網絡二值化的算法。實驗結果表明，本方法能取得和接近 XNOR-Net 的精度，而所需的 FLOPs 僅約為 XNOR-Net 的 1/5。借助于 Matrix 層面的參數共享機制，整個搜索過程只需要～30 GPU hours。

論文標題：Binarizing MobileNet via Evolution-based Searching

論文來源：CVPR 2020

論文鏈接：https://arxiv.org/abs/2005.06305

介紹

深度卷積神經網絡（CNN）量化是一種常用的網絡壓縮方法，而網絡二值化是極端情況下的量化，即每個 weight 和 activation 僅用 －1 或 ＋1 表示。 一方面，在這種極端壓縮的情況下，網絡的表達能力會受到非常大的限制。另一方面，近來越來越多的學者以及工程師更加關心如何壓縮哪些原本就經過了緊湊型網絡設計的小網絡，如 MobileNet。這就給網絡量化提出了新的挑戰。

為了應對這一挑戰，本文從 MobileNet 網絡框架出發，根據二值化網絡特性，搜索最佳網絡結構。在分析二值化網絡的表達能力的時候我們發現，當二值化卷機層是 depth-wise 卷積時，輸出的 feature map 中的激活值的取值范圍將局限于（-3x3，3x3）之間，由此也導致了 binarize MobileNet 難以收斂。而如果把 MobileNet 中的 depth-wise 卷積替換成全卷積，則會導致參數量增加，從而降低二值化網絡的高壓縮率。?

為了取得壓縮率與網絡精度之間的權衡，我們認為，每一層卷積對應的feature的抽象化程度不同，因此，對于表達能力的要求也不一樣。基于這個假設，我們提出用網絡自動搜索（NAS）的方法搜索每一層的組卷積的最優group數，作為depth-wise 卷積和全卷積之間的trade-off。

我們的框架基于 one-shot architecture search，包含三步：?

第一步：訓練一個參數共享網絡。?

第二步：用遺傳算法在參數共享網絡中搜索出最優的 每一層組卷積的 group 數目。

第三步：訓練搜索得到的最優網絡。?

特別的，在訓練參數共享網絡時，我們為組卷積搜索設計了 matrix-level 的參數共享。

如圖所示，在一個輸入 6 通道輸出 6 通道的卷機層中，可以選取的 group 數目為 1，2，3，6。group＝1 時為全卷積，訓練參數為存儲的所有 weights。當 group＝6 時為 depth-wise 卷積，訓練參數為對角線上的所選 weights。為了方便直觀化表示，下圖的每一個 cell 代表了一個 3x3 的卷積核。

實驗結果

從表中的比較可以看到, 由本文搜索算法得到的網絡結構可以取得超過其他 State-of-the-art 二值化方法的精度，并且所需要的計算資源少于之前眾多BNN方法。?

最后，HKUST Vision and System Design Lab 正在招有硬件經驗的同學來當博士后，由 Tim CHENG 老師直接指導。如果你曾在 DAC，ICCAD 或同等硬件會議/期刊上發表過一作論文，歡迎發送簡歷到 zliubq@connect.ust.hk。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的CVPR 2020 | CMU HKUST提出binary网络自动化搜索，同时实现超高压缩与高精度的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。