在眾多卷積神經網絡（CNN）壓縮算法中，二值化網絡（BNN）作為網絡量化的極端情況，一直擁有著高壓縮比，高加速比的性能優勢，但是 BNN 的精度不高也一直飽受詬病，阻礙了 BNN 在實際場景中的應用。

今天和大家分享一篇 ECCV 2020 上發表的工作 ReActNet: Towards Precise ?Binary Neural Network with Generalized Activation Functions。是 Bi-Real Net 作者在二值化研究領域的最新成果。該論文用簡單的平移激活值分布的操作，就取得了超過等同于實數值 ResNet 的精度，可以說是長久以來對于 BNN 的艱苦探索的里程碑式的工作。

?

論文標題：ReActNet:Towards Precise Binary Neural Network with Generalized Activation Functions

論文鏈接：https://arxiv.org/abs/2003.03488

代碼鏈接：https://github.com/liuzechun/ReActNet

?

這篇文章通過簡單的可學習的參數值，達到優化 Activation 的分布的目的，從而增加 BNN 的中激活值所攜帶的信息量。僅僅通過這一簡單的改進，配合 Distributional Loss，本文 ReActNet，便可壓縮 MobileNet V1 至 87M FLOPs，并且取得高達 69.4% 的精度。

?

這比著名的 XNOR-Net 的結果 51.2% 要高出了 18.2%，而所需的 FLOPs 也幾乎僅僅是 XNOR-Net 的 1/2。同時，69.4% 的精度已經超過 69.3% 的實數值 ResNet 精度，這也是首次 BNN 網絡能取得和實數值 ResNet 網絡同等高的精度，揭示了 BNN 的巨大潛力。

?

下圖是 ReActNet 與各個方法的對比。

而達成這個高精度的網絡 ReActNet 的核心，其實是非常簡單直接操作。作者通過實驗發現，BNN 卷積輸出的特征圖很難同時兼顧攜帶足夠的特征信息和保證輸出值范圍適合下一層二值化操作。即，如果直接對網絡中傳遞的實數值進行取 Sign 操作，可能會遇到由于實數值范圍不合適而導致的二值化特征圖攜帶信息量低。如下圖所示。

只有在特征圖的取值范圍合適的時候（圖（b）），所輸出的二值化特征圖才是包含最多信息量和最容易被網絡是別的。

?

基于這個觀察，作者提出了 Generalized Sign 和 PReLU 函數，稱之為 RSign （ReAct Sign）和 RPReLU （ReAct PReLU），通過一個可學習的位移量來讓網絡自動學習最適合的 binary 閾值和 Activation 的分布。

?

直觀的理解，比如 RPReLU 所做的事情就是 Move Activation Distribution，Reshape，Move。移動，重塑，再移動。如下圖所示。

?

結合 Distributional Loss 和基于 MobileNet V1 的網絡改進，用了RSign 和 RPReLU 的 ReActNet 能在 ImageNet 數據集上取得了 69.3% 的 Top-1 Accuracy，超過了 State-of-the-art 的結果。而從網絡內部的 Activation 分布中也可以看出，增加了 RSign 和 RPReLU 的 ReActNet 有更強的表達能力，可以捕捉到更精細的 Activation distribution。

最后，HKUST Vision and System Design Lab 正在招有硬件經驗的同學來當博士后，由 Tim CHENG 老師直接指導。如果你曾在 DAC，ICCAD 或同等硬件會議/期刊上發表過一作論文，歡迎發送簡歷到 zliubq@connect.ust.hk

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的ECCV 2020 | 史上最强二值化网络ReActNet，精度首超ResNet的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。