?

今天給大家介紹一篇 CVPR 2021 關于自監督的文章叫 S2-BNN [1]，來自 CMU，HKUST 和 IIAI。它探討了如果網絡規模在非常小的情況下（比如 efficient networks 或者 binary neural networks），什么樣的自監督訓練策略和方法是最好的。

本文發現基于小網絡的前提下，基于蒸餾（distillation learning）的自監督學習得到的模型性能遠遠強于對比學習（contrastive learning），同時他們還發現同時使用蒸餾和對比學習效果反而不如單獨使用蒸餾損失，這也是一個非常有意思的發現。

論文標題：

S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration

論文鏈接：

https://arxiv.org/abs/2102.08946

代碼和模型：

https://github.com/szq0214/S2-BNN

本文的初衷是：如果網絡模型的規模比較小，那么它的表達能力也會非常有限，從而會造成這類網絡的預測概率變得不那么確信（confident），這時候作者就產生一個疑問：最常使用的對比學習在這種類型的網絡上面還能取得較好的結果嗎？

基于這個疑問：作者首先使用默認參數的 MoCo V2 作為自監督學習基準算法（baseline），在使用 ReActNet 作為主干網的時候在 ImageNet 上得到 46.9%。由于該主干網是一個二值化網絡，因此作者提出需要調整優化器、學習率策略、數據增強策略來匹配二值網絡的特性。作者嘗試使用 Adam 和 SGD 兩種優化器來訓練主干網，在線性評估（linear evaluation）階段使用不同學習率來尋找最佳的參數設計。

作者發現使用使用 SGD 訓練的網絡，在線性評估階段學習率比較大的時候性能比較高，學習率降低時精度嚴重下降，而 Adam 訓練的網絡剛好相反，學習率降低時精度反而上升，同時 Adam 訓練的網絡在取得最佳精度的設置時結果明顯優于 SGD 的最佳結果。因此作者首先提出了一個基于 MoCo V2 的更強的 baseline+，性能為 52.5%。

接下來作者提出并比較了如下三種策略：

1. 單純使用對比學習（使用增強后的 MoCo V2 作為對比學習算法）；

2. 對比學習損失加上知識蒸餾損失（文章使用 cross-entropy loss 作為蒸餾損失）訓練模型；

3. 只使用知識蒸餾損失（cross-entropy loss）訓練模型。

蒸餾損失函數表達：

作者這邊使用的是 soft 版本的 cross-entropy loss 作為蒸餾損失函數，具體實現細節可以去看他們的代碼，損失函數表達形式如下：

如何獲取 teacher 呢？

這里作者討論了兩種方案來得到 teacher 網絡，一種是在線（online）的方式同時訓練 teacher 和 student，如下圖所示。另一種是離線（offline）的方式，即先使用自監督方法訓好 teacher，然后固定 teacher 的權重來蒸餾目標網絡，這也是本文中采用的策略。

為什么使用 offline 的策略呢？其主要好處是效率高，由于 teacher 只需要訓練一次，后面可以重復使用，從而使 student 的訓練更加高效。其次就是 teacher 在蒸餾過程中權重都是 freeze 的，產生的監督信號也跟精確更穩定，對于 student 的收斂也會有幫助。

下面是兩種策略的算法示意圖：

核心實驗結果：

作者在 ImageNets-1k 上進行了實驗，核心結果如下：

表中 ① ② ③ 分別對應了三種訓練策略，本文增強之后的結果比原始的 baseline 高了 5.6%，加上蒸餾損失（distillation loss）之后結果提升到 5.6%，去掉對比損失（contrastive loss）精度進一步提升了 5.5%，達到 61.5%。可以看到只使用知識蒸餾的策略相比其他兩個方案，對于性能的提升還是非常可觀的。

為什么同時使用蒸餾損失和對比損失效果反而沒有單獨使用蒸餾損失效果好？

?

直觀地說，蒸餾損失會迫使 student 去模仿 teacher 網絡的預測概率輸出，而對比學習傾向于從數據本身中發現潛在模式（patterns）。如下圖所示，在二值化網絡場景中，對比損失學習細粒度表示的能力相比蒸餾損失相對較弱，學到的表達在語義層面也更模糊。因此，由于優化空間的差異而導致兩者結合使用可能并不是最佳的解決方案。

同時期一些基于蒸餾的自監督學習方法：

最近基于知識蒸餾的自監督方法有不少，包括跟本文同時期的 SEED [2]（發表于 ICLR 2021, 兩者投稿相隔一個月，可以認為是同時期的工作）以及后續比較有名的 FAIR 的 DINO [3] 等等, SEED 基本上跟這篇文章的方法是類似的，只是在 student 的選取上一個選擇的是小規模網絡，本文選擇的是 efficient 的二值化網絡，但是本身訓練方法上沒有大的差別。DINO ?跟他們兩者的主要區別在于 DINO 的 teacher 的權重在訓練過程是不固定的。

?

更多分析和消融實驗請閱讀論文原文。

參考文獻

[1] Zhiqiang Shen, Zechun Liu, Jie Qin, Lei Huang, Kwang-Ting Cheng, and Marios Savvides. "S2-bnn: Bridging the gap between self-supervised real and 1-bit neural networks via guided distribution calibration." In?Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2165-2174. 2021.

[2] Zhiyuan Fang, Jianfeng Wang, Lijuan Wang, Lei Zhang, Yezhou Yang, and Zicheng Liu. "Seed: Self-supervised distillation for visual representation."?arXiv preprint arXiv:2101.04731?(2021).

[3] Mathilde Caron, Hugo Touvron, Ishan Misra, Hervé Jégou, Julien Mairal, Piotr Bojanowski, and Armand Joulin. "Emerging properties in self-supervised vision transformers."?arXiv preprint arXiv:2104.14294?(2021).

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的自监督学习新思路！基于蒸馏（distillation loss）的自监督学习算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。