前言

算法、算力、數據是深度學習的三架馬車。深度學習是數據驅動式方法，目前的從業基本者都有一個共識就是：數據是非常重要的且不可或缺的。在實際環境中對數據標注又是一個耗時和昂貴的過程。但是受束于資源的限制，可能你有很多的圖片，但是只有一部分可以進行人工標注。

例如工業頻繁更換型號的場景，花費更多時間標注意味著上線運行時間的 delay，會嚴重影響效率和產能。在這樣的情況下，如何利用大量未標注的圖像以及部分已標注的圖像來提高模型的性能呢？答案是 semi-supervised 半監督學習。

半監督學習（SSL）這個領域近年來得到飛速的發展，方法也有很多，但很多都是使用較為復雜的方法，標注降低了，但是訓練復雜度等其他方面的代價上來了。本文提出 FixMatch，是一種對現有 SSL 方法進行顯著簡化的算法。FixMatch 使用模型的預測生成偽標簽進行無標簽數據的訓練。

本文貢獻：利用一致性正則化（ Consistency regularization）和偽標簽（pseudo-labeling）技術進行無監督訓練。SOTA ?精度，其中 CIFAR-10 有 250 個標注，準確率為 94.93%。甚至僅使用10張帶有標注的圖在 CIFAR-10 上達到 78％ 精度。

論文標題：

FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

論文鏈接：

https://arxiv.org/abs/2001.0768

官方代碼：

https://github.com/google-research/fixmatch

核心思想

如上圖所示，訓練過程包括兩個部分，有監督訓練和無監督訓練。有 label 的數據，執行有監督訓練，和普通分類任務訓練沒有區別。沒有 label 的數據，經過首先經過弱增強獲取偽標簽。然后利用該偽標簽去監督強增強的輸出值，只有大于一定閾值條件才執行偽標簽的生成。無監督的訓練過程包含兩種思想在里面，即一致性正則化和偽標簽訓練。

一致性正則化是當前半監督 SOTA 工作中一個重要的組件，其建立在一個基本假設：相同圖片經過不同擾動（增強）經過網絡會輸出相同預測結果，因此對這二者進行 loss 計算便可以對網絡進行監督訓練，又被稱為自監督訓練。loss 計算如下：

偽標簽是利用模型本身為未標記數據獲取人工標簽的思想。通常是使用“hard”標簽，也就是 argmax 獲取的 onehot 標簽，僅保留最大類概率超過閾值的標簽。計算 loss 的時如下：

其中 ， 為閾值。我們假設 argmax 一個概率分布產生一個有效的 onehot 概率分布。

這種機制為什么 work？無監督訓練過程實際上是一個孿生網絡，可以提取到圖片的有用特征。弱增強不至于圖像失真，再加上輸出偽標簽閾值的設置，極大程度上降低了引入錯誤標簽噪聲的可能性。

而僅僅使用弱增強可能會導致訓練過擬合，無法提取到本質的特征，所以使用強增強。強增強帶來圖片的嚴重失真，但是依然是保留足夠可以辨認類別的特征。有監督和無監督混合訓練，逐步提高模型的表達能力。

算法流程圖

輸入的數據包括兩個部分，有標注的數據和沒有標注的數據，另外需要設定置信度閾值、采樣比例、loss 權重等超參。

對有標注的部分執行有監督訓練，使用傳統的 CE loss。

遍歷無標注的數據，利用弱增強獲取偽標簽。

對無標注的數據，利用獲取的偽標簽進行訓練，同樣利用 CE loss。

根據一定的 loss 權重融合二者的 loss。

loss計算

loss 包括兩部分，標注有監督分類任務 loss 和無監督為標簽訓練 loss 分別如下。其中 表示弱增強，一般為 flip、平移； 表示強增強，一般為色彩變換、對比度增強、旋轉等，下面會細說。

數據增強

上文提到了該方法應用到了兩種數據增強，分別是 weak Augmentation 和 strong Augmentation。weak Augmentation 為標準的 flip-and-shift 增強策略，50% 的概率進行 flip 和 12.5% 的概率進行 shift，包括水平和豎直方向。

對于 strong Augmentation，論文主要應用 RandAugment 和 CTAugment 兩種策略，都是為提高模型表現而提出的增強策略。首先進行嚴重失真的增強，然后再應用 CutOut 增強。增強函數來自 PIL 庫。

以前的 SSL 使用的是 AutoAugment，這個工具訓練了一個強化學習算法來尋找最佳準確率的增強方法。本文 FixMatch 使用了 AutoAugment 的兩個變體之一，采用的是隨機采樣策略，減少網絡對增強之間耦合程度的依賴。對于 RandAugment：

• 收集有一個包含數十種增強的列表，以及一系列增強幅度大小。

• 從這個列表里隨機選出 N 個增強，例如 N 為 2。

• 然后選擇一個隨機的幅度 M，例如 50% 之類的。

• 將所選的增強應用于圖像，每種增強都有 50％ 的可能性被應用。

上表為 RandAugment 涉及到的所有的增強和參數區間。對于 CTAugment 同理，主要有 Autocontrast 、Brightness、Color、Contrast、Cutout、Equalize、Invert、Identity、Posterize、Rescale、Rotate、Sharpness、Shear_x、Shear_y、Smooth、Solarize、Translate_x、Translate_y，不再敘述。

實驗效果

作者分別在 CIFAR 和 SVHM 等數據集上進行了訓練測試，模型表現超過之前的網絡。具體如下：

對于極端缺少標注的場景，僅僅使用每個類別 1 張共 10 張標注的圖片就可以達到 78% 的最大 accuracy，當然這種做法和挑選的樣本質量有關，作者也做了相關實驗論證。不過也證明本文的方法的確 work。

另外，作者做了很多實驗消融實驗，包括一些訓練超參調節的，不再敘述，有興趣的可以閱讀原文。

結語

本文介紹了一篇半監督領域經典論文，其做法簡單有效，使用圖像增強技術進行偽標簽學習和一致性正則化訓練，在 CIFAR 等多個數據集上僅僅利用少量的標注圖片就可以達到一個不錯的效果，這對于獲取標注困難的場景非常有意義。例如在工業應用領域，可能會有海量數據，但是現實限制可能無法都進行人工標注，因此可以嘗試利用半監督訓練的方法，非常值得借鑒。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的NeurIPS 2020 | FixMatch：通过图像增强就能实现半监督学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。