?PaperWeekly 原創 ·?作者｜燕皖

單位｜淵亭科技

研究方向｜計算機視覺、CNN

在監督學習中，模型都是需要有一個大量的有標簽的數據集進行擬合，通常數據成本、人力成本都很高。而現實生活中，無標簽的樣本的收集相對就很容易很多。因此，近年來，利用大量的無標簽樣本和少量的有標簽樣本的半監督學習備受關注。

本文主要介紹一種半監督的方法——Self-training，其主要思路是：先利用有標簽數據訓練得到模型，然后對無標簽數據進行預測，置信度高的數據可以用于加入訓練集，繼續訓練，直到模型符合要求。首先介紹了兩種經典的 Self-training 方法，然后介紹了 Self-training 在 Kaggle 比賽上的實踐。

Pseudo-label

論文標題：The Simple and EfficientSemi-Supervised Learning Method for Deep Neural Networks

論文來源：ICML 2013

論文鏈接：http://deeplearning.net/wp-content/uploads/2013/03/pseudo_label_final.pdf

代碼鏈接：https://github.com/iBelieveCJM/pseudo_label-pytorch

1.1 訓練策略

Pseudo-label 是 2013 年提出的一個非常簡單有效的Semi-Supervised Learning 方法，其主要思想是在一批有標簽和無標簽的圖像上，同時訓練一個模型。訓練流程如下：

Step 1：首先，同時使用有標記和未標記的 data，以有監督的方式訓練 pretrained model。總損失是有標記和無標記損失項的加權和，前面是有標簽數據的損失部分，后面的無標簽數據的損失部分，如下：

其中，y 代表已標記數據的標簽，y′ 代表了未標記數據的偽標簽。

通常，為了確保模型已經從標記的數據中學習了足夠多的信息，alpha_t 在最初的 N epoch 中，設置為 0，然后逐漸增加到 M epoch 后保持不變。如下式：

Step 2：然后，用訓練好的 model 對一批未標記圖像進行預測，用最大置信度作為 Pseudo-label ；

Step 3： 最后將有標簽和偽標簽的數據一起進行 finetune，直到最終得到最優 model。

1.2 實驗結果

文章指出用 600 個標記數據對神經網絡進行訓練，和增加 60000 個未標記的數據和偽標簽。從下圖可以明顯看到，通過使用未標記數據和偽標簽訓練的模型具有更好地泛化能力。

Noisy Student

論文標題：Self-training with Noisy Studentimproves ImageNet classification

論文來源：CVPR 2020

論文鏈接：https://arxiv.org/abs/1911.04252

代碼鏈接：https://github.com/google-research/noisystudent

Google AI 年提出了一種受 Knowledge Distillation 啟發的半監督方法“Noisy Student”。

2.1 Introduction

這篇文章主要的方法簡單說就是使用更大的未標記圖像的數據集，其中大部分圖像不屬于 ImageNet 訓練集分布，來提高 SOTA-ImageNet 的精度。

其核心思想是 train 兩種不同的模型，即“Teacher”和“Student”。教師模型首先對標簽圖像進行訓練，然后對未標記圖像進行偽標簽推斷。這些偽標簽可以是 soft-label，也可以通過使用 most confident 轉換的 hard-label。

然后，將有標記和未標記的圖像組合在一起，并根據這些組合的數據訓練學生模型。利用 RandAugment 作為輸入噪聲的一種形式對圖像進行增強，最后訓練得到最優 model。

2.2 訓練策略

對于一些有標簽數據集 data1 和一些無標注數據集 data2

第一步：在有標簽數據集上訓練一個模型，稱為 teacher；

第二步：利用第一步得到的模型，在未標注數據集上進行預測，softmax 輸出結果是概率分布，一般稱為稱為 soft label，其只給出每個類別的 score，而非指定為具體某個類別，而 hard label 就是 one-hot 形式的取 max 后的結果，并且實驗證明軟標簽更好一些；

第三步：將有標注數據集和偽標簽數據集合并，然后利用 augmentation、droupout 等策略，基于這個大數據集進行訓練一個新的 student 模型；

第四步：將學到的 student 當做 teacher 重新對無標注數據集進行打標簽，回到第二步中，迭代直到得到最優 mdoel 為止。

2.3 實驗

對于標準數據集，仍使用 ImageNet 2012 基準數據集；

未標注數據集來自于 JFT 數據集，它實際含有大約 3 億張圖片，盡管這些圖片實際有真實標簽，但我們此處不需要，只當做無標記圖片數據集即可。

為了實現無標簽圖片類別的平衡，作者拿在 ImageNet 上訓練的 EfficientNet-B0 對 JFT 數據集打標簽，并剔除了標簽信任度低于 0.3 的圖片，對于每個類別，挑選具有最高信任度的 13 萬張圖片，對于不足 13 萬張的類別，隨機再復制一些。

最終結果如下，可見 Noisy Student 方法在這一數據集上將 SOTA 性能提高了一個點。

Global Wheat Detection上的實踐

接下來，將從目前正在參加的 kaggle 比賽（Global Wheat Detection）全球小麥頭檢測來分析Semi-Supervised Learning在目標檢測中的作用。

比賽鏈接：

https://www.kaggle.com/c/global-wheat-detection

在本競賽中，將從室外的小麥植株圖像（包括來自全球的小麥數據集）中檢測出小麥植株的頭部，訓練數據集涵蓋了多個區域，是來自歐洲（法國，英國，瑞士）和北美（加拿大）的 3,000 多張圖像，測試數據包括來自澳大利亞，日本和中國的約 1,000 張圖像。

下面是一些識別的小麥頭圖片，可以看到比賽困難點不僅僅是數據少，小麥頭經常重疊、小麥頭具有多種尺寸、小麥的外觀顏色由于成熟度不同而各不相同，

3.1 訓練策略

由于在 kaggle 圖像檢測的比賽當中對于測試集的圖片我們是無法查看的，只有在提交后代碼運行才能調用測試集，因此我們在 kaggle 比賽使用需要對 Pseudo-label 的方法做些修改。

Step 1：將有標簽部分數據分為兩份：訓練集和測試集，并訓練出最優的 model1

Step 2：用訓練好的 model 1 對一批未標記圖像（測試集）進行預測，制作偽標簽的過程中可以使用 Noisy Student 的方法，即通過圖像翻折、旋轉、縮放等對圖像進行擴增，以此提升我們制作的偽標簽的準確度，然后對預測的標簽進行篩選選擇大于預測閾值的標簽作為偽標簽。

Step 3：最后將有標簽的數據（訓練集）和偽標簽的數據（測試集）一起進行 finetune model 1，通過驗證集選取 best model。

3.2 閾值選取

在目標檢測任務中使用 Pseudo-label 方法的關鍵在于如何設置好預測閾值，由于一張圖片當中具有多個目標，如果只是選擇預測概率較高的結果作為標簽，那么一張圖中就會有許多目標就沒有被標記出來被當作負樣本。

這樣子制作的標簽假負例（FN）過多，但是閾值也不能偏低太低的話會引入一些錯誤的假正例（FP）所以目標檢測任務中的預測概率閾值成為偽標簽制作的一個關鍵，不能太高但同時也不能太低（太低的話會引入一些錯誤的標簽）。

在比賽我得到的關于閾值選取的經驗是，當圖像中目標較多的情況下選取的閾值應該要小一些這樣可以避免較多的假負例，反之在目標少的情況選擇的閾值應大一些，還有一個比較有效的方法是利用在訓練集上訓練好的模型通過滑動閾值（自動逐個嘗試）先搜索出模型在驗證集上取得較好效果的預測閾值，再通過微調這個閾值測試出最適合制作偽標簽的閾值。

在使用 Semi-Supervised Learning 成績為: 0.7720 ，沒使用是 0.7522，增加了 0.0198，效果可以說是相當的明顯了，排名提升了一百多名。

結論

可以看到，不論是小數據集，還是大數據集，Self training 都是一種有效的漲點方法，尤其是，在像 Kaggle 這樣的比賽中，相信這項技術是很有用的，因為通常即使是輕微的分數提高也能讓你在排行榜上得到提升。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的Self-training在目标检测任务上的实践的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。