機器之心發布

機器之心編輯部

在本文中，微軟亞洲研究院的研究員和實習生們提出了一個簡單且高效的無監督預訓練方法——參數化實例分類(PIC)。和目前最常用的非參數化對比學習方法不同，PIC 采用了類似于有監督圖片分類的框架，將每個實例或圖片看作一個獨立的類別進行實例分類從而進行無監督學習。與 SimCLR 或 MoCo 這類方法相比，PIC 不需要處理潛在的信息泄漏問題，因此結構簡單直觀。研究者在實驗中證明了 PIC 可以在 ImageNet 數據集中取得與這些非參數化對比學習方法相匹配的性能。

論文地址：https://arxiv.org/abs/2006.14618

面對著自然世界中越來越多的無標注數據，研究者們都希望找到一種正確的方式，從中學習對于視覺任務有幫助的特征，從而使得各類視覺任務能有進一步的突破，也使各類算法和模型能在實際生產環境中有更加充分的應用。最近的研究已經證明，在一些下游任務上，無監督的視覺特征學習可以取得與有監督學習同等甚至更高的遷移學習性能。

在本文中，微軟亞洲研究院的研究員和實習生們提出了一個簡單且高效的無監督預訓練方法——參數化實例分類(Parametric Instance Classification，簡稱 PIC)。和目前最常用的非參數化對比學習方法不同，PIC 采用了類似于有監督圖片分類的框架，將每個實例或圖片看作一個獨立的類別進行實例分類，從而進行無監督學習。

方法介紹

如圖 1 所示，PIC 的框架非常簡單，通過將每一個實例看作一個獨立的類別即可驅動網絡訓練，完成特征表示的學習。與大多數常見的有監督分類框架相似，PIC 也包含如下五個主要的組成部分：

Data Scheduler：用來從數據集中采樣需要傳入網絡中的圖片；

Data augmentation module：用來對采樣出來的圖片進行隨機數據增強，使網絡學到更具區分度的特征；

Backbone network：用來對每個增強后的圖像進行特征提取，同時這一部分網絡也會在下游任務中使用；

Small projection head：用來將高維的特征投影到低維空間，并且在投影后的特征上施加實例分類的損失函數；

Instance classification loss：整個網絡中唯一的損失函數，用于驅動整個網絡訓練。

作者發現，完全采用有監督分類的設計模塊會導致訓練效果不太理想。因此，他們對各個模塊進行適當的調整，使其適應實例分類問題，從而使得 PIC 學到的特征質量大幅度提高。

具體而言，作者借鑒了最近一些無監督預訓練的工作，比如 SimCLR 與 MoCo，采用了合適的數據增強方法和強度，使用兩層 MLP 作為 projection head，以及使用 cosine soft-max loss 作為損失函數等。

除此之外，在 PIC 框架中仍然有許多挑戰，比如對每個實例類別的優化頻率過低或者面對大數據集時負樣本過多等。這些挑戰也給 PIC 在走向實用的過程中帶來了一些問題，如訓練時間過長、顯存消耗過大等。因此，為了在提升特征質量的同時增強實用性，作者提出了兩項新技術。

滑動窗數據調度方法(Sliding window data scheduler)：具體做法如圖 2 所示，將完整訓練過程中使用到的數據看作是周期重復出現的連續數據，然后在連續數據上有重疊地進行采樣，保證兩個訓練周期中會有相同的樣本出現。這一調度方法可以幫助解決對于某個實例類別采樣間隔過大的問題，使訓練穩定的同時更加有效。

負實例類別采樣和分類權重校正(Negative instance class sampling and classification weight correction)：負實例類別采樣即在計算損失函數時，只將最近采樣到的 K 個樣本作為負樣本進行計算，而分類權重校正即為了解決在 SGD 優化過程中因為動量(momentum)和權重衰減(weight decay)的存在依然需要對未被采樣樣本進行梯度計算的問題。由此可以使得訓練時間和顯存消耗不會隨著訓練數據的增長而線性增長，而是與訓練數據大小無關，同時可以保持 PIC 模型的性能表現。

實驗結果

消融實驗

采用不同的通用模塊設定：表 1 展示了更合適的數據增強、兩層 MLP 的 project head 和 cosine soft-max 損失函數均可大幅度提高框架的有效性，尤其是 cosine soft-max 損失函數帶來了接近 20% 的 top-1 acc 的提升。

負實例類別采樣和分類權重校正：從表 2 中可以看到，當沒有分類權重校正時，隨著負樣本的減少，準確度會出現明顯的下降；而當采用分類權重校正后，即使大幅度減少負樣本數，其準確度的下降幅度依然很小。

滑動窗數據調度方法：表 3 展示了當選取滑動窗數據調度方法中不同的超參數時模型的性能表現。表 4 則展示了對于不同長度的訓練輪數，滑動窗數據調度方法均能帶來一定的性能提升，短輪數的實驗性能提升更為明顯。

與其他框架的性能比較

系統級性能比較：如表 5 所示，PIC 在短輪數的實驗上表現非常出色，相比于之前的最優方法能獲得 1.5%～3.2% 不等的性能提升。表 6 則展示了與更多前沿方法的比較。綜合來看，PIC 能取得與 MoCo v2 相當的性能表現，同時遠高于其他的無監督預訓練方法。

下游視覺任務的性能比較：如表 7 和表 8 所示，PIC 在半監督學習、iNaturalist18 細粒度分類、Pascal VOC 檢測任務和 Cityscapes 語義分割任務上都展示出了一致優異的表現，性能均與之前最好的方法相當或優于之前的方法。

分析

作者表示，PIC 框架和有監督分類框架的相似性促使他們去找尋這兩者之間的關聯，并希望通過這些關聯來更好地理解 PIC 框架。他們首先對這兩項任務所使用的卷積神經網絡輸出的特征對不同區域的顯著性進行可視化，如圖 3(a) 所示，可以看出 PIC 關注的顯著區域和有監督分類所關注的顯著區域非常相似，由此進一步統計兩者所關注的顯著區域的重合度，如圖 3(b) 所示，可以發現絕大部分圖片的顯著區域重合度大于 0.6，平均值達到了 0.762，這展現出了兩個方法在顯著區域上具有統計意義上的相似性。圖 3(c) 則揭示了顯著區域重合度與 PIC 模型準確度之間的關聯，從圖中可以明確地看出這兩者之間的正相關性。顯著區域重合度越高，PIC 的性能表現也就越好。

此外，作者還特意尋找了一些 PIC 和有監督分類方法輸出的顯著區域存在較明顯差異的圖片，如圖 3(a) 右側所示。可以發現，這些顯著區域的差異主要是由圖片中包含多個物體所造成的。在這種情況下，有監督分類方法所輸出的顯著區域主要集中在特定的單個物體上，通常這一物體與標注的類別相符，而 PIC 則傾向于將注意力分散在所有具備顯著性的物體上，這種不受標注信息干擾的顯著區域或許是 PIC 在下游視覺任務上有更好表現的原因之一。

總結

本文針對無監督特征學習提出了參數化實例分類(Parametric Instance Classification，PIC)這樣一個簡單而又高效的框架。相比于之前方法需要考慮信息泄漏的問題，PIC 并沒有任何內在的限制。通過結合一些現有框架中的組成部分，和文中提出的滑動窗數據調度方法、以及負實例類別采樣與分類權重校正這兩項技術，PIC 可以達到非常高的性能表現，并且可以應用在各種訓練場景中。對于無監督學習與預訓練這一領域而言，PIC 可以作為一個簡單、實用、高效且易于復現的基準方法，使得領域內未來的研究得以受益。

總結

以上是生活随笔為你收集整理的训练损失越来越大_无需contrastive学习，微软亚研提基于实例分类无监督预训练方法...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。