機(jī)器之心發(fā)布

機(jī)器之心編輯部

在本文中，微軟亞洲研究院的研究員和實(shí)習(xí)生們提出了一個(gè)簡(jiǎn)單且高效的無(wú)監(jiān)督預(yù)訓(xùn)練方法——參數(shù)化實(shí)例分類(PIC)。和目前最常用的非參數(shù)化對(duì)比學(xué)習(xí)方法不同，PIC 采用了類似于有監(jiān)督圖片分類的框架，將每個(gè)實(shí)例或圖片看作一個(gè)獨(dú)立的類別進(jìn)行實(shí)例分類從而進(jìn)行無(wú)監(jiān)督學(xué)習(xí)。與 SimCLR 或 MoCo 這類方法相比，PIC 不需要處理潛在的信息泄漏問(wèn)題，因此結(jié)構(gòu)簡(jiǎn)單直觀。研究者在實(shí)驗(yàn)中證明了 PIC 可以在 ImageNet 數(shù)據(jù)集中取得與這些非參數(shù)化對(duì)比學(xué)習(xí)方法相匹配的性能。

論文地址：https://arxiv.org/abs/2006.14618

面對(duì)著自然世界中越來(lái)越多的無(wú)標(biāo)注數(shù)據(jù)，研究者們都希望找到一種正確的方式，從中學(xué)習(xí)對(duì)于視覺(jué)任務(wù)有幫助的特征，從而使得各類視覺(jué)任務(wù)能有進(jìn)一步的突破，也使各類算法和模型能在實(shí)際生產(chǎn)環(huán)境中有更加充分的應(yīng)用。最近的研究已經(jīng)證明，在一些下游任務(wù)上，無(wú)監(jiān)督的視覺(jué)特征學(xué)習(xí)可以取得與有監(jiān)督學(xué)習(xí)同等甚至更高的遷移學(xué)習(xí)性能。

在本文中，微軟亞洲研究院的研究員和實(shí)習(xí)生們提出了一個(gè)簡(jiǎn)單且高效的無(wú)監(jiān)督預(yù)訓(xùn)練方法——參數(shù)化實(shí)例分類(Parametric Instance Classification，簡(jiǎn)稱 PIC)。和目前最常用的非參數(shù)化對(duì)比學(xué)習(xí)方法不同，PIC 采用了類似于有監(jiān)督圖片分類的框架，將每個(gè)實(shí)例或圖片看作一個(gè)獨(dú)立的類別進(jìn)行實(shí)例分類，從而進(jìn)行無(wú)監(jiān)督學(xué)習(xí)。

方法介紹

如圖 1 所示，PIC 的框架非常簡(jiǎn)單，通過(guò)將每一個(gè)實(shí)例看作一個(gè)獨(dú)立的類別即可驅(qū)動(dòng)網(wǎng)絡(luò)訓(xùn)練，完成特征表示的學(xué)習(xí)。與大多數(shù)常見(jiàn)的有監(jiān)督分類框架相似，PIC 也包含如下五個(gè)主要的組成部分：

Data Scheduler：用來(lái)從數(shù)據(jù)集中采樣需要傳入網(wǎng)絡(luò)中的圖片；

Data augmentation module：用來(lái)對(duì)采樣出來(lái)的圖片進(jìn)行隨機(jī)數(shù)據(jù)增強(qiáng)，使網(wǎng)絡(luò)學(xué)到更具區(qū)分度的特征；

Backbone network：用來(lái)對(duì)每個(gè)增強(qiáng)后的圖像進(jìn)行特征提取，同時(shí)這一部分網(wǎng)絡(luò)也會(huì)在下游任務(wù)中使用；

Small projection head：用來(lái)將高維的特征投影到低維空間，并且在投影后的特征上施加實(shí)例分類的損失函數(shù)；

Instance classification loss：整個(gè)網(wǎng)絡(luò)中唯一的損失函數(shù)，用于驅(qū)動(dòng)整個(gè)網(wǎng)絡(luò)訓(xùn)練。

作者發(fā)現(xiàn)，完全采用有監(jiān)督分類的設(shè)計(jì)模塊會(huì)導(dǎo)致訓(xùn)練效果不太理想。因此，他們對(duì)各個(gè)模塊進(jìn)行適當(dāng)?shù)恼{(diào)整，使其適應(yīng)實(shí)例分類問(wèn)題，從而使得 PIC 學(xué)到的特征質(zhì)量大幅度提高。

具體而言，作者借鑒了最近一些無(wú)監(jiān)督預(yù)訓(xùn)練的工作，比如 SimCLR 與 MoCo，采用了合適的數(shù)據(jù)增強(qiáng)方法和強(qiáng)度，使用兩層 MLP 作為 projection head，以及使用 cosine soft-max loss 作為損失函數(shù)等。

除此之外，在 PIC 框架中仍然有許多挑戰(zhàn)，比如對(duì)每個(gè)實(shí)例類別的優(yōu)化頻率過(guò)低或者面對(duì)大數(shù)據(jù)集時(shí)負(fù)樣本過(guò)多等。這些挑戰(zhàn)也給 PIC 在走向?qū)嵱玫倪^(guò)程中帶來(lái)了一些問(wèn)題，如訓(xùn)練時(shí)間過(guò)長(zhǎng)、顯存消耗過(guò)大等。因此，為了在提升特征質(zhì)量的同時(shí)增強(qiáng)實(shí)用性，作者提出了兩項(xiàng)新技術(shù)。

滑動(dòng)窗數(shù)據(jù)調(diào)度方法(Sliding window data scheduler)：具體做法如圖 2 所示，將完整訓(xùn)練過(guò)程中使用到的數(shù)據(jù)看作是周期重復(fù)出現(xiàn)的連續(xù)數(shù)據(jù)，然后在連續(xù)數(shù)據(jù)上有重疊地進(jìn)行采樣，保證兩個(gè)訓(xùn)練周期中會(huì)有相同的樣本出現(xiàn)。這一調(diào)度方法可以幫助解決對(duì)于某個(gè)實(shí)例類別采樣間隔過(guò)大的問(wèn)題，使訓(xùn)練穩(wěn)定的同時(shí)更加有效。

負(fù)實(shí)例類別采樣和分類權(quán)重校正(Negative instance class sampling and classification weight correction)：負(fù)實(shí)例類別采樣即在計(jì)算損失函數(shù)時(shí)，只將最近采樣到的 K 個(gè)樣本作為負(fù)樣本進(jìn)行計(jì)算，而分類權(quán)重校正即為了解決在 SGD 優(yōu)化過(guò)程中因?yàn)閯?dòng)量(momentum)和權(quán)重衰減(weight decay)的存在依然需要對(duì)未被采樣樣本進(jìn)行梯度計(jì)算的問(wèn)題。由此可以使得訓(xùn)練時(shí)間和顯存消耗不會(huì)隨著訓(xùn)練數(shù)據(jù)的增長(zhǎng)而線性增長(zhǎng)，而是與訓(xùn)練數(shù)據(jù)大小無(wú)關(guān)，同時(shí)可以保持 PIC 模型的性能表現(xiàn)。

實(shí)驗(yàn)結(jié)果

消融實(shí)驗(yàn)

采用不同的通用模塊設(shè)定：表 1 展示了更合適的數(shù)據(jù)增強(qiáng)、兩層 MLP 的 project head 和 cosine soft-max 損失函數(shù)均可大幅度提高框架的有效性，尤其是 cosine soft-max 損失函數(shù)帶來(lái)了接近 20% 的 top-1 acc 的提升。

負(fù)實(shí)例類別采樣和分類權(quán)重校正：從表 2 中可以看到，當(dāng)沒(méi)有分類權(quán)重校正時(shí)，隨著負(fù)樣本的減少，準(zhǔn)確度會(huì)出現(xiàn)明顯的下降；而當(dāng)采用分類權(quán)重校正后，即使大幅度減少負(fù)樣本數(shù)，其準(zhǔn)確度的下降幅度依然很小。

滑動(dòng)窗數(shù)據(jù)調(diào)度方法：表 3 展示了當(dāng)選取滑動(dòng)窗數(shù)據(jù)調(diào)度方法中不同的超參數(shù)時(shí)模型的性能表現(xiàn)。表 4 則展示了對(duì)于不同長(zhǎng)度的訓(xùn)練輪數(shù)，滑動(dòng)窗數(shù)據(jù)調(diào)度方法均能帶來(lái)一定的性能提升，短輪數(shù)的實(shí)驗(yàn)性能提升更為明顯。

與其他框架的性能比較

系統(tǒng)級(jí)性能比較：如表 5 所示，PIC 在短輪數(shù)的實(shí)驗(yàn)上表現(xiàn)非常出色，相比于之前的最優(yōu)方法能獲得 1.5%～3.2% 不等的性能提升。表 6 則展示了與更多前沿方法的比較。綜合來(lái)看，PIC 能取得與 MoCo v2 相當(dāng)?shù)男阅鼙憩F(xiàn)，同時(shí)遠(yuǎn)高于其他的無(wú)監(jiān)督預(yù)訓(xùn)練方法。

下游視覺(jué)任務(wù)的性能比較：如表 7 和表 8 所示，PIC 在半監(jiān)督學(xué)習(xí)、iNaturalist18 細(xì)粒度分類、Pascal VOC 檢測(cè)任務(wù)和 Cityscapes 語(yǔ)義分割任務(wù)上都展示出了一致優(yōu)異的表現(xiàn)，性能均與之前最好的方法相當(dāng)或優(yōu)于之前的方法。

分析

作者表示，PIC 框架和有監(jiān)督分類框架的相似性促使他們?nèi)フ覍み@兩者之間的關(guān)聯(lián)，并希望通過(guò)這些關(guān)聯(lián)來(lái)更好地理解 PIC 框架。他們首先對(duì)這兩項(xiàng)任務(wù)所使用的卷積神經(jīng)網(wǎng)絡(luò)輸出的特征對(duì)不同區(qū)域的顯著性進(jìn)行可視化，如圖 3(a) 所示，可以看出 PIC 關(guān)注的顯著區(qū)域和有監(jiān)督分類所關(guān)注的顯著區(qū)域非常相似，由此進(jìn)一步統(tǒng)計(jì)兩者所關(guān)注的顯著區(qū)域的重合度，如圖 3(b) 所示，可以發(fā)現(xiàn)絕大部分圖片的顯著區(qū)域重合度大于 0.6，平均值達(dá)到了 0.762，這展現(xiàn)出了兩個(gè)方法在顯著區(qū)域上具有統(tǒng)計(jì)意義上的相似性。圖 3(c) 則揭示了顯著區(qū)域重合度與 PIC 模型準(zhǔn)確度之間的關(guān)聯(lián)，從圖中可以明確地看出這兩者之間的正相關(guān)性。顯著區(qū)域重合度越高，PIC 的性能表現(xiàn)也就越好。

此外，作者還特意尋找了一些 PIC 和有監(jiān)督分類方法輸出的顯著區(qū)域存在較明顯差異的圖片，如圖 3(a) 右側(cè)所示?？梢园l(fā)現(xiàn)，這些顯著區(qū)域的差異主要是由圖片中包含多個(gè)物體所造成的。在這種情況下，有監(jiān)督分類方法所輸出的顯著區(qū)域主要集中在特定的單個(gè)物體上，通常這一物體與標(biāo)注的類別相符，而 PIC 則傾向于將注意力分散在所有具備顯著性的物體上，這種不受標(biāo)注信息干擾的顯著區(qū)域或許是 PIC 在下游視覺(jué)任務(wù)上有更好表現(xiàn)的原因之一。

總結(jié)

本文針對(duì)無(wú)監(jiān)督特征學(xué)習(xí)提出了參數(shù)化實(shí)例分類(Parametric Instance Classification，PIC)這樣一個(gè)簡(jiǎn)單而又高效的框架。相比于之前方法需要考慮信息泄漏的問(wèn)題，PIC 并沒(méi)有任何內(nèi)在的限制。通過(guò)結(jié)合一些現(xiàn)有框架中的組成部分，和文中提出的滑動(dòng)窗數(shù)據(jù)調(diào)度方法、以及負(fù)實(shí)例類別采樣與分類權(quán)重校正這兩項(xiàng)技術(shù)，PIC 可以達(dá)到非常高的性能表現(xiàn)，并且可以應(yīng)用在各種訓(xùn)練場(chǎng)景中。對(duì)于無(wú)監(jiān)督學(xué)習(xí)與預(yù)訓(xùn)練這一領(lǐng)域而言，PIC 可以作為一個(gè)簡(jiǎn)單、實(shí)用、高效且易于復(fù)現(xiàn)的基準(zhǔn)方法，使得領(lǐng)域內(nèi)未來(lái)的研究得以受益。

總結(jié)

以上是生活随笔為你收集整理的训练损失越来越大_无需contrastive学习，微软亚研提基于实例分类无监督预训练方法...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。