NeurIPS 2020 | 聚焦自监督学习
?PaperWeekly 原創(chuàng) ·?作者｜張一帆
學(xué)校｜華南理工大學(xué)本科生
研究方向｜CV，Causality
知乎ID｜yearn
本文梳理了四篇來自 NeurIPS 2020 和對比學(xué)習(xí)相關(guān)的文章，其中兩篇為 spotlight。
InvP
論文標(biāo)題：
Unsupervised Representation Learning by Invariance Propagation
論文鏈接：
https://arxiv.org/abs/2010.11694
Conclusion: 學(xué)習(xí) category-level 的不變性表示。
傳統(tǒng)的 contrastive learning 是屬于 instance-level 的不變性表示，即每個圖片單獨為一類，該圖片與其 argumented images 包含的類別信息保持不變，但是不能保證同一類的兩張圖片在隱空間相互接近（如何保證同一類的兩張圖片在隱空間相互接近：有監(jiān)督對比學(xué)習(xí)可以在有 label 的情況下實現(xiàn) category-level 的不變性表示。）。
Smoothness Assumption [1]：文章的立足點，在一個高密度區(qū)域內(nèi)，如果兩個 image 的特征 接近，那么他們的語義信息（或者標(biāo)簽）相似。
Contributions:
Positive sample discovery:
基于連續(xù)性假設(shè)，一個 high-density region 往往是同一類。進(jìn)行 步以下過程：每一步中，將當(dāng)前已經(jīng)發(fā)現(xiàn)的正樣本的所有 最近鄰加到正樣本集中。比起使用傳統(tǒng)的 KNN 選擇 個最近鄰，這里將 設(shè)置的比較小，因此不會選到 這種不在同一個 high-density region 的點，以此在無標(biāo)簽的情況下挖掘同一類別的不同實例，有了這些 category-level 的正樣本，我們就能更容易得到 category-level 的不變性表示。
Hard sampling mining:
對于正樣本和負(fù)樣本，這里都進(jìn)行了難例挖掘，對于一個樣本 ，他的挖掘損失定義為 ， 是其正樣本難例挖掘結(jié)果， 則是難負(fù)樣本集，分別定義如下
Hard positive sampling：在上述找到的正樣本集合 中選 個與 相似度最小的構(gòu)成集合 （上圖中 C 相對于 A 即最難正樣本）
Hard negative sampling：找 的 近鄰構(gòu)成 ,?要足夠大使得 ，然后難負(fù)樣本集合為 。
這里最重要的 insight 即已經(jīng)很近的正樣本和已經(jīng)很遠(yuǎn)的負(fù)樣本（不屬于近鄰的難樣本已經(jīng)離和 很遠(yuǎn)了）我們無需再優(yōu)化，重要的是進(jìn)一步拉近離得遠(yuǎn)的正樣本，推開那些模糊的負(fù)樣本。
訓(xùn)練總體損失為 ，第一項可以看作傳統(tǒng)對比學(xué)習(xí)的 instance discrimination 損失，第二項即挖掘損失，在開始的 T 個 epoch， ，否則為 1，因為在訓(xùn)練的開始網(wǎng)絡(luò)隨機(jī)初始化，因此挖掘的難例不可信，
Experiments：
在 Imagenet 上訓(xùn)練模型，在分類，半監(jiān)督，trainsfer learning，目標(biāo)檢測四個任務(wù)上進(jìn)行了實驗與比較，得到了不錯的結(jié)果，看起來比起 Moco 和 SimCLR 還是有提升的。對 category-level 不變性帶來的效果也進(jìn)行了單獨的分析，顯然這種方法正負(fù)樣本相似度的分布比 instance discrimination 帶來的分布差別更大，更好分辨。也能找到一些難正樣本，這在傳統(tǒng) instance-level 的對比學(xué)習(xí)中是很難得到的。
Opinions:
迭代式的 KNN 真的比傳統(tǒng) KNN 好嗎？并不見得！如果兩個 high-density region 很靠近，或者相互重疊，那么多次迭代的結(jié)果會選擇更多的語義信息不相同的數(shù)據(jù)點。當(dāng)然這只是我的看法，作者的實驗中這樣的方法還是有改善的。
整體來看還是比較 Heuristics。
MoCHi
論文標(biāo)題：
Hard Negative Mixing for Contrastive Learning
論文鏈接：
https://arxiv.org/abs/2010.01028
Conclusion：通過在特征空間進(jìn)行 mixup 的方式產(chǎn)生更難的負(fù)樣本
Motivation：難樣本一直是對比學(xué)習(xí)的主要研究部分，擴(kuò)大 batch size，使用 memory bank 都是為了得到更多的難樣本，然而，增加內(nèi)存/ batch size 并不能使得性能一直快速提升：更多的負(fù)樣本并不一定意味著帶來更難的負(fù)樣本（文章對這類問題做了詳盡的實驗，有興趣的可以查閱原文），那么我們能否在不增大內(nèi)存的情況下得到更多更難的樣本？
Contributions
我們有 K 個負(fù)樣本特征 ，選與 query 特征 距離最小的 個作為難樣本集合 。
Mixing the hardest negatives：隨機(jī)在難樣本集合中選擇兩個特征 ，我們可以將其混合產(chǎn)生一個更難的 ，我們隨計選擇 生成 個難樣本， 保證了計算效率的提升。
Mixing for even harder negatives：上一步與傳統(tǒng)的 mixup 并沒有太大差別，這里提出的正負(fù)樣本特征混合是比較 novel 的地方。隨機(jī)在難樣本集合中選擇一個特征 ，我們可以將其與 query 混合產(chǎn)生一個更難的 , 確保了 query 的貢獻(xiàn)小于負(fù)樣本，這里總共產(chǎn)生 個負(fù)樣本，需要滿足 。
Opinions:
新瓶舊酒刷性能，不過對問題的分析非常非常透徹，提供了不同的 insight，這點很值得學(xué)習(xí)。
DCL
論文標(biāo)題：
Debiased Contrastive Learning
論文鏈接：
https://arxiv.org/abs/2007.00224
Conclusion: 克服 sample bias：在沒有 label 的情況下，盡可能減少負(fù)樣本中的 false negative samples。
Sampling bias：假設(shè)數(shù)據(jù)分布為 ，我們從分布中取出 ，他們有相同的類別 ，假設(shè)類別分布為 ， 是均勻的（該屬于每類的概率是先驗知識，既可以從數(shù)據(jù)中估計，也可以作為一個超參數(shù)），即觀察到樣本是該類的概率是均勻的 ，屬于每類的概率是先驗知識，既可以從數(shù)據(jù)中估計，也可以作為一個超參數(shù)。 是觀察到不同類樣本的概率。
現(xiàn)在的問題是，因為我們沒有 label，因此得不到負(fù)樣本的分布 ，因此大家都是直接從 中抽取負(fù)樣本，那么這些樣本 就有 的概率其實是正樣本，這被稱為取樣偏差 (Sampling bias)。
Contributions:
文章的宗旨：找不到 我就近似他，怎么近似呢，我們先將數(shù)據(jù)分布展開得到 ，簡單移項得到：
經(jīng)過一些數(shù)學(xué)變化，給定 ，我們可以將損失函數(shù)寫為：
其中重點在于這個 函數(shù)，其形式如下：
可以看到雖然我們依然從 分布中采樣得到了這些 ，但是我們使用額外的正樣本 對他們進(jìn)行了修正，可以看作是一次 reweighting。通過一系列的分析，文章證明了 debiased 損失與真正 unbiased 損失之間的差距。
Experiments
在一些常見數(shù)據(jù)集上做了實驗，可以看到通過 unbiased 的損失帶來了不小的提升。
通過增加正樣本的數(shù)目，我們從 采樣得到的負(fù)樣本得到逐漸強(qiáng)烈的修正， debiased 將會和 unbiased 的結(jié)果越來越接近，如下圖所示：
Opinions：很不錯的文章，推導(dǎo)太扎實了，從 motivation 到 implementation 一路都有扎實的理論基礎(chǔ)，不愧是 spotlight。
CSI
論文標(biāo)題：
CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances
論文鏈接：
https://arxiv.org/abs/2007.08176
Conclusion: 將 anchor 進(jìn)行數(shù)據(jù)增強(qiáng)得到的 image 作為負(fù)例來提升 OOD 檢測性能。
給定 ，其中 是一組數(shù)據(jù)增強(qiáng)策略（在本文特指正樣本的增強(qiáng)策略），在本文特指正樣本的增強(qiáng)策略，記 為傳統(tǒng)的 infomax 損失，那么 SimCLR 定義如下：
SimCLR 的作者發(fā)現(xiàn)了一些增強(qiáng)策略 (例如，旋轉(zhuǎn)) 有時會降低 SimCLR 的區(qū)分性能。該文的一個重要發(fā)現(xiàn)是，這種降低區(qū)分性能的增強(qiáng)策略可以提升 OOD 檢測的能力。
Contributions
文章主要有兩個貢獻(xiàn)：
與 SimCLR 將增強(qiáng)后的數(shù)據(jù)看作正例不同，該文將增強(qiáng)后的數(shù)據(jù)看作負(fù)例，考慮一組增強(qiáng)策略 ，將 batch 中所有樣本（包括 anchor 圖像與其他負(fù)樣本）依次通過 后形成新的負(fù)樣本集合進(jìn)行對比學(xué)習(xí)。
除了這個損失之外，作者定義了一個 pretext task，預(yù)測每個被增強(qiáng)數(shù)據(jù)施加的是哪種增強(qiáng)策略，具體形式為：
二者相加就是文章的整體損失：
Why it works？這里的關(guān)鍵之處在于如何選擇 ，直觀來講， 要能產(chǎn)生盡可能 OOD 的樣例，作者設(shè)計了相應(yīng)的 score funtion，對各種增強(qiáng)策略進(jìn)行了實驗，發(fā)現(xiàn) rotate 產(chǎn)生的 OOD 樣本更好，使用其作為負(fù)樣本的增強(qiáng)策略這個結(jié)果與文章 [2] 的發(fā)現(xiàn)很類似。
當(dāng)然這種策略相比于 SimCLR 很難獲得下游任務(wù)上性能的提升，畢竟是把正樣本看作負(fù)例了。作者在 CIFAR-10 上訓(xùn)練一個線性分類器來評估學(xué)到的 representation，CSI 獲得了 的準(zhǔn)確率，而 SimCLR 則是 ，不過 CSI 進(jìn)行 OOD 檢測的能力強(qiáng)得多。
參考文獻(xiàn)
[1] https://ieeexplore.ieee.org/abstract/document/4787647
[2] https://arxiv.org/abs/1906.12340
更多閱讀
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。
總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標(biāo)準(zhǔn)：
? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?
? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發(fā)送?
? 請留下即時聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時和作者溝通
????
現(xiàn)在，在「知乎」也能找到我們了
進(jìn)入知乎首頁搜索「PaperWeekly」
點擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結(jié)
以上是生活随笔為你收集整理的NeurIPS 2020 | 聚焦自监督学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 为什么大家都在吹捧Python？
- 下一篇： NeurIPS 2020 | 面向张量