文 | 楊朔@知乎

本文已獲作者授權(quán)，禁止二次轉(zhuǎn)載

---

介紹一篇我們剛剛發(fā)表在ICLR2021 Oral上的一篇少樣本學(xué)習(xí)工作，簡(jiǎn)單有效。

題目：
Free Lunch for Few-shot Learning: Distribution Calibration

鏈接：
https://openreview.net/forum?id=JWOiYxMG92s

代碼：
https://github.com/ShuoYang-1998/ICLR2021-Oral_Distribution_Calibration

簡(jiǎn)介

從極少量樣本中學(xué)習(xí)到泛化性能良好的模型是很困難的，因?yàn)闃O少的樣本形成的數(shù)據(jù)分布往往與真實(shí)數(shù)據(jù)分布相差較大，在偏斜的數(shù)據(jù)分布上訓(xùn)練模型會(huì)導(dǎo)致嚴(yán)重的過擬合現(xiàn)象并嚴(yán)重破壞模型的泛化能力（見圖1）。在本文中我們嘗試從數(shù)據(jù)分布估計(jì)的角度去緩解少樣本學(xué)習(xí)中的過擬合現(xiàn)象。我們嘗試?yán)靡粋€(gè)樣本去估計(jì)該類別的整體數(shù)據(jù)分布，如果該分布估計(jì)足夠準(zhǔn)確，也許可以彌合少樣本學(xué)習(xí)和傳統(tǒng)多樣本學(xué)習(xí)的差距。

方法

直接從一個(gè)樣本中估計(jì)整體數(shù)據(jù)分布是非常困難的，需要很強(qiáng)的先驗(yàn)去約束分布估計(jì)的過程。我們觀察到如果假設(shè)每一個(gè)類別的特征都服從高斯分布，那么相似類別的分布統(tǒng)計(jì)量相似度非常高，如表1。

從直觀的角度理解，一個(gè)類別的mean代表該類別的general appearance，variance代表該類別某屬性的變化范圍（顏色、形狀、姿勢(shì)等）。而相似的類別（如貓和老虎）具有相似的整體外觀和相似的屬性變化范圍。受此啟發(fā)，我們提出了通過遷移基類（base class）的分布統(tǒng)計(jì)量的方式對(duì)少樣本類別的數(shù)據(jù)分布做‘矯正’（calibration）。具體來說，我們首先為每一個(gè)base class i計(jì)算一個(gè)mean和covariance：

計(jì)算好的 和 儲(chǔ)存起來當(dāng)作base class分布先驗(yàn)。然后在進(jìn)行少樣本分類時(shí)我們利用base class的分布先驗(yàn)去修正少樣本類別的數(shù)據(jù)分布：

得到修正后的少樣本類別的分布 和 后，我們便可以從修正后的分布中直接采樣：

然后利用采樣得到的數(shù)據(jù)和support set共同訓(xùn)練分類器：

至此，該算法結(jié)束。流程如圖：

實(shí)驗(yàn)

我們的算法無需任何可訓(xùn)練參數(shù)，可以建立在任何已有的特征提取器和分類器之上，并極大的提高模型的泛化能力。代碼已開源，核心代碼只有9行（evaluate_DC.py中的第10-19行）。我們的方法搭配最簡(jiǎn)單的線性分類器便可以達(dá)到非常高的1-shot分類性能。實(shí)驗(yàn)結(jié)果如圖：

我們分布估計(jì)的可視化如圖：

總結(jié)

在本工作中我們思考了少樣本學(xué)習(xí)和多樣本學(xué)習(xí)的核心差距，并提出通過分布矯正（估計(jì)）的方式彌合這種差距。在該工作的后續(xù)期刊拓展版本中我們從generalization error bound的角度為‘基于數(shù)據(jù)分布估計(jì)的少樣本學(xué)習(xí)’這一類方法建立了理論框架，并證明了當(dāng)數(shù)據(jù)分布足夠準(zhǔn)確時(shí)，少樣本學(xué)習(xí)和多樣本學(xué)習(xí)的泛化誤差等價(jià)。

后臺(tái)回復(fù)關(guān)鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺(tái)回復(fù)關(guān)鍵詞【頂會(huì)】

獲取ACL、CIKM等各大頂會(huì)論文集！

總結(jié)

以上是生活随笔為你收集整理的ICLR2021 Oral ｜9行代码提高少样本学习泛化能力的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。