?作者 | 楊孟平

學(xué)校 | 華東理工大學(xué)

研究方向 | 深度生成模型、小樣本學(xué)習(xí)

本文介紹一篇利用實(shí)例判別實(shí)現(xiàn)數(shù)據(jù)高效（Data Efficienct）圖像生成的論文，發(fā)表在 NeurIPS 2021，是香港中文大學(xué)周博磊老師課題組的一篇文章。

論文標(biāo)題：

Data-Efficient Instance Generation from Instance Discrimination

論文鏈接：

https://arxiv.org/abs/2106.04566

代碼鏈接：

https://github.com/genforce/insgen

Motivation & Observation

當(dāng)數(shù)據(jù)量不夠時，訓(xùn)練生成對抗網(wǎng)絡(luò)通常會導(dǎo)致判別器過擬合，判別器容易簡單的記住整個訓(xùn)練樣本集。從而使得判別器給生成器提供的反饋信號不足，降低生成器的生成質(zhì)量。

近期很多研究采用各類數(shù)據(jù)增強(qiáng)的方式來減緩數(shù)據(jù)有限場景下的過擬合問題，但是有一點(diǎn)不會改變的是，判別器的學(xué)習(xí)目標(biāo)還是區(qū)分給定圖片是真實(shí)的還是生成的，而這一任務(wù)就必然會在有限數(shù)據(jù)下發(fā)生性能指數(shù)級（Substantial）的下降。

本文認(rèn)為，僅僅讓判別器學(xué)習(xí)如何區(qū)分真實(shí)圖片和生成圖片可能過于簡單了，因此本文提出，判別器不僅需要區(qū)分 real/fake images，還需要將每一章圖片歸類至特定的類別。這樣的話，判別器就必須得提高提取判別特征的能力。同時，不僅要為真實(shí)圖片歸類，也同樣需要對生成數(shù)據(jù)進(jìn)行歸類。

這里對生成數(shù)據(jù)的分類很有意思，因?yàn)槔碚撋仙蓴?shù)據(jù)的數(shù)量可以是無限的，那其實(shí)理論上可以利用無限的數(shù)據(jù)來訓(xùn)練判別器，讓判別器有足夠強(qiáng)的特征表示能力。這樣相比于一般模型的判別器，這里的判別模型就需要同時對真實(shí)圖片和生成圖片進(jìn)行實(shí)例判別，進(jìn)一步提高判別模型提取 discriminative representation 的能力。

當(dāng)時看到這里的時候，我其實(shí)很想不明白，實(shí)例判別，我們的數(shù)據(jù)都沒有標(biāo)簽，怎樣對其給定一個固定的類別呢？

Related Work

相關(guān)工作分為兩部分介紹：1）介紹 GANs 中的數(shù)據(jù)增強(qiáng)，尤其是針對樣本量有限場景下的一眾方法，包括 ADA、DAG、DiffAug、CR、ICR 以及 ContraD；2）介紹 GANs 中的自監(jiān)督學(xué)習(xí)，看到自監(jiān)督可能就恍然大悟了，原來作者其實(shí)是利用了對比學(xué)習(xí)的方式來構(gòu)建實(shí)例關(guān)系來完成實(shí)例判別的，此處介紹的方法也比較常見，Self-supervised 相關(guān)的 GAN 應(yīng)用。

本文不同點(diǎn)：給判別器增加一個額外的任務(wù)，讓判別器實(shí)現(xiàn)實(shí)力判別，希望對每一個圖片實(shí)例，不管其是真實(shí)的還是生成的，都能夠較好的完成識別。幫助提升判別器的鑒別能力，從而提升模型生成性能。

方法細(xì)節(jié)

方法核心的部分一共分為四點(diǎn)：

1. Distinguishing Real Images，即讓判別器能夠更好的提取圖像特征，這樣能夠反過來（In turn）更好的指導(dǎo)生成器，這里也說到了選擇判別器的原因在于判別器才能夠又看到生成數(shù)據(jù)，又看到真實(shí)數(shù)據(jù)，而生成器是看不到真實(shí)數(shù)據(jù)的。那如何實(shí)現(xiàn)對真實(shí)數(shù)據(jù)進(jìn)行鑒別呢，答案就是利用對比學(xué)習(xí)，對給定的一張圖片 ，通過不同的數(shù)據(jù)增廣方式得到成對數(shù)據(jù) ，二者作為正類，其余所有不同于該圖片的圖片作為負(fù)類，最大化以下式子：

的實(shí)現(xiàn)方式參考 InfoNCE loss：

其中 為正樣本對，其余為負(fù)樣本對。

如此一來，就需要讓判別器學(xué)習(xí)正樣本對盡可能靠近，負(fù)樣本對盡可能遠(yuǎn)離，以自監(jiān)督的方式提升了判別器提取特征的表示能力，也就提升了 discriminative ability。

2. Distingguishing Fake Images，即對生成圖像也同樣的進(jìn)行實(shí)例級的判別，并且由于生成過程中理論上可以產(chǎn)生無數(shù)的生成數(shù)據(jù)，這樣就實(shí)現(xiàn)了利用生成器生成很多的數(shù)據(jù)進(jìn)行判別器判別能力（提取特征能力）的訓(xùn)練和提升。

3. Noise Perturbation，為了進(jìn)一步提升判別器的判別能力，文章還希望判別器對生成數(shù)據(jù)的輕微不同保持不變，下面公式中的?是從方差遠(yuǎn)小于隱向量 z 的先驗(yàn)分布中采樣得到的，對隱向量加以這樣輕微的干擾，理論上只會讓生成圖片發(fā)生輕微語義及的改變，加以下面表示的約束，讓判別器對這樣的干擾保持不變，其實(shí)就是進(jìn)一步提高了實(shí)例判別的難度，讓判別網(wǎng)絡(luò)進(jìn)一步提升判別能力。

其中：

4. Toward Diverse Generation，為了增加生成器的多樣性，這里使用了類似于Mode Seeking的一個正則，但是是使用對比損失實(shí)現(xiàn)的，就是希望，生成的每一張圖片，對于判別器來訓(xùn)練得到后的結(jié)果，都是不同的，從而提升的生成過程的多樣性。

最終損失：

Experiment

1. 不同數(shù)據(jù)規(guī)模的 FFHQ 性能比較

2. 數(shù)據(jù)有限場景的 AFHQ 數(shù)據(jù)集性能比較

3. 消融實(shí)驗(yàn)：這里比較每部分模塊的有效性，其實(shí)感覺可以像表 2 一樣給出提升的數(shù)值，更有效的看出各模塊對模型性能的貢獻(xiàn)。

4. 盡可能多的利用無限多的生成數(shù)據(jù)：這里的實(shí)驗(yàn)結(jié)果很有意思，就是說既然文章構(gòu)造了正負(fù)樣本對，并且給判別器添加了額外的實(shí)例判別任務(wù)，那么我們怎么確認(rèn)需要判別的數(shù)量呢？

實(shí)驗(yàn)的做法是 follow 對比學(xué)習(xí)原論文中的 5% 設(shè)置。但是這里發(fā)現(xiàn)，其實(shí)越多的樣本用作實(shí)例判別，就可以越多的提升模型性能，這也是我想了很久的點(diǎn)，就是既然給定的訓(xùn)練數(shù)據(jù)有限，那么我們應(yīng)該如何利用無限多的生成數(shù)據(jù)提升模型性能？這里也給出了一種解法，其他的方法也值得探討和思考。

5. 判別器的鑒別能力提升了嗎？從 loss 曲線可以看出，在使用了實(shí)例判別后，D 給生成數(shù)據(jù)更低且真實(shí)數(shù)據(jù)更高的分?jǐn)?shù)，相較于 ADA，的確在鑒別能力上做到了更自信，也展示了更好的判別能力。

總結(jié)

其實(shí)這篇文章的思路挺簡單的，要引入額外的實(shí)例判別任務(wù)來增強(qiáng)判別器的鑒別能力，通過自監(jiān)督的方式，一方面構(gòu)造了正負(fù)樣本對，另一方面通過構(gòu)造的約束來提升 D 提取特征的表示能力，進(jìn)一步的將實(shí)例判別拓展到生成數(shù)據(jù)，并討論到生成數(shù)據(jù)是無限的，并在分析實(shí)驗(yàn)中給出如何利用無限生成數(shù)據(jù)的結(jié)論。

此外還添加了 Noise Perturbation 和 Diverse Generation，都通過對比學(xué)習(xí)的方式來實(shí)現(xiàn)。帶來的啟發(fā)一方面是判別器的表示能力通過自監(jiān)督、無限的生成數(shù)據(jù)提升是可行的，另一方面是判別器的判別能力與生成性能存在著一定的正相關(guān)關(guān)系。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實(shí)驗(yàn)室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競賽經(jīng)驗(yàn)講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯(lián)系方式（微信），以便我們在稿件選用的第一時間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的NeurIPS 2021 | 港中文周博磊组：基于实例判别的数据高效生成模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。