在碎片化閱讀充斥眼球的時(shí)代，越來越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。

在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。

點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第?116?篇文章

作者丨武廣

學(xué)校丨合肥工業(yè)大學(xué)碩士生

研究方向丨圖像生成

本期推薦的論文筆記來自 PaperWeekly 社區(qū)用戶?@TwistedW?，作者今天要解讀的是?UC Berkeley 投稿 ICLR 2019 的工作。

對(duì)抗學(xué)習(xí)中判別器一直保持著強(qiáng)大的侵略優(yōu)勢，造成了對(duì)抗中的不平衡。本文采用變分判別器瓶頸（Variational Discriminator Bottleneck，VDB），通過對(duì)數(shù)據(jù)樣本和編碼到的特征空間的互信息進(jìn)行限制，提高判別器的判別難度，進(jìn)而提高了對(duì)抗學(xué)習(xí)中的平衡性。實(shí)驗(yàn)表明 VDB 思想可以在 GAN、模仿學(xué)習(xí)和逆強(qiáng)化學(xué)習(xí)上取得不小的進(jìn)步。

引言

生成對(duì)抗網(wǎng)絡(luò)中判別器在二分類游戲上表現(xiàn)了強(qiáng)大的區(qū)分能力，RSGAN?使用相對(duì)判別器將真假樣本混合利用“圖靈測試”的思想削弱了判別器的能力，T-GANs?將 RSGAN 一般化到其它 GAN 模型下，判別器得到限制在整體上平衡了生成器和判別器，可以使 GAN 訓(xùn)練上更加穩(wěn)定。VDB 則通過對(duì)判別器加上互信息瓶頸來限制判別器的能力。

論文引入

GAN 存在兩大固有問題，一個(gè)是生成上多樣性不足；另一個(gè)就是當(dāng)判別器訓(xùn)練到最優(yōu)時(shí)，生成器的梯度消失。造成梯度消失的原因在于生成樣本和真實(shí)樣本在分布上是不交疊的，WGAN [1] 提出可以通過加入噪聲來強(qiáng)制產(chǎn)生交疊，但是如何控制噪聲加入以及能否保證交疊都是存在問題的。WGAN 以及它的改進(jìn)雖然在 GAN 訓(xùn)練中穩(wěn)定性上提高了，但是對(duì)于樣本真假的二分類判別上，判別器展現(xiàn)了過于強(qiáng)大的能力，這樣打破了對(duì)抗上的平衡問題，最終還是造成訓(xùn)練階段的不穩(wěn)定（不平衡，生成質(zhì)量提不上去）。?

RSGAN 提出了采用相對(duì)判別器通過區(qū)分真假樣本混合在一起判斷真假，這樣判別器不再是判斷真或假，還要在一堆樣本下將真假樣本分開。這樣對(duì)于判別器的要求提高了，難度上來后自然會(huì)進(jìn)一步平衡訓(xùn)練，

關(guān)于 RSGAN 的進(jìn)一步理解可參看RSGAN：對(duì)抗模型中的“圖靈測試”思想。T-GANs 更是進(jìn)一步將 RSGAN 一般化，讓RSGAN中的混合真假樣本的思想得到充分應(yīng)用，具體了解，可參看T-GANs：基于“圖靈測試”的生成對(duì)抗模型。?

我們今天要解讀的文章是變分判別器瓶頸（Variational Discriminator Bottleneck，VBD）。論文通過對(duì)互信息加上限制來削弱判別器的能力，從而平衡網(wǎng)絡(luò)的訓(xùn)練。這種對(duì)判別器互信息限制，不僅可以用在 GAN 的訓(xùn)練上，對(duì)于模仿學(xué)習(xí)和逆強(qiáng)化學(xué)習(xí)都有很大的提高。由于我更加關(guān)注 VDB 在 GAN 上的應(yīng)用，所以在模仿學(xué)習(xí)和強(qiáng)化學(xué)習(xí)方面將只做簡短介紹，把重點(diǎn)放在 VDB 在 GAN 上的作用。?

在開啟正文前，我們一起看一下互信息瓶頸限制在監(jiān)督學(xué)習(xí)上的正則作用。這個(gè)思想在 16 年被 Alemi 提出，原文叫 Deep Variational Information Bottleneck [2]。我們有數(shù)據(jù)集 {xi,yi}，其中 xi 為數(shù)據(jù)樣本，yi 為對(duì)應(yīng)的標(biāo)簽，通過最大似然估計(jì)優(yōu)化模型：

這種最大似然估計(jì)方法往往會(huì)造成過擬合的現(xiàn)象，這時(shí)候就需要一定的正則化。變分互信息瓶頸則是鼓勵(lì)模型僅關(guān)注最具辨別力的特征，從而對(duì)模型做一定的限制。

為了實(shí)現(xiàn)這種信息瓶頸，需要引入編碼器對(duì)樣本特征先做提取 E(z|x) 將樣本編碼到特征空間 z，通過對(duì)樣本 x 和特征空間 z 的互信息 I(X,Z) 做限制，即 I(X,Z)≤Ic，則正則化目標(biāo)：

此時(shí)最大似然估計(jì)就是對(duì)模型 q(y|z) 操作的，實(shí)現(xiàn)將特征空間 z 到標(biāo)簽 y，互信息定義為：

這里的 p(x) 為數(shù)據(jù)樣本的分布，p(x,z)=p(x)E(z|x)，計(jì)算分布 p(z)=∫p(x)E(z|x)dx是困難的，p(z) 是數(shù)據(jù)編碼得到的，這個(gè)分布是很難刻畫的，但是使用邊際的近似 r(z) 可以獲得變分下界。

取 KL[p(z)‖r(z)]=∫p(z)logp(z)?∫p(z)logr(z)≥0，此時(shí) ∫p(z)logp(z)≥∫p(z)logr(z)，I(X,Z) 可以表示為：

這提供了正則化的上界，J?(q,E)≥J(q,E)。

優(yōu)化的時(shí)候可以采取拉格朗日系數(shù) β。我們從整體上分析一下這個(gè)互信息的瓶頸限制，互信息反應(yīng)的是兩個(gè)變量的相關(guān)程度，而我們得到的特征空間 z 是由 x 編碼得到的，理論上已知 x 就可確定 z，x 和 z 是完全相關(guān)的，也就是 x 和 z 的互信息是較大的。

而現(xiàn)在限制了互信息的值，這樣就切斷了一部分 x 和 z 的相關(guān)性，保留的相關(guān)性是 x 和 z 最具辨別力的特征，而其它相關(guān)性較低的特征部分將被限制掉，從而使得模型不至于過度學(xué)習(xí)，從而實(shí)現(xiàn)正則化的思想。

VDB 正是把這個(gè)用在監(jiān)督學(xué)習(xí)的正則思想用到了判別器上，從而在 GAN、模仿學(xué)習(xí)和逆強(qiáng)化學(xué)習(xí)上都取得了不小的提升。

總結(jié)一下 VDB 的優(yōu)勢：

• 判別器信息瓶頸是對(duì)抗性學(xué)習(xí)的自適應(yīng)隨機(jī)正則化方法，可顯著提高各種不同應(yīng)用領(lǐng)域的性能；

• 在 GAN、模仿學(xué)習(xí)和逆強(qiáng)化學(xué)習(xí)上取得性能上的改進(jìn)。

VDB在GAN中的實(shí)現(xiàn)

VDB其實(shí)是在 Deep Variational Information Bottleneck [2] 的基礎(chǔ)上將互信息思想引入到判別器下，如果上面描述的互信息瓶頸讀懂的話，這一塊將很好理解。

對(duì)于傳統(tǒng) GAN，我們先定義下各個(gè)變量（保持和原文一致）。真實(shí)數(shù)據(jù)樣本分布 p?(x)，生成樣本分布 G(x)，判別器為 D，生成器為 G，目標(biāo)函數(shù)為：

類似于 Deep Variational Information Bottleneck?[2]，文章也是先對(duì)數(shù)據(jù)樣本做了 Encoder，經(jīng)數(shù)據(jù)編碼到特征空間下，這樣一來降低了數(shù)據(jù)的維度，同時(shí)將真假樣本都做低維映射，更加可能實(shí)現(xiàn)一定的交疊。

當(dāng)然這個(gè)不是文章的重點(diǎn)，文章的重點(diǎn)還是為了在互信息上實(shí)行瓶頸限制。將數(shù)據(jù)編碼得到的 z 和數(shù)據(jù) x 的互信息做瓶頸限制，我們先看目標(biāo)函數(shù)，再來解釋為什么做了瓶頸限制可以降低判別器的能力。

這里強(qiáng)調(diào)一下，這個(gè)我們待會(huì)再進(jìn)一步分析，同樣可以通過引入拉格朗日系數(shù)優(yōu)化目標(biāo)函數(shù)：

我們分析一下限制互信息瓶頸在 GAN 中起到的作用，同樣的互信息是樣本 x 和它經(jīng)過編碼得到的特征空間 z。互信息表示變量間的相關(guān)程度，通過限制 x 和 z 的相關(guān)性，對(duì)于很具有辨識(shí)性的特征，判別器將可以區(qū)分真假，但是經(jīng)過信息瓶頸限制把樣本和特征空間相關(guān)性不足的特征限制住，這樣判別器就增加了區(qū)分樣本真假的難度。

判別器在這個(gè)二分類游戲下只能通過相關(guān)性很強(qiáng)的特征來判斷真假，對(duì)于限制條件下，這個(gè)的作用是對(duì)整體樣本的互信息都進(jìn)行限制，這樣真假樣本都進(jìn)行了混淆，判別器判斷難度提高，游戲得到進(jìn)一步平衡。?

文章通過實(shí)驗(yàn)進(jìn)一步說明了判別器加入信息瓶頸的作用，通過對(duì)兩個(gè)不同的高斯分布進(jìn)行區(qū)別，左側(cè)認(rèn)為是假（判為 0），右側(cè)認(rèn)為是真（判為 1），經(jīng)過信息瓶頸限制 Ic 的調(diào)整，得到的結(jié)果如下圖：?

我們知道，在二分類下信息熵最小是 1bit（當(dāng)兩個(gè)事件等概率發(fā)生時(shí)），由于 x 和 z 是完全相關(guān)，我們可以理解理想狀態(tài)此時(shí)的互信息最小是 1bit，當(dāng)不斷減小瓶頸 Ic 的值，上圖中由 10 降到 0.1，這個(gè)過程中判別器區(qū)分兩個(gè)分布的界限越來越弱，達(dá)到了限制判別器能力的效果。

對(duì)于網(wǎng)絡(luò)的優(yōu)化，主要是對(duì) β 的更新上：

這個(gè)互信息瓶頸還可以用在模范學(xué)習(xí)和逆強(qiáng)化學(xué)習(xí)上，都取得了一定的改進(jìn)，感興趣的可以查看原文進(jìn)一步了解。

實(shí)驗(yàn)

VDB 在 GAN 中的應(yīng)用實(shí)驗(yàn)，作者對(duì) CIFAR10 做了各個(gè)模型的 FID 定量對(duì)比。為了改善 VDB 在 GAN 上的性能，作者在 VDB 和 GAN 中加入了梯度懲罰，命名為 VGAN-GP。

這樣可謂是又進(jìn)一步限制了判別器，反正實(shí)驗(yàn)效果是有所提升，可以猜測作者用到的 GAN 的損失函數(shù)肯定基于 WGAN，文中說了代碼即將公布，在沒看到源碼前只能猜測一下。

不過，通過后文實(shí)驗(yàn)做到了 1024 × 1024 可以看出，作者所在的實(shí)驗(yàn)室一定不簡單，跑得動(dòng) 1024 的圖，只能表示一下敬意。

最后，來看一下作者展示的視頻 Demo。

總結(jié)

在本文中，作者提出了變判別器瓶頸，這是一種用于對(duì)抗學(xué)習(xí)的一般正則化技術(shù)。實(shí)驗(yàn)表明，VDB 廣泛適用于各種領(lǐng)域，并且在許多具有挑戰(zhàn)性的任務(wù)方面比以前的技術(shù)產(chǎn)生了顯著的改進(jìn)。

通過對(duì)判別器加入信息瓶頸，限制了判別器的能力，使得對(duì)抗中保持平衡，提高了訓(xùn)練的穩(wěn)定性。這種正則化思想可以在各類 GAN 模型下適用，后續(xù)還要對(duì) VDB 做進(jìn)一步實(shí)驗(yàn)上的分析。

參考文獻(xiàn)

[1]?Martin Arjovsky, Soumith Chintala, and Le?on Bottou. Wasserstein generative adversarial networks. In International Conference on Machine Learning, pages 214–223, 2017.

[2] Alexander A. Alemi, Ian Fischer, Joshua V. Dillon, and Kevin Murphy. Deep variational information bottleneck. CoRR, abs/1612.00410, 2016.

本文由 AI 學(xué)術(shù)社區(qū) PaperWeekly 精選推薦，社區(qū)目前已覆蓋自然語言處理、計(jì)算機(jī)視覺、人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和信息檢索等研究方向，點(diǎn)擊「閱讀原文」即刻加入社區(qū)！

點(diǎn)擊標(biāo)題查看更多論文解讀：?

• T-GANs：基于“圖靈測試”的生成對(duì)抗模型

• 網(wǎng)絡(luò)表示學(xué)習(xí)綜述：一文理解Network Embedding

• 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）綜述

• 從傅里葉分析角度解讀深度學(xué)習(xí)的泛化能力
  

• 深度解讀DeepMind新作：史上最強(qiáng)GAN圖像生成器

• ACL2018高分論文：混合高斯隱向量文法

• 自然語言處理中的語言模型預(yù)訓(xùn)練方法

• 自動(dòng)機(jī)器學(xué)習(xí)（AutoML）最新綜述

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？?答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

??來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨(dú)在附件中發(fā)送?

? 請留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時(shí)和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 下載論文

總結(jié)

以上是生活随笔為你收集整理的UC Berkeley提出变分判别器瓶颈，有效提高对抗学习平衡性的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。