作者丨薛潔婷

學校丨北京交通大學碩士生

研究方向丨圖像翻譯

研究動機

自 2014 年 Goodfellow 等人提出生成式對抗網絡 (Generative Adversarial Networks, GAN) 以來，關于 GAN 穩定訓練的研究層出不窮，其中較為突出的是 2017?年提出的 Wasserstein GAN?[1]?以及 2018 年提出的 SN-GAN?[2]。其共同動機都是通過使鑒別器滿足利普希茨（Lipschitz）限制條件（也就是讓鑒別器更加魯棒），從而提高模型的收斂速度以及穩定性。

對抗訓練 (Adversarial training) 作為提高模型魯棒性的經典算法，被作者有效地結合至 GAN 的訓練過程中并將結合后的模型命名為 Rob-GAN。實驗表明 Rob-GAN 不僅能促使 GAN 的訓練更加穩定、生成結果更加逼真而且還縮減了對抗訓練在訓練集和測試集上的性能差距。另外，作者還從理論上分析了這一結果的本質原因。

模型架構

首先我們來思考第一個問題：為什么 GAN 能夠改善對抗訓練在測試集和訓練集上的性能差距？在回答這個問題之前我們先來簡單看一下對抗訓練的過程。

對抗訓練分為攻擊者和防御者，攻擊者是指通過對輸入樣本添加一些小的擾動來“欺騙”分類器，讓其輸出錯誤的分類結果。論文中作者采用了 PGD?[3]?攻擊算法來產生對抗樣本，損失函數如 (1) 所示。其中 x+δ 表示對輸入樣本 x 添加一些小的擾動，f(x+δ,w) 是收到擾動后分類器的輸出結果。

對于攻擊者而言希望受到擾動后的分類器能輸出盡可能錯的分類結果，也就是和真正的分類結果的損失要盡可能大。當然，有攻擊者就肯定會有防御者，與攻擊相比，防御是一項更艱巨的任務，特別是對于結合復雜模型的高維數據。防御者的損失函數如 (2) 所示。

目前對抗訓練在小訓練集（如 MNIST, CIFAR10）上可以訓練出魯棒性強的分類器，然而一旦擴展在大訓練集（如 IMAGENET）上，分類器的效果將非常差，并且對抗訓練的性能在訓練集和測試集上的差距也很突出（如圖 1 所示），究其根本其實就是模型在測試集和訓練集的魯棒性差異較大。

▲?圖1. 在不同水平攻擊下的準確率

從理論上分析可知，如果在真實數據分布下模型的局部 LLV (local Lipschitz value) 越小，則模型的魯棒性越強。這一理論可以被描述為復合損失最小化問題（公式 3）。

但是在實際中我們并不能獲取真實數據分布?Pdata，因此一般采用先驗分布來替換公式 3。實際上，如果我們的數據量足夠大并且假設集也設計的很合理，公式 4 最終會收斂于公式 3。

那么訓練集中的約束的 LLV 會自動泛化到測試集上嗎？很遺憾，答案是否定的。也就是說盡管我們能在訓練集上有效的降低 LLV，但是對于測試集來說，這樣是無效的（如圖 2）。

▲?圖2. 測試集和訓練集的局部Lipschitz值? (LLV) 比較

但是如果我們換個思路直接從真實數據 Pdata?中采樣，那這個問題不就解決了嗎？看到這里你肯定很好奇，之前不是說 Pdata?無法獲取嗎？沒錯！雖然我們沒法直接獲取其分布，但是 GAN 可以學啊！也就是說我們先讓GAN去學習 Pdata，然后對所學分布再進行對抗訓練。加入GAN后的損失函數如 5 所示。至此，我們解決了第一個問題。

接下來第二個問題是為什么加入對抗訓練后可以促使 GAN 的訓練更加穩定？首先我們知道對抗樣本能夠很容易“欺騙”分類器，對于 CGAN 來說，生成器完全有可能模仿對抗樣本去“欺騙”鑒別器，就算是鑒別器能識別出一種模式的對抗樣本，但生成器很容易就能夠找到其他模式的對抗樣本，這樣的話最小最大化的游戲將永遠不會停止，也就是生成器和鑒別器永遠沒辦法達到納什均衡。

因此作者假設，提高鑒別器的魯棒性對于穩定 GAN 的訓練至關重要。下面我們從理論上分析一下這一假設的成立的原因。

▲?圖3. 鑒別器的魯棒性

在 GAN 的訓練中，生成器就類似于對抗訓練中的“攻擊者”。如果鑒別器具有很小的 LLV （即很小），此時，也就是說當鑒別器受到攻擊時，除非是擾動 δ 非常大，其并不會誤分類，如圖 3 所示。

假設在 t 時刻時鑒別器正確分類圖像為假圖即，在 t+1 時生成器如何才能使鑒別器誤分類呢？作者通過對 D(x) 和 G(z;w) 進行 Lipschitz 連續性假設，可以得到一個下界：

我們發現 LDLG 和成反比，也就是說如果鑒別器不魯棒的話即 LD 很大，那么只能讓生成器的參數 w 移動的非常小，才能保證其下界成立，此時模型就會收斂的很慢。因此，我們從理論上證明了鑒別器的魯棒性是影響 GAN 收斂速度的關鍵因素。

回顧 GAN 的發展歷史，無論是 WGAN 還是 SN-GAN 都要求鑒別器滿足全局 Lipschitz 條件限制，這無疑會降低模型的表達能力，因此作者提出要求在圖像流型上保持局部 Lipschitz 條件即可，而這一點通過對抗訓練可以很容易地滿足。

經過上面的分析我們發現，對抗訓練和 GAN 的結合是一個互幫互助的過程。在這個框架內作者對生成器和鑒別器進行端到端的訓練：生成器向鑒別器提供假圖像; 同時，從訓練集采樣的真實圖像在發送到鑒別器之前由 PGD 攻擊算法預處理。其網絡架構如圖 4 ?所示。

▲?Figure 4. (LLV) 比較 Rob-GAN 的網絡架構

實驗

在具體實驗時鑒別器網路采用的是 AC-GAN 中的模型架構，只不過在 AC-GAN 中無論是生成器還是鑒別器都希望能最大化分類損失 LC，但這樣會導致即使生成器生成出特別差的樣本，損失函數還是希望其能正確分類。

因此作者將 LC 損失進行了修改，也就是鑒別器希望盡可能正確分類真實樣本即最大化損失 LS+LC1，生成器希望能盡可能正確分類生成樣本即最大化 LC2-LS。

下面是在對抗訓練采用 GAN 數據后的性能差距，可以明顯看出相較之前差距明顯縮小。

另外，作者對 Rob-GAN 進行了微調使鑒別器單獨執行多分類問題以便能更好的比較 Rob-GAN 的效果。下面是 Rob-GAN 在 CIFAR10 以及 ImageNet 上不同擾動情況下模型訓練的準確率，其中 FT 是指加入微調策略。

總結

這篇論文作者將生成式對抗網絡 (GAN) 以及對抗訓練模型 (Adversarial training) 結合在一起形成一個全新的框架 Rob-GAN。從理論以及實驗證明出 Rob-GAN 不僅能加速 GAN 收斂速度而且還有助于縮減對抗訓練的性能差距，另外作者還重新定義了 AC-GAN 的損失函數。總之，我認為這篇論文對于穩定GAN訓練具有重大意義，并且論文理論的嚴謹性也非常值得借鑒。

參考文獻

[1]. M. Arjovsky, S. Chintala, and L. Bottou. Wasserstein gan.arXiv preprint arXiv:1701.07875, 2017. 2, 4?

[2]. T. Miyato, T. Kataoka, M. Koyama, and Y. Yoshida. Spectral normalization for generative adversarial networks. In International Conference on Learning Representations, 2018

[3]. A. Madry, A. Makelov, L. Schmidt, D. Tsipras, and A. Vladu. Towards deep learning models resistant to adversarial attacks. arXiv preprint arXiv:1706.06083, 2017. 1, 2, 3, 6, 7

點擊以下標題查看更多往期內容：?

• CVPR 2019 | BASNet：關注邊界的顯著性檢測
  

• NAS-FPN：基于自動架構搜索的特征金字塔網絡
  

• CVPR 2019 | INIT：針對實例級的圖像翻譯

• NAACL 2019最佳論文：量子概率驅動的神經網絡
  

• 論文盤點：CVPR 2019 - 文本檢測專題
  

• PoolNet：基于池化技術的顯著性目標檢測

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

總結

以上是生活随笔為你收集整理的CVPR 2019开源论文 | Rob-GAN：生成器、鉴别器以及对抗攻击者的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。