Paper之BigGAN：ICLR 2019最新論文《LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS》(未完待續)

?

?

目錄

效果

論文

摘要

1、INTRODUCTION介紹

2、BACKGROUND背景

3、SCALING UP GANS

4、 ANALYSIS分析

5、EXPERIMENTS實驗

6、CONCLUSION結論

---

?

?

?

?

效果

1、炸天的效果(此部分引自量子位)

? ? ?效果有多好？先看數字。經過ImageNet上進行128×128分辨率的訓練后，BigGAN的Inception Score（IS）得分是166.3，一下子比前人52.52的最佳得分提升了100多分，離真實圖像的233分更近了。而Frechet Inception Distance（FID）得分，也從之前的18.65優化到了9.6。

2、再看實例。你能分辨出以下哪張圖片是AI生成的假圖片，哪張是真實的圖片么

再來一個。以下八張，哪個是假的

現在公布答案，以上12張，全都是生成的假圖片。現在你能理解為什么大家都震驚并且齊聲稱贊了吧。

?

論文

論文地址下載：https://openreview.net/pdf?id=B1xsqj09Fm

摘要

? ? ? 盡管最近在生成性圖像建模方面取得了進展，但是從諸如ImageNet之類的復雜數據集中成功生成高分辨率、多樣的樣本仍然是一個難以實現的目標。為此，我們訓練了迄今為止規模最大的生成性對抗網絡，并研究了這種規模特有的不穩定性。我們發現，對生成器應用正交正則化使其能夠服從簡單的“截斷技巧”，允許通過截斷潛在空間來精細控制樣本保真度和多樣性之間的權衡。我們的修改導致模型在類條件圖像合成中設置了新的狀態。當在ImageNet上以128×128分辨率進行訓練時，我們的模型（BigGAN）的初始得分（IS）為166.3，Fre_chet初始距離（FID）為9.6，比之前的最優IS為52.52，FID為18.65。

1、INTRODUCTION介紹

? ? 近年來，隨著生成性對抗網絡（GAN，Good.等人）的出現，生成性圖像建模的狀態有了顯著的進步。（2014）在努力生成高逼真度、多樣化的圖像的同時，直接從數據中學習模型。GAN訓練是動態的，并且對其設置的幾乎每個方面（從優化參數到模型體系結構）都很敏感，但是大量的研究已經產生了能夠在各種環境中進行穩定訓練的經驗和理論見解。盡管取得了這一進展，但條件ImageNet建模（Zhang等人，2018）的當前技術狀態獲得了52.5的初始評分（Salimans等人，2016），而真實數據的初始評分為233。
? ? ?在本工作中，我們著手消除由GAN生成的圖像與來自ImageNet數據集的真實世界圖像在保真度和多樣性方面的差距。我們做出以下三個貢獻來實現這一目標：

• 我們證明了GAN可從伸縮性中顯著受益，并且與現有技術相比，訓練具有兩至四倍數量參數和八倍批量大小的模型。我們介紹了兩個簡單的、通用的架構更改，它們改進了可伸縮性，并修改了正則化方案以改進調節，從而顯著提高了性能。
• 作為我們修改的副作用，我們的模型變得適應于“截斷技巧”，這是一種簡單的采樣技術，允許明確、細粒度地控制樣本多樣性和保真度之間的權衡。
• 我們發現特定的不穩定性大規模GANS，并表征他們經驗。從這個分析中，我們可以看到，將新的和現有的技術結合起來可以減少這些不穩定性，但是完全的訓練穩定性只能以顯著的性能代價來實現。

? ? ? 我們的修改實質上改進了類條件GANS。當在ImageNet上以128×128分辨率進行訓練時，我們的模型（BigGAN）將最先進的初始分數（IS）和Fre_chet初始距離（FID）分別從52.52和18.65提高到166.3和9.6。我們在ImageNet上成功地訓練了分辨率為256×256和512×512的BigGAN，在256×256上實現了IS和FID分別為233.0和9.3，在512×512上實現了IS和FID分別為241.4和10.9。最后，我們在一個更大的內部數據集上訓練我們的模型，并且演示我們的設計選擇從ImageNet很好地傳遞。

2、BACKGROUND背景

? ? ? 生成性對抗網絡（GAN）涉及生成器（G）和鑒別器（D）網絡，其目的分別是將隨機噪聲映射到樣本并區分真實和生成的樣本。形式上，GaN目標，在其原來的形式（GooFisher等人，2014）涉及找到納什均衡到以下兩個玩家的最小-最大問題：

? ? ?z∈Rdz 是從分布p（z）中提取的一個潛變量，如n（0，i）或u[-1, 1]。當應用于圖像時，G和D通常是卷積神經網絡（Radford等人，2016）。沒有輔助的穩定技術，這種訓練程序是眾所周知的脆弱，需要微調的超參數以及架構選擇來工作。
因此，最近的許多研究集中于對香草GAN程序進行修改，以賦予穩定性，并利用越來越多的經驗和理論見解(Nowozin等人，2016；Snderby等人，2017；Fedus等人，2018)。其中一項工作重點是改變目標函數（Arjovsky等人，2017；Mao等人，2016；Lim & Ye，2017；Bellemare等人，2017；Salimans等人，2018）以鼓勵收斂。另一行著重于通過梯度懲罰(Gulrajani等人，2017；Kodali等人，2017；Mescheder等人，2018)或歸一化(Miyato等人，2018)來約束D，以抵消無界損失函數的使用，并確保D向G.
? ? ?與我們的工作特別相關的是譜歸一化(Miyato等人，2018)，它通過利用其第一奇異值的運行估計來歸一化其參數，從而在D上強制Lipschitz連續性，從而誘導自適應地調整頂部奇異方向的向后動力學。相關的ODENA等。（2018）分析G的雅可比矩陣的條件數，發現性能依賴于G的條件。張等。（2018）發現在G中采用譜歸一化提高了穩定性，允許每個迭代的D階數減少。我們擴展了這些分析，以獲得更深入的了解，病理的GaN培訓。
其他的工作集中在體系結構的選擇上，例如SA-GAN（Zhang等人，2018），它添加了來自（Wang等人，2018）的自注意塊，以提高G和D建模全局結構的能力。ProGAN(Karras等人，2018)通過跨一系列增加的分辨率訓練單個模型，在單類設置中訓練高分辨率GAN。
? ? ? 在條件甘斯（MiZa＆OsDuneRo，2014）中，類信息可以以各種方式輸入到模型中。在(Odena等人，2017)中，通過將一個1-hot類向量連接到噪聲向量來提供給G，并且修改目標以鼓勵條件樣本最大化由輔助分類器預測的對應類概率。德弗里斯等人。（2017）和杜穆林等。（2017）通過向G提供BatchNorm（Ioffe&Szegedy，2015）層中的類條件增益和偏置來修改類條件傳遞給G的方式。在Miyato & Koyama(2018)中，D通過利用其特征與一組學習類嵌入之間的余弦相似性作為區分真實樣本和生成樣本的附加證據來調節，從而有效地鼓勵生成特征匹配學習類原型的樣本。

? ? ?表1：Fr′echet Inception Distance（FID，低點是更好的）和起始分數（IS，高點是更好的）為我們提出修改消融。批量是批量大小，參數是總number of參數，CH。is the通道倍增器representing the number of Units in each層、共享是使用共享embeddings昨天。是使用分層的潛在空間，鄰。是正則化正交，either indicates that the setting and ITR是穩定的iterations to 106，黃金，它崩潰了at the given迭代。other than行1 - 4，結果是計算機在8不同隨機初始化。
? ? ?客觀評價隱生成的模型是困難的（泰斯等人，2015年）。a variety of作品已經提出heuristics測定樣品的質量模型不聽話的likelihoods（salimans等人，2016年；heusel等人，2017年；bin′kowski等人，2018年；吳等人，2017年）。of these，the inception評分（是的，salimans等。（2016年）和fre′chet距離（FID）開始，heusel等。（have become popular 2017年），盡管他們明顯的錯誤（Barratt和夏爾，2018年）。我們雇傭他們有近似measures of樣品質量，and to enable比較對以前的工作。

?

3、SCALING UP GANS

后期更新……

?

?

4、 ANALYSIS分析

后期更新……

?

?

5、EXPERIMENTS實驗

后期更新……

?

6、CONCLUSION結論

后期更新……

?

?

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的Paper之BigGAN：ICLR 2019最新论文《LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS》(未完待续)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。