如何訓練GAN，FAIR的研究員Soumith Chintala總結了訓練GAN的16個技巧，例如輸入的規范化，修改損失函數，生成器用Adam優化，使用Sofy和Noisy標簽，等等。這是NIPS 2016的Soumith Chintala作的邀請演講的修改版本。

ICCV 2017 slides：https://github.com/soumith/talks/blob/master/2017-ICCV_Venice/How_To_Train_a_GAN.pdf

NIPS2016：https://github.com/soumith/ganhacks

訓練GAN的16個trick

# 1：規范化輸入

• 將輸入圖像規范化為-1到1之間

• 生成器最后一層的輸出使用tanh函數（或其他bounds normalization）

#2：修改損失函數（經典GAN）

• 在GAN論文里人們通常用 min (log 1-D) 這個損失函數來優化G，但在實際訓練的時候可以用max log D

-因為第一個公式早期有梯度消失的問題

- Goodfellow et. al (2014)

• 在實踐中：訓練G時使用反轉標簽能工作得很好，即：real = fake, fake = real

一些GAN變體

【TensorFlow】https://github.com/hwalsuklee/tensorflow-generative-model-collections

【Pytorch】https://github.com/znxlwm/pytorch-generative-model-collections

#3：使用一個具有球形結構的噪聲z

• 在做插值（interpolation）時，在大圓（great circle）上進行

• Tom White的論文“Sampling Generative Networks”

- https://arxiv.org/abs/1609.04468

#4: BatchNorm

• 一個mini-batch里面必須保證只有Real樣本或者Fake樣本，不要把它們混起來訓練

• 如果不能用batchnorm，可以用instance norm

#5：避免稀疏梯度：ReLU, MaxPool

• GAN的穩定性會因為引入了稀疏梯度受到影響

• LeakyReLU很好（對于G和D）

• 對于下采樣，使用：Average Pooling，Conv2d + stride

• 對于上采樣，使用：PixelShuffle, ConvTranspose2d + stride

-PixelShuffle 論文：https://arxiv.org/abs/1609.05158

#6：使用Soft和Noisy標簽

• Label平滑，也就是說，如果有兩個目標label：Real=1 和 Fake=0，那么對于每個新樣本，如果是real，那么把label替換為0.7~1.2之間的隨機值；如果樣本是fake，那么把label替換為0.0~0.3之間的隨機值。

• 訓練D時，有時候可以使這些label是噪聲：偶爾翻轉label

- Salimans et. al. 2016

#7：架構：DCGANs / Hybrids

• 能用DCGAN就用DCGAN，

• 如果用不了DCGAN而且沒有穩定的模型，可以使用混合模型：KL + GAN 或 VAE + GAN

• WGAN-gp的ResNet也很好（但非常慢）

- https://github.com/igul222/improved_wgan_training

• width比depth更重要

#8：借用RL的訓練技巧

• Experience replay

• 對于deep deterministic policy gradients（DDPG）有效的技巧

• 參考Pfau & Vinyals (2016)的論文

#9：優化器：ADAM

• 優化器用Adam（Radford et. al. 2015）

• 或者對D用SGD，G用Adam

#10：使用 Gradient Penalty

• 使梯度的norm規范化

• 對于為什么這一點有效，有多個理論（WGAN-GP, DRAGAN, 通過規范化使GAN穩定）

#11：不要通過loss statistics去balance G與D的訓練過程（經典GAN）

#12：如果你有類別標簽，請使用它們

• 如果還有可用的類別標簽，在訓練D判別真偽的同時對樣本進行分類

#13：給輸入增加噪聲，隨時間衰減

• 給D的輸入增加一些人工噪聲(Arjovsky et. al., Huszar, 2016)

• 給G的每一層增加一些高斯噪聲(Zhao et. al. EBGAN)

#14：多訓練判別器D

• 特別是在加噪聲的時候

#15：避開離散空間

• 將生成結果作為一個連續預測

#16：離散變量

• 使用一個嵌入層

• 給圖像增加額外通道

• 保持嵌入的維度低和上采樣以匹配圖像通道的大小

總結：

• GAN模型的穩定性在提升

• 理論研究有所進展

• 技巧只是權宜之計

時間線——GAN模型的穩定性

PPT下載：https://github.com/soumith/talks/blob/master/2017-ICCV_Venice/How_To_Train_a_GAN.pdf

參考：https://github.com/soumith/ganhacks

總結

以上是生活随笔為你收集整理的如何训练GAN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。