1.Conditional Generative Adversarial Netwoks

Describe GAN: Generative adversarial nets were recently introduced as a novel way to train a generative model.
They consists of two ‘adversarial’ models: a generative model G that captures the data distribution,
and a discriminative model D that estimates the probability that a sample came from the training
data rather than G. Both G and D could be a non-linear mapping function, such as a multi-layer
perceptron.(多層的感知機)

GAN兩個模型對抗的實質：對于G來說等價于最小化log（1-D(G(z))）期望；對于D來說，等價于最大logD（x）的期望，類似于一個minimax的游戲。由此可以得到GAN的目標函數V（G，D）：

解決什么問題：圖像標注、圖像分類和圖像生成過程中，存在兩類問題：其一、輸出圖像的label比較多，成千上萬類別；其二、對于一個輸入x，對應合適輸出y（label）的類別multi-modal（多個），怎么樣選擇一個合適類別是個問題。CGAN嘗試在生成器G和判別器端加入額外的條件信息（additional information）來指導GAN兩個模型的訓練。

?

怎么做：條件化（conditional）GAN做法就是直接把額外的信息（y）直接添加到生成器G和判別器D的的目標函數中，與輸入Z和X中構成條件概率，如下圖所示：

?

?用于指導G和D訓練的額外信息可以是各種類型（multi-modal）的數據，已圖像分類為例，可以是label標簽，也可以是關于圖像類別或其他信息的text文本描述。

WGAN：

WGAN:Wasserstein GAN.Martin Arjovsky, Soumith Chintala, and Lon Bottou.2017.03.09

??Improved Training of Wasserstein GANs.Ishaan Gulrajani1, Faruk Ahmed1, Martin Arjovsky2.2017.03.31

解決什么問題：GAN在訓練很麻煩，需要精心設計生成器G和判別器D的網絡結構，調整很多的超參數，經常不收斂。為了解決這個問題，讓GAN訓練起來更容易，本文提出了Wasserstein GAN（WGAN）。

怎么做：深入分析由GAN所優化的值函數（value function）的收斂特性，指出傳統GAN不穩定是因為其基于Jensen-Shannon?差異（divergence）構造的值函數在某一地方不可導，導致生成器G訓練不穩定。因此，提出了Earth-Mover距離，又稱Wasserstein-1?距離W（q,p），基于Wasserstein distance來構造值函數，代替傳統GAN中基于Jensen-Shannon?差異（divergence）的值函數。Wasserstein distance具有更好的特性，Jensen-Shannon divergence可能不連續，在不連續的地方不能提供穩定的梯度用于生成器G的參數優化；相比之下，Earth-Mover距離處處連續，處處可導。

Jensen-Shannon距離與Wassertein距離對比：

?

轉載于:https://www.cnblogs.com/ChenKe-cheng/p/8985418.html

總結

以上是生活随笔為你收集整理的GAN的文献综述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。