今天講述的內容仍然是GAN中的模式崩潰問題，首先將說明模式崩潰問題的本質，并介紹兩種解決模式崩潰問題的思路，然后將介紹一種簡單而有效的解決方案MAD-GAN，最后一部分將給出MAD-GAN的強化版本MAD-GAN-Sim。

?

作者&編輯 | 小米粥

1.?解決模式崩潰的兩條路線

GAN的模式崩潰問題，本質上還是GAN的訓練優化問題，理論上說，如果GAN可以收斂到最優的納什均衡點，那模式崩潰的問題便自然得到解決。舉例如下圖，紅線代表生成數據的概率密度函數，而藍線代表訓練數據集的概率密度函數，本來紅線只有一個模式，也就是生成器幾乎只會產生一種樣本，而在理論上的最優解中，紅線與藍線重合，這時候在生成器中采樣自然能幾乎得到三種樣本，與訓練集的數據表現為一致。

當然，實際中幾乎不會達到全局最優解，我們看似收斂的GAN其實只是進入了一個局部最優解。故一般而言，我們有兩條思路解決模式崩潰問題：

?

1.提升GAN的學習能力，進入更好的局部最優解，如下圖所示，通過訓練紅線慢慢向藍線的形狀、大小靠攏，比較好的局部最優自然會有更多的模式，直覺上可以一定程度減輕模式崩潰的問題。

例如上一期unrolled GAN，便是增加了生成器“先知”能力；

?

2.放棄尋找更優的解，只在GAN的基礎上，顯式地要求GAN捕捉更多的模式（如下圖所示），雖然紅線與藍線的相似度并不高，但是“強制”增添了生成樣本的多樣性，而這類方法大都直接修改GAN的結構。

2. MAD-GAN

今天要介紹的MAD-GAN及其變體便是第二類方法的代表之一。

?

它的核心思想是這樣的：即使單個生成器會產生模式崩潰的問題，但是如果同時構造多個生成器，且讓每個生成器產生不同的模式，則這樣的多生成器結合起來也可以保證產生的樣本具有多樣性，如下圖的3個生成器：

需要說明一下，簡單得添加幾個彼此孤立的生成器并無太大意義，它們可能會歸并成相同的狀態，對增添多樣性并無益處，例如下圖的3個生成器：

理想的狀態是：多個生成器彼此“聯系”，不同的生成器盡量產生不相似的樣本，而且都能欺騙判別器。

?

在MAD（Multi-agent diverse）GAN中，共包括k個初始值不同的生成器和1個判別器，與標準GAN的生成器一樣，每個生成器的目的仍然是產生虛假樣本試圖欺騙判別器。對于判別器，它不僅需要分辨樣本來自于訓練數據集還是其中的某個生成器（這仍然與標準GAN的判別器一樣），而且還需要驅使各個生成器盡量產生不相似的樣本。

?

需要將判別器做一些修改：將判別器最后一層改為k+1維的softmax函數，對于任意輸入樣本x，D(x)為k+1維向量，其中前k維依次表示樣本x來自前k個生成器的概率，第k+1維表示樣本x來自訓練數據集的概率。同時，構造k+1維的delta函數作為標簽，如果x來自第i個生成器，則delta函數的第i維為1，其余為0，若x來自訓練數據集，則delta函數的第k+1維為1，其余為0。顯然，D的目標函數應為最小化D(x)與delta函數的交叉熵：

直觀上看，這樣的損失函數會迫使每個x盡量只產生于其中的某一個生成器，而不從其他的生成器中產生，將其展開則為：?

生成器目標函數為：?

對于固定的生成器，最優判別器為：?

可以看出，其形式幾乎同標準形式的GAN相同，只是不同生成器之間彼此“排斥”產生不同的樣本。另外，可以證明當?

達到最優解，再一次可以看出，MAD-GAN中并不需要每個生成器的生成樣本概率密度函數逼近訓練集的概率密度函數，每個生成器都分別負責生成不同的樣本，只須保證生成器的平均概率密度函數等于訓練集的概率密度函數即可。

3.?MAD-GAN-Sim

MAD-GAN-Sim是一種“更強力”的版本，它不僅考慮了每個生成器都分別負責生成不同的樣本，而且更細致地考慮了樣本的相似性問題。其出發點在于：來自于不同模式的樣本應該是看起來不同的，故不同的生成器應該生成看起來不相似的樣本。

?

這一想法用數學符號描述即為：

其中φ (x)表示從生成樣本的空間到特征空間的某種映射（我們可選擇生成器的中間層，其思想類似于特征值匹配），Δ (x,y)表示相似度的度量，多選用余弦相似度函數，用于計算兩個樣本對應的特征的相似度。

?

對于給定的噪聲輸入z，考慮第i個生成器與其他生成器的樣本生成情況，若樣本相似度比較大，則D(G_i(z))相比較D(G_j(z))應該大很多，由于D(G_j(z))的值比較小，G_j(z)便會進行調整不再生成之前的那個相似的樣本，轉而去生成其他樣本，利用這種“排斥”機制，我們就實現了讓不同的生成器應該生成看起來不相似的樣本。

?

將上述限制條件引入到生成器中，我們可以這樣訓練生成器，對于任意生成器i，對于給定的z，如果上面的條件滿足，則像MAD-GAN一樣正常計算，其梯度為：

如果條件不滿足，將上述條件作為正則項添加到目標函數中，則其梯度為：

這樣盡量使得判別器更新后，條件能夠滿足。MAD-GAN-Sim的思路非常直接清晰，不過代價就是增加非常多的計算量。

[1]Ghosh A , Kulharia V , Namboodiri V , et al. Multi-Agent Diverse Generative Adversarial Networks[J]. 2017.

總結

?

今天首先說明了模式崩潰問題的本質，并介紹兩種解決模式崩潰問題的思路，然后介紹一種簡單而有效的解決方案MAD-GAN及其強化版本MAD-GAN-Sim。

知識星球推薦

有三AI知識星球由言有三維護，內設AI知識匯總，AI書籍，網絡結構，看圖猜技術，數據集，項目開發，Github推薦，AI1000問八大學習板塊。

?

當前更新的主題就是各種各樣的GAN的結構解讀和實踐，感興趣的同學可以加入一起學習，添加有三微信Longlongtogo即可優惠。

GAN群

有三AI建立了一個GAN群，便于有志者相互交流。感興趣的同學也可以微信搜索xiaozhouguo94，備注"加入有三-GAN群"。

?

轉載文章請后臺聯系

侵權必究

往期精選

?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

總結

以上是生活随笔為你收集整理的【GAN优化】解决模式崩溃的两条思路：改进优化和网络架构的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。