今天講述的內(nèi)容仍然是GAN中的模式崩潰問題，首先將說明模式崩潰問題的本質(zhì)，并介紹兩種解決模式崩潰問題的思路，然后將介紹一種簡單而有效的解決方案MAD-GAN，最后一部分將給出MAD-GAN的強(qiáng)化版本MAD-GAN-Sim。

?

作者&編輯 | 小米粥

1.?解決模式崩潰的兩條路線

GAN的模式崩潰問題，本質(zhì)上還是GAN的訓(xùn)練優(yōu)化問題，理論上說，如果GAN可以收斂到最優(yōu)的納什均衡點(diǎn)，那模式崩潰的問題便自然得到解決。舉例如下圖，紅線代表生成數(shù)據(jù)的概率密度函數(shù)，而藍(lán)線代表訓(xùn)練數(shù)據(jù)集的概率密度函數(shù)，本來紅線只有一個模式，也就是生成器幾乎只會產(chǎn)生一種樣本，而在理論上的最優(yōu)解中，紅線與藍(lán)線重合，這時候在生成器中采樣自然能幾乎得到三種樣本，與訓(xùn)練集的數(shù)據(jù)表現(xiàn)為一致。

當(dāng)然，實(shí)際中幾乎不會達(dá)到全局最優(yōu)解，我們看似收斂的GAN其實(shí)只是進(jìn)入了一個局部最優(yōu)解。故一般而言，我們有兩條思路解決模式崩潰問題：

?

1.提升GAN的學(xué)習(xí)能力，進(jìn)入更好的局部最優(yōu)解，如下圖所示，通過訓(xùn)練紅線慢慢向藍(lán)線的形狀、大小靠攏，比較好的局部最優(yōu)自然會有更多的模式，直覺上可以一定程度減輕模式崩潰的問題。

例如上一期unrolled GAN，便是增加了生成器“先知”能力；

?

2.放棄尋找更優(yōu)的解，只在GAN的基礎(chǔ)上，顯式地要求GAN捕捉更多的模式（如下圖所示），雖然紅線與藍(lán)線的相似度并不高，但是“強(qiáng)制”增添了生成樣本的多樣性，而這類方法大都直接修改GAN的結(jié)構(gòu)。

2. MAD-GAN

今天要介紹的MAD-GAN及其變體便是第二類方法的代表之一。

?

它的核心思想是這樣的：即使單個生成器會產(chǎn)生模式崩潰的問題，但是如果同時構(gòu)造多個生成器，且讓每個生成器產(chǎn)生不同的模式，則這樣的多生成器結(jié)合起來也可以保證產(chǎn)生的樣本具有多樣性，如下圖的3個生成器：

需要說明一下，簡單得添加幾個彼此孤立的生成器并無太大意義，它們可能會歸并成相同的狀態(tài)，對增添多樣性并無益處，例如下圖的3個生成器：

理想的狀態(tài)是：多個生成器彼此“聯(lián)系”，不同的生成器盡量產(chǎn)生不相似的樣本，而且都能欺騙判別器。

?

在MAD（Multi-agent diverse）GAN中，共包括k個初始值不同的生成器和1個判別器，與標(biāo)準(zhǔn)GAN的生成器一樣，每個生成器的目的仍然是產(chǎn)生虛假樣本試圖欺騙判別器。對于判別器，它不僅需要分辨樣本來自于訓(xùn)練數(shù)據(jù)集還是其中的某個生成器（這仍然與標(biāo)準(zhǔn)GAN的判別器一樣），而且還需要驅(qū)使各個生成器盡量產(chǎn)生不相似的樣本。

?

需要將判別器做一些修改：將判別器最后一層改為k+1維的softmax函數(shù)，對于任意輸入樣本x，D(x)為k+1維向量，其中前k維依次表示樣本x來自前k個生成器的概率，第k+1維表示樣本x來自訓(xùn)練數(shù)據(jù)集的概率。同時，構(gòu)造k+1維的delta函數(shù)作為標(biāo)簽，如果x來自第i個生成器，則delta函數(shù)的第i維為1，其余為0，若x來自訓(xùn)練數(shù)據(jù)集，則delta函數(shù)的第k+1維為1，其余為0。顯然，D的目標(biāo)函數(shù)應(yīng)為最小化D(x)與delta函數(shù)的交叉熵：

直觀上看，這樣的損失函數(shù)會迫使每個x盡量只產(chǎn)生于其中的某一個生成器，而不從其他的生成器中產(chǎn)生，將其展開則為：?

生成器目標(biāo)函數(shù)為：?

對于固定的生成器，最優(yōu)判別器為：?

可以看出，其形式幾乎同標(biāo)準(zhǔn)形式的GAN相同，只是不同生成器之間彼此“排斥”產(chǎn)生不同的樣本。另外，可以證明當(dāng)?

達(dá)到最優(yōu)解，再一次可以看出，MAD-GAN中并不需要每個生成器的生成樣本概率密度函數(shù)逼近訓(xùn)練集的概率密度函數(shù)，每個生成器都分別負(fù)責(zé)生成不同的樣本，只須保證生成器的平均概率密度函數(shù)等于訓(xùn)練集的概率密度函數(shù)即可。

3.?MAD-GAN-Sim

MAD-GAN-Sim是一種“更強(qiáng)力”的版本，它不僅考慮了每個生成器都分別負(fù)責(zé)生成不同的樣本，而且更細(xì)致地考慮了樣本的相似性問題。其出發(fā)點(diǎn)在于：來自于不同模式的樣本應(yīng)該是看起來不同的，故不同的生成器應(yīng)該生成看起來不相似的樣本。

?

這一想法用數(shù)學(xué)符號描述即為：

其中φ (x)表示從生成樣本的空間到特征空間的某種映射（我們可選擇生成器的中間層，其思想類似于特征值匹配），Δ (x,y)表示相似度的度量，多選用余弦相似度函數(shù)，用于計(jì)算兩個樣本對應(yīng)的特征的相似度。

?

對于給定的噪聲輸入z，考慮第i個生成器與其他生成器的樣本生成情況，若樣本相似度比較大，則D(G_i(z))相比較D(G_j(z))應(yīng)該大很多，由于D(G_j(z))的值比較小，G_j(z)便會進(jìn)行調(diào)整不再生成之前的那個相似的樣本，轉(zhuǎn)而去生成其他樣本，利用這種“排斥”機(jī)制，我們就實(shí)現(xiàn)了讓不同的生成器應(yīng)該生成看起來不相似的樣本。

?

將上述限制條件引入到生成器中，我們可以這樣訓(xùn)練生成器，對于任意生成器i，對于給定的z，如果上面的條件滿足，則像MAD-GAN一樣正常計(jì)算，其梯度為：

如果條件不滿足，將上述條件作為正則項(xiàng)添加到目標(biāo)函數(shù)中，則其梯度為：

這樣盡量使得判別器更新后，條件能夠滿足。MAD-GAN-Sim的思路非常直接清晰，不過代價就是增加非常多的計(jì)算量。

[1]Ghosh A , Kulharia V , Namboodiri V , et al. Multi-Agent Diverse Generative Adversarial Networks[J]. 2017.

總結(jié)

?

今天首先說明了模式崩潰問題的本質(zhì)，并介紹兩種解決模式崩潰問題的思路，然后介紹一種簡單而有效的解決方案MAD-GAN及其強(qiáng)化版本MAD-GAN-Sim。

知識星球推薦

有三AI知識星球由言有三維護(hù)，內(nèi)設(shè)AI知識匯總，AI書籍，網(wǎng)絡(luò)結(jié)構(gòu)，看圖猜技術(shù)，數(shù)據(jù)集，項(xiàng)目開發(fā)，Github推薦，AI1000問八大學(xué)習(xí)板塊。

?

當(dāng)前更新的主題就是各種各樣的GAN的結(jié)構(gòu)解讀和實(shí)踐，感興趣的同學(xué)可以加入一起學(xué)習(xí)，添加有三微信Longlongtogo即可優(yōu)惠。

GAN群

有三AI建立了一個GAN群，便于有志者相互交流。感興趣的同學(xué)也可以微信搜索xiaozhouguo94，備注"加入有三-GAN群"。

?

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

往期精選

?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

• ?

總結(jié)

以上是生活随笔為你收集整理的【GAN优化】解决模式崩溃的两条思路：改进优化和网络架构的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。