深度學(xué)習(xí)之生成對(duì)抗網(wǎng)絡(luò)（7）WGAN原理

• 1. JS散度的缺陷
• 2. EM距離
• 3. WGAN-GP

?WGAN算法從理論層面分析了GAN訓(xùn)練不穩(wěn)定的原因，并提出了有效的解決方法。那么是什么原因?qū)е铝薌AN訓(xùn)練如此不穩(wěn)定呢？WGAN提出是因?yàn)镴S散度在不重疊的分布 $p$和 $q$上的梯度曲面是恒定為0的。如下圖所示。當(dāng)分布p和q不重疊時(shí)，JS散度的梯度值始終為0，從而導(dǎo)致此時(shí)GAN的訓(xùn)練出現(xiàn)梯度彌散現(xiàn)象，參數(shù)長(zhǎng)時(shí)間得不到更新，網(wǎng)絡(luò)無(wú)法收斂。

圖1. JS散度出現(xiàn)梯度彌散現(xiàn)象

?接下來(lái)我們將詳細(xì)闡述JS散度的缺陷以及怎么解決此缺陷。

1. JS散度的缺陷

為了避免過(guò)多的理論推導(dǎo)，我們這里通過(guò)一個(gè)簡(jiǎn)單的分布實(shí)例來(lái)解釋JS散度的缺陷。
考慮完全不重疊（$\theta =0$）的兩個(gè)分布$p$和$q$，其中$p$為：
$$?(x,y)\in p,x=0,y～\text{U}(0,1)$$
分布$q$為：
$$?(x,y)\in q,x=\theta ,y～\text{U}(0,1)$$
其中$\theta \in R$，當(dāng)$\theta =0$時(shí)，分布$p$和$q$重疊，兩者相等；當(dāng)$\theta =0$時(shí)，分布$p$和$q$不重疊。

圖2. 分布$p$和$q$示意圖

?我們來(lái)分析上述分布$p$和$q$之間的JS散度隨$\theta$的變化情況。根據(jù)KL散度與JS散度的定義，計(jì)算$\theta =0$時(shí)的JS散度$D_{JS}(p||q)$：
$$D_{KL}(p||q)=\sum _{x=0,y～\text{U}(0,1)}1?\text{log}?\frac{1}{0}=+\infty$$
$$D_{KL}(q||p)=\sum _{x=\theta ,y～\text{U}(0,1)}1?\text{log}?\frac{1}{0}=+\infty$$
$$D_{JS}(p||q)=\frac{1}{2}(\sum _{x=0,y～\text{U}(0,1)}1?\text{log}\frac{1}{1/2}+\sum _{x=0,y～\text{U}(0,1)}1?\text{log}\frac{1}{1/2})=\text{log}?2$$
?當(dāng)$\theta =0$時(shí)，兩個(gè)分布完全重疊，此時(shí)的JS散度和KL散度都取得最小值，即0：
$$D_{KL}(p||q)=D_{KL}(q||p)=D_{JS}(p||q)=0$$
從上面的推導(dǎo)，我們可以得到$D_{JS}(p||q)$隨$\theta$的變化趨勢(shì)：
$$D_{JS}(p||q)=\{\begin{array}{ll}\text{log?}2& \theta =0\\ 0& \theta =0\end{array}$$
也就是說(shuō)，當(dāng)兩個(gè)分布完全不重疊時(shí)，無(wú)論發(fā)布之間的距離遠(yuǎn)近，JS散度為恒定值$\text{log}?2$，此時(shí)JS散度將無(wú)法產(chǎn)生有效的梯度信息；當(dāng)兩個(gè)分布出現(xiàn)重疊時(shí)，JS散度采會(huì)平滑變動(dòng)，產(chǎn)生有效梯度信息；當(dāng)完全重合后，JS散度取得最小值0.如下圖所示，紅色的曲線分割兩個(gè)正態(tài)分布，由于兩個(gè)分布沒(méi)有重疊，生成樣本位置處的梯度值始終為0，無(wú)法更新生成網(wǎng)絡(luò)的參數(shù)，從而出現(xiàn)網(wǎng)絡(luò)訓(xùn)練困難的現(xiàn)象。

圖3. JS散度出現(xiàn)梯度彌散現(xiàn)象

?因此，JS散度在分布$p$和$q$不重疊時(shí)是無(wú)法平滑地衡量分布之間的距離，從而導(dǎo)致此位置上無(wú)法產(chǎn)生有效梯度信息，出現(xiàn)GAN訓(xùn)練不穩(wěn)定的情況。要解決此問(wèn)題，需要使用一種更好的分布距離衡量標(biāo)準(zhǔn)，使得它即使在分布$p$和$q$不重疊時(shí)，也能平滑反映分布之間的真實(shí)距離變化。

2. EM距離

?WGAN論文發(fā)現(xiàn)了JS散度導(dǎo)致GAN訓(xùn)練不穩(wěn)定的問(wèn)題，并引入了一種新的分布距離度量方法：Wasserstein距離，也叫推土機(jī)距離（Earth-Mover Distance，簡(jiǎn)稱EM距離），它表示了從一個(gè)分布變換到另一個(gè)分布的最小代價(jià)，定義為：
$$W(p,q)=\underset{\gamma ～\prod (p,q)}{\inf }{\mathbb{E}}_{(x,y)～\gamma }[\Vert x?y\Vert ]$$
其中$\prod (p,q)$是分布$p$和$q$組合起來(lái)的所有可能的聯(lián)合分布的集合，對(duì)于每個(gè)可能的聯(lián)合分布$\gamma ～\prod (p,q)$，計(jì)算距離$\Vert x?y\Vert$的期望${\mathbb{E}}_{(x,y)～\gamma }[\Vert x?y\Vert ]$，其中$(x,y)$采樣自聯(lián)合分布$\gamma$。不同的聯(lián)合分布$\gamma$由不同的期望${\mathbb{E}}_{(x,y)～\gamma }[\Vert x?y\Vert ]$，這些期望中的下確界即定義為分布$p$和$q$的Wasserstein距離。其中$\text{inf}?\{?\}$表示集合的下確界，例如$\{x|1<x<3,x\in R\}$的下確界為1。

?繼續(xù)考慮圖2中的例子，我們直接給出分布$p$和$q$之間的EM距離的表達(dá)式：
$$W(p,q)=|\theta |$$
繪制出JS散度和EM距離的曲線，如下圖所示，可以看到，JS散度在$\theta =0$處不連續(xù)，其他位置導(dǎo)數(shù)均為0，而EM距離總能夠產(chǎn)生有效的導(dǎo)數(shù)信息，因此EM距離相對(duì)于JS散度更適合直到GAN網(wǎng)絡(luò)的訓(xùn)練。

圖4. JS散度和EM距離隨$θ$變換曲線

3. WGAN-GP

?考慮到幾乎不可能遍歷所有的聯(lián)合分布$\gamma$去計(jì)算距離$\Vert x?y\Vert$的期望${\mathbb{E}}_{(x,y)～\gamma }[\Vert x?y\Vert ]$，因此直接計(jì)算生成網(wǎng)絡(luò)分布$p_g$與真實(shí)數(shù)據(jù)數(shù)據(jù)分布$p_r$的距離$W(p_r,p_g)$距離是不現(xiàn)實(shí)的，WGAN作者基于Kantorchovich-Rubin對(duì)偶性將直接求$W(p_r,p_g)$轉(zhuǎn)換為求：
$$W(p_r,p_g)=\frac{1}{K}\underset{\Vert f{\Vert }_L\le K}{\sup }{\mathbb{E}}_{x～p_r}[f(x)]?{\mathbb{E}}_{x～p_g}[f(x)]$$
其中$\text{sup}?\{?\}$表示集合的上確界，$\Vert f{\Vert }_L\le K$表示函數(shù)$f:R\to R$滿足K階-Lipschitz連續(xù)性，即滿足
$$|f(x_1)?f(x_2)|\le K?|x_1?x_2|$$
?于是，我們使用判別網(wǎng)絡(luò)$D_{\theta }(\mathbf{x})$參數(shù)化$f(\mathbf{x})$函數(shù)，在$D_{\theta }$滿足1階-Lipschitz約束條件下，即$K=1$，此時(shí)：
$$W(p_r,p_g)=\frac{1}{K}\underset{\Vert D_{\theta }{\Vert }_L\le K}{\sup }{\mathbb{E}}_{x～p_r}[D_{\theta }(\mathbf{x})]?{\mathbb{E}}_{x～p_g}[D_{\theta }(\mathbf{x})]$$
因此求解$W(p_r,p_g)$的問(wèn)題可以轉(zhuǎn)化為：
$$\underset{\theta }{\text{max}?}{\mathbb{E}}_{x～p_r}[D_{\theta }(\mathbf{x})]?{\mathbb{E}}_{x～p_g}[D_{\theta }(\mathbf{x})]$$
這就是判別器D的優(yōu)化目標(biāo)。判別網(wǎng)絡(luò)函數(shù)D_θ (x)需要滿足1階-Lipschitz約束：
$${?}_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}})\le 1$$
?在WGAN-GP論文中，作者提出采用增加梯度懲罰項(xiàng)（Gradient Penalty）方法來(lái)迫使判別網(wǎng)絡(luò)滿足1階-Lipschitz函數(shù)約束，同時(shí)作者發(fā)現(xiàn)將梯度值約束在1周?chē)鷷r(shí)工程效果更好，因此梯度懲罰項(xiàng)定義為：
$$GP?{\mathbb{E}}_{\hat{\mathbf{x}}～P_{\hat{\mathbf{x}}}}[(\Vert {?}_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}}){\Vert }_2?1{)}^2]$$
因此WGAN的判別器D的訓(xùn)練目標(biāo)為：
$$\underset{\theta }{\max }\mathcal{L}(G,D)=\underset{EM距離}{{\mathbb{E}}_{{\mathbf{x}}_r～p_r}[D({\mathbf{x}}_r)]?E_{{\mathbf{x}}_f～p_g}[D({\mathbf{x}}_f)]}?\underset{GP懲罰項(xiàng)}{\lambda {\mathbb{E}}_{\hat{\mathbf{x}}～P_{\hat{\mathbf{x}}}}[(\Vert {?}_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}}){\Vert }_2?1{)}^2]}$$
其中$\hat{\mathbf{x}}$來(lái)自于${\mathbf{x}}_r$與${\mathbf{x}}_f$的線性差值：
$$\hat{\mathbf{x}}=t{\mathbf{x}}_r+(1?t){\mathbf{x}}_f,t\in [0,1]$$
判別器D的優(yōu)化目標(biāo)是最小化上述的誤差$\mathcal{L}(G,D)$，即迫使生成器G的分布$p_g$與真實(shí)分布$p_r$之間的EM距離${\mathbb{E}}_{{\mathbf{x}}_r～p_r}[D({\mathbf{x}}_r)]?E_{{\mathbf{x}}_f～p_g}[D({\mathbf{x}}_f)]$項(xiàng)盡可能大，$\Vert {?}_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}}){\Vert }_2$逼近于1。

?WGAN的生成器G的訓(xùn)練目標(biāo)為：
$$\underset{\theta }{\max }\mathcal{L}(G,D)=\underset{EM距離}{{\mathbb{E}}_{{\mathbf{x}}_r～p_r}[D({\mathbf{x}}_r)]?E_{{\mathbf{x}}_f～p_g}[D({\mathbf{x}}_f)]}$$
即使得生成器的分布$p_g$與真實(shí)分布$p_r$之間的EM距離越小越好。考慮到${\mathbb{E}}_{{\mathbf{x}}_r～p_r}[D({\mathbf{x}}_r)]$一項(xiàng)與生成器無(wú)關(guān)，因此生成器的訓(xùn)練目標(biāo)簡(jiǎn)寫(xiě)為：
$$\begin{array}{rl}\underset{\theta }{\max }\mathcal{L}(G,D)& =?E_{{\mathbf{x}}_f～p_g}[D({\mathbf{x}}_f)]\\ & =?E_{\mathbf{z}～p_{\mathbf{z}}(?)}[D(G(\mathbf{z}))]\end{array}$$
?從現(xiàn)實(shí)來(lái)看，判別網(wǎng)絡(luò)D的輸出不需要添加Sigmoid激活函數(shù)，這是因?yàn)樵及姹镜呐袆e器的功能是作為二分類網(wǎng)絡(luò)，添加Sigmoid函數(shù)獲得類別的概率；而WGAN中判別器作為EM距離的度量網(wǎng)絡(luò)，其目標(biāo)是衡量生成網(wǎng)絡(luò)的分布$p_g$和真實(shí)分布$p_r$之間的EM距離，屬于實(shí)數(shù)空間，因此不需要添加Sigmoid激活函數(shù)。在誤差函數(shù)計(jì)算時(shí)，WGAN也沒(méi)有$\text{log}$函數(shù)存在。在訓(xùn)練WGAN時(shí)，WGAN作者推薦使用RMSProp或SGD等不帶動(dòng)量的優(yōu)化器。

?WGAN從理論層面發(fā)現(xiàn)了原始GAN容易出現(xiàn)訓(xùn)練不穩(wěn)定的原因，并給出了一種新的距離度量標(biāo)準(zhǔn)和工程實(shí)現(xiàn)解決方案，取得了較好的效果。WGAN還在一定程度上緩解了模式崩塌的問(wèn)題，使用WGAN的模型不容易出現(xiàn)模式崩塌的現(xiàn)象。需要注意的是，WGAN一般并不能提升模型的生成效果，僅僅是保證了模型訓(xùn)練的穩(wěn)定性。當(dāng)然，保證模型能夠穩(wěn)定地訓(xùn)練也是取得良好效果的前提。如圖5所示，原始版本的DCGAN在不使用BN層等設(shè)定時(shí)出現(xiàn)了訓(xùn)練不穩(wěn)定的現(xiàn)象，在同樣設(shè)定下，使用WGAN來(lái)訓(xùn)練判別器可以避免此現(xiàn)象，如圖6所示。

圖5. 不帶BN層的DCGAN生成器效果
圖6. 不帶BN層的WGAN生成效果 創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的深度学习之生成对抗网络（7）WGAN原理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。