深度學習之生成對抗網絡（7）WGAN原理

• 1. JS散度的缺陷
• 2. EM距離
• 3. WGAN-GP

?WGAN算法從理論層面分析了GAN訓練不穩定的原因，并提出了有效的解決方法。那么是什么原因導致了GAN訓練如此不穩定呢？WGAN提出是因為JS散度在不重疊的分布 $p$和 $q$上的梯度曲面是恒定為0的。如下圖所示。當分布p和q不重疊時，JS散度的梯度值始終為0，從而導致此時GAN的訓練出現梯度彌散現象，參數長時間得不到更新，網絡無法收斂。

圖1. JS散度出現梯度彌散現象

?接下來我們將詳細闡述JS散度的缺陷以及怎么解決此缺陷。

1. JS散度的缺陷

為了避免過多的理論推導，我們這里通過一個簡單的分布實例來解釋JS散度的缺陷。
考慮完全不重疊（$\theta =0$）的兩個分布$p$和$q$，其中$p$為：
$$?(x,y)\in p,x=0,y～\text{U}(0,1)$$
分布$q$為：
$$?(x,y)\in q,x=\theta ,y～\text{U}(0,1)$$
其中$\theta \in R$，當$\theta =0$時，分布$p$和$q$重疊，兩者相等；當$\theta =0$時，分布$p$和$q$不重疊。

圖2. 分布$p$和$q$示意圖

?我們來分析上述分布$p$和$q$之間的JS散度隨$\theta$的變化情況。根據KL散度與JS散度的定義，計算$\theta =0$時的JS散度$D_{JS}(p||q)$：
$$D_{KL}(p||q)=\sum _{x=0,y～\text{U}(0,1)}1?\text{log}?\frac{1}{0}=+\infty$$
$$D_{KL}(q||p)=\sum _{x=\theta ,y～\text{U}(0,1)}1?\text{log}?\frac{1}{0}=+\infty$$
$$D_{JS}(p||q)=\frac{1}{2}(\sum _{x=0,y～\text{U}(0,1)}1?\text{log}\frac{1}{1/2}+\sum _{x=0,y～\text{U}(0,1)}1?\text{log}\frac{1}{1/2})=\text{log}?2$$
?當$\theta =0$時，兩個分布完全重疊，此時的JS散度和KL散度都取得最小值，即0：
$$D_{KL}(p||q)=D_{KL}(q||p)=D_{JS}(p||q)=0$$
從上面的推導，我們可以得到$D_{JS}(p||q)$隨$\theta$的變化趨勢：
$$D_{JS}(p||q)=\{\begin{array}{ll}\text{log?}2& \theta =0\\ 0& \theta =0\end{array}$$
也就是說，當兩個分布完全不重疊時，無論發布之間的距離遠近，JS散度為恒定值$\text{log}?2$，此時JS散度將無法產生有效的梯度信息；當兩個分布出現重疊時，JS散度采會平滑變動，產生有效梯度信息；當完全重合后，JS散度取得最小值0.如下圖所示，紅色的曲線分割兩個正態分布，由于兩個分布沒有重疊，生成樣本位置處的梯度值始終為0，無法更新生成網絡的參數，從而出現網絡訓練困難的現象。

圖3. JS散度出現梯度彌散現象

?因此，JS散度在分布$p$和$q$不重疊時是無法平滑地衡量分布之間的距離，從而導致此位置上無法產生有效梯度信息，出現GAN訓練不穩定的情況。要解決此問題，需要使用一種更好的分布距離衡量標準，使得它即使在分布$p$和$q$不重疊時，也能平滑反映分布之間的真實距離變化。

2. EM距離

?WGAN論文發現了JS散度導致GAN訓練不穩定的問題，并引入了一種新的分布距離度量方法：Wasserstein距離，也叫推土機距離（Earth-Mover Distance，簡稱EM距離），它表示了從一個分布變換到另一個分布的最小代價，定義為：
$$W(p,q)=\underset{\gamma ～\prod (p,q)}{\inf }{\mathbb{E}}_{(x,y)～\gamma }[\Vert x?y\Vert ]$$
其中$\prod (p,q)$是分布$p$和$q$組合起來的所有可能的聯合分布的集合，對于每個可能的聯合分布$\gamma ～\prod (p,q)$，計算距離$\Vert x?y\Vert$的期望${\mathbb{E}}_{(x,y)～\gamma }[\Vert x?y\Vert ]$，其中$(x,y)$采樣自聯合分布$\gamma$。不同的聯合分布$\gamma$由不同的期望${\mathbb{E}}_{(x,y)～\gamma }[\Vert x?y\Vert ]$，這些期望中的下確界即定義為分布$p$和$q$的Wasserstein距離。其中$\text{inf}?\{?\}$表示集合的下確界，例如$\{x|1<x<3,x\in R\}$的下確界為1。

?繼續考慮圖2中的例子，我們直接給出分布$p$和$q$之間的EM距離的表達式：
$$W(p,q)=|\theta |$$
繪制出JS散度和EM距離的曲線，如下圖所示，可以看到，JS散度在$\theta =0$處不連續，其他位置導數均為0，而EM距離總能夠產生有效的導數信息，因此EM距離相對于JS散度更適合直到GAN網絡的訓練。

圖4. JS散度和EM距離隨$θ$變換曲線

3. WGAN-GP

?考慮到幾乎不可能遍歷所有的聯合分布$\gamma$去計算距離$\Vert x?y\Vert$的期望${\mathbb{E}}_{(x,y)～\gamma }[\Vert x?y\Vert ]$，因此直接計算生成網絡分布$p_g$與真實數據數據分布$p_r$的距離$W(p_r,p_g)$距離是不現實的，WGAN作者基于Kantorchovich-Rubin對偶性將直接求$W(p_r,p_g)$轉換為求：
$$W(p_r,p_g)=\frac{1}{K}\underset{\Vert f{\Vert }_L\le K}{\sup }{\mathbb{E}}_{x～p_r}[f(x)]?{\mathbb{E}}_{x～p_g}[f(x)]$$
其中$\text{sup}?\{?\}$表示集合的上確界，$\Vert f{\Vert }_L\le K$表示函數$f:R\to R$滿足K階-Lipschitz連續性，即滿足
$$|f(x_1)?f(x_2)|\le K?|x_1?x_2|$$
?于是，我們使用判別網絡$D_{\theta }(\mathbf{x})$參數化$f(\mathbf{x})$函數，在$D_{\theta }$滿足1階-Lipschitz約束條件下，即$K=1$，此時：
$$W(p_r,p_g)=\frac{1}{K}\underset{\Vert D_{\theta }{\Vert }_L\le K}{\sup }{\mathbb{E}}_{x～p_r}[D_{\theta }(\mathbf{x})]?{\mathbb{E}}_{x～p_g}[D_{\theta }(\mathbf{x})]$$
因此求解$W(p_r,p_g)$的問題可以轉化為：
$$\underset{\theta }{\text{max}?}{\mathbb{E}}_{x～p_r}[D_{\theta }(\mathbf{x})]?{\mathbb{E}}_{x～p_g}[D_{\theta }(\mathbf{x})]$$
這就是判別器D的優化目標。判別網絡函數D_θ (x)需要滿足1階-Lipschitz約束：
$${?}_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}})\le 1$$
?在WGAN-GP論文中，作者提出采用增加梯度懲罰項（Gradient Penalty）方法來迫使判別網絡滿足1階-Lipschitz函數約束，同時作者發現將梯度值約束在1周圍時工程效果更好，因此梯度懲罰項定義為：
$$GP?{\mathbb{E}}_{\hat{\mathbf{x}}～P_{\hat{\mathbf{x}}}}[(\Vert {?}_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}}){\Vert }_2?1{)}^2]$$
因此WGAN的判別器D的訓練目標為：
$$\underset{\theta }{\max }\mathcal{L}(G,D)=\underset{EM距離}{{\mathbb{E}}_{{\mathbf{x}}_r～p_r}[D({\mathbf{x}}_r)]?E_{{\mathbf{x}}_f～p_g}[D({\mathbf{x}}_f)]}?\underset{GP懲罰項}{\lambda {\mathbb{E}}_{\hat{\mathbf{x}}～P_{\hat{\mathbf{x}}}}[(\Vert {?}_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}}){\Vert }_2?1{)}^2]}$$
其中$\hat{\mathbf{x}}$來自于${\mathbf{x}}_r$與${\mathbf{x}}_f$的線性差值：
$$\hat{\mathbf{x}}=t{\mathbf{x}}_r+(1?t){\mathbf{x}}_f,t\in [0,1]$$
判別器D的優化目標是最小化上述的誤差$\mathcal{L}(G,D)$，即迫使生成器G的分布$p_g$與真實分布$p_r$之間的EM距離${\mathbb{E}}_{{\mathbf{x}}_r～p_r}[D({\mathbf{x}}_r)]?E_{{\mathbf{x}}_f～p_g}[D({\mathbf{x}}_f)]$項盡可能大，$\Vert {?}_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}}){\Vert }_2$逼近于1。

?WGAN的生成器G的訓練目標為：
$$\underset{\theta }{\max }\mathcal{L}(G,D)=\underset{EM距離}{{\mathbb{E}}_{{\mathbf{x}}_r～p_r}[D({\mathbf{x}}_r)]?E_{{\mathbf{x}}_f～p_g}[D({\mathbf{x}}_f)]}$$
即使得生成器的分布$p_g$與真實分布$p_r$之間的EM距離越小越好。考慮到${\mathbb{E}}_{{\mathbf{x}}_r～p_r}[D({\mathbf{x}}_r)]$一項與生成器無關，因此生成器的訓練目標簡寫為：
$$\begin{array}{rl}\underset{\theta }{\max }\mathcal{L}(G,D)& =?E_{{\mathbf{x}}_f～p_g}[D({\mathbf{x}}_f)]\\ & =?E_{\mathbf{z}～p_{\mathbf{z}}(?)}[D(G(\mathbf{z}))]\end{array}$$
?從現實來看，判別網絡D的輸出不需要添加Sigmoid激活函數，這是因為原始版本的判別器的功能是作為二分類網絡，添加Sigmoid函數獲得類別的概率；而WGAN中判別器作為EM距離的度量網絡，其目標是衡量生成網絡的分布$p_g$和真實分布$p_r$之間的EM距離，屬于實數空間，因此不需要添加Sigmoid激活函數。在誤差函數計算時，WGAN也沒有$\text{log}$函數存在。在訓練WGAN時，WGAN作者推薦使用RMSProp或SGD等不帶動量的優化器。

?WGAN從理論層面發現了原始GAN容易出現訓練不穩定的原因，并給出了一種新的距離度量標準和工程實現解決方案，取得了較好的效果。WGAN還在一定程度上緩解了模式崩塌的問題，使用WGAN的模型不容易出現模式崩塌的現象。需要注意的是，WGAN一般并不能提升模型的生成效果，僅僅是保證了模型訓練的穩定性。當然，保證模型能夠穩定地訓練也是取得良好效果的前提。如圖5所示，原始版本的DCGAN在不使用BN層等設定時出現了訓練不穩定的現象，在同樣設定下，使用WGAN來訓練判別器可以避免此現象，如圖6所示。

圖5. 不帶BN層的DCGAN生成器效果
圖6. 不帶BN層的WGAN生成效果 創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的深度学习之生成对抗网络（7）WGAN原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。