專欄《GAN的優化》（第一季）正式完結啦！

?

在這一季里，我們從生成模型出發，講述了GAN的基本理論，包括工作原理，更具有普適性的f散度度量和Wasserstein距離，以及IPM框架并順帶給出了一個處理WGAN的萊布尼茨限制的優雅解決方法；接著介紹了GAN訓練困難的原因以及幾個訓練技巧；然后從動力學視角出發探索GAN的訓練，將GAN與動力學方程聯系在一起，講述了一致優化，并總結了各種GAN的正則項的優劣；最后我們講了一下GAN中的模式崩潰問題，并介紹了幾個比較好的解決方案。

?

至此，我們再對整個GAN的優化專欄第一季的內容進行一個大總結！

?

作者 | 小米粥 言有三

編輯 | 言有三

1 GAN原理

第一篇文章首先講一部分關于生成模型的內容，從極大似然法到顯式的定義概率密度函數到隱式定義概率密度函數的GAN。接著在GAN中，我們介紹了基本結構，工作原理，推導了幾個基本結論，并從分布度量和博弈論兩個角度闡述了GAN。

【GAN的優化】GAN優化專欄上線，首談生成模型與GAN基礎

2 f-GAN

第二篇文章向大家介紹了概率密度函數的距離、由f散度定義的一系列距離、共軛函數，之后推導了如何使用fGAN生成原始的GAN，最后闡述了KL散度和JS散度的一些問題。fGAN是一個具有一定“通用”意義的模型，它定義了一個框架，從這個框架中可以自然而然得衍生出其他GAN模型。

【GAN的優化】從KL和JS散度到fGAN

3 WGAN和SNGAN

第三篇文章帶大家領略了一下WGAN，首先指出了之前f散度的問題，接著介紹了一種新的距離度量Wasserstein距離，并展示了使用對偶方法轉化Wasserstein距離，WGAN是一個具有重要里程碑意義的模型，非常值得反復研究。

?

第四篇文章帶領大家一起學習了SNGAN，學習了特征值和奇異值相關問題，學習如何使用譜范數解決1-Lipschitz限制，并推導了SNGAN，最后給出了一個快速求解矩陣最大奇異值的方法。SNGAN是比較重要而且優雅得解決1-Lipschitz限制的方案。

• 【GAN優化】詳解對偶與WGAN

• 【GAN優化】詳解SNGAN(頻譜歸一化GAN)

4 IPM

第五篇文章向大家介紹了GAN的IPM框架。關于GAN的目標函數，除了f-divergence外還有另一大類：IPM，非常熟悉的WGAN便是屬于IPM框架下的一種GAN，IPM(integral probability metric)也是一種對于兩個概率分布之間的距離的度量，我們在這篇文章中選擇不同的函數集合F而得到不同GAN，例如FisherGAN，MMDGAN，MCGAN。

【GAN優化】一覽IPM框架下的各種GAN

5 訓練問題

第六篇文章重點講述了GAN訓練中4個問題。第一個部分介紹了最優判別器引發的梯度消失問題，第二部分使用一個例子介紹距離計算時的問題，接著第三部分將介紹優化問題的困惑以及給出模式崩潰一個簡單解釋，最后一部分簡單談一下參數空間的問題。

【GAN優化】GAN訓練的幾個問題

6 訓練小技巧

第七篇文章主要向大家介紹了GAN訓練時的一些tricks。GAN的訓練其實是一個尋找納什均衡狀態的過程，然而想采用梯度下降達到收斂是比較難的，先講述了GAN的納什均衡狀態以及達到此狀態的難點，然后介紹了特征匹配、歷史均值、單側標簽平滑等幾個技巧，可以盡量保證GAN進入收斂的狀態。

【GAN優化】GAN訓練的小技巧

7 GAN與動力學

第八篇文章帶大家領略了GAN與動力學的結合，這篇文章首先介紹了常微分方程以及如何使用歐拉法得到常微分方程的數值解，接著描述了歐拉法與動力學系統之間的內在聯系，然后從動力學的系統重新看梯度下降算法，最后從動力學視角重新表述了GAN，提供一個新穎的視角，這是接下來兩篇分析GAN訓練過程的理論基礎。

【GAN優化】從動力學視角看GAN是一種什么感覺？

8 一致優化

第九篇文章介紹了一個非常優雅的GAN優化算法，一致優化。先從一個關于動力學系統收斂的重要命題出發，將其與GAN對接起來，然后進入動力學系統的特征值分析，最后介紹一致優化的所提出的正則項，而且最重要的是，這里給出了一定條件下，使用一致優化算法可收斂到納什均衡狀態的理論保證。

【GAN優化】詳解GAN中的一致優化問題

9 GAN的正則項

第十篇文章里用了一個非常簡單且直觀的Dirac-GAN進行實驗收斂性，首先說明了標準的GAN或者WGAN是無法收斂到納什均衡的，需要添加正則項。接下來，WGAN-GP也無法收斂，而一致優化正則項和zero centered gradient可以實現收斂，這為我們提供了很好的訓練GAN的啟示指導。

【GAN優化】如何選好正則項讓你的GAN收斂

10 模式崩潰

第十一篇文章首先講了GAN的模式崩潰問題，并用一個簡單的例子做了過程示意，接著重點描述了通過修改目標函數來解決模式崩潰的方法，著重介紹了unrolled GAN的思想，并同樣進行了過程示意描述，最后又比較簡單地描述了另一種方案：DRAGAN。

?

第十二篇文章首先將說明模式崩潰問題的本質是GAN無法通過訓練達到最優納什均衡狀態，并介紹兩種解決模式崩潰問題的思路：修改目標函數和網絡結構，然后介紹了一種簡單而有效的解決方案MAD-GAN，最后一部分給出MAD-GAN的強化版本MAD-GAN-Sim。

• 【GAN優化】什么是模式崩潰，以及如何從優化目標上解決這個問題

• 【GAN優化】解決模式崩潰的兩條思路：改進優化和網絡架構

總結

?

12篇文章，說多不多，說少也不少，真的是花了自己非常大的心血，質量不敢說多高，但是自己確實是在認認真真、絞盡腦汁做這件事情。同時也非常感謝

有三AI，給了我一個寫東西的平臺，感謝給我的寬松自由的環境。

?

要忙于實驗、論文，忙于其他的事情，公眾號的部分暫時就先寫到這里吧，其實，關于GAN的知識內容非常非常多，遠非幾篇文章能描述，每次涉及到到的內容我也只能淺嘗輒止，或者選擇具有代表性的內容聊一聊。

?

說一下，關于GAN的其他內容，網絡結構或者隱空間，應用等等之類，我以后還會繼續涉及到，之前相關內容也會加強完善，可能會用別的形式展示出來，敬請期待。

?

Ps：大家一定要持續關注有三AI哦！

?

?

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【完结】12篇GAN的优化文章大盘点，浓浓的数学味儿的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。