前言

我小學開始就喜歡純數學，后來也喜歡上物理，還學習過一段時間的理論物理，直到本科畢業時，我才慢慢進入機器學習領域。所以，哪怕在機器學習領域中，我的研究習慣還保留著數學和物理的風格：企圖從最少的原理出發，理解、推導盡可能多的東西。這篇文章是我這個理念的結果之一，試圖以變分推斷作為出發點，來統一地理解深度學習中的各種模型，尤其是各種讓人眼花繚亂的 GAN。

本文已經掛到 arXiv 上，需要讀英文原稿的可以訪問下方鏈接下載論文 Variational Inference: A Unified Framework of Generative Models and Some Revelations。

■ 論文 | Variational Inference: A Unified Framework of Generative Models and Some Revelations
■ 鏈接 | https://www.paperweekly.site/papers/2117
■ 作者 | Jianlin Su

下面是文章的介紹。其實，中文版的信息可能還比英文版要稍微豐富一些，原諒我這蹩腳的英語。

近年來，深度生成模型，尤其是 GAN，取得了巨大的成功。現在我們已經可以找到數十個乃至上百個 GAN 的變種。然而，其中的大部分都是憑著經驗改進的，鮮有比較完備的理論指導。

本文的目標是通過變分推斷來給這些生成模型建立一個統一的框架。首先，本文先介紹了變分推斷的一個新形式，這個新形式其實在本人以前的文章中就已經介紹過，它可以讓我們在幾行字之內導出變分自編碼器（VAE）和 EM 算法。然后，利用這個新形式，我們能直接導出 GAN，并且發現標準 GAN 的 loss 實則是不完備的，缺少了一個正則項。如果沒有這個正則項，我們就需要謹慎地調整超參數，才能使得模型收斂。

實際上，本文這個工作的初衷，就是要將 GAN 納入到變分推斷的框架下。目前看來，最初的意圖已經達到了，結果讓人欣慰。新導出的正則項實際上是一個副產品，并且幸運的是，在我們的實驗中這個副產品生效了。

變分推斷新解

假設 x 為顯變量，z 為隱變量，p?(x) 為 x 的證據分布，并且有：

我們希望 qθ(x) 能逼近 p?(x)，所以一般情況下我們會去最大化似然函數：

這也等價于最小化 KL 散度 KL(p?(x))‖q(x))：

但是由于積分可能難以計算，因此大多數情況下都難以直接優化。

變分推斷中，首先引入聯合分布 p(x,z) 使得p?(x)=∫p(x,z)dz，而變分推斷的本質，就是將邊際分布的 KL 散度 KL(p?(x)‖q(x)) 改為聯合分布的 KL 散度 KL(p(x,z)‖q(x,z)) 或 KL(q(x,z)‖p(x,z))，而：

意味著聯合分布的 KL 散度是一個更強的條件（上界）。所以一旦優化成功，那么我們就得到 q(x,z)→p(x,z)，從而 ∫q(x,z)dz→∫p(x,z)dz=p? (x)，即 ∫q(x,z)dz 成為了真實分布 p?(x) 的一個近似。

當然，我們本身不是為了加強條件而加強，而是因為在很多情況下，KL(p(x,z)‖q(x,z)) 或 KL(q(x,z)‖p(x,z)) 往往比 KL(p?(x)‖q(x)) 更加容易計算。所以變分推斷是提供了一個可計算的方案。

VAE和EM算法

由上述關于變分推斷的新理解，我們可以在幾句話內導出兩個基本結果：變分自編碼器和 EM 算法。這部分內容，實際上在從最大似然到EM算法：一致的理解方式和變分自編碼器（二）：從貝葉斯觀點出發已經詳細介紹過了。這里用簡單幾句話重提一下。

VAE

在 VAE 中，我們設 q(x,z)=q(x|z)q(z),p(x,z)=p?(x)p(z|x)，其中 q(x|z),p(z|x) 帶有未知參數的高斯分布而 q(z) 是標準高斯分布。最小化的目標是：

其中 logp?(x) 沒有包含優化目標，可以視為常數，而對 p?(x) 的積分則轉化為對樣本的采樣，從而：

因為 q(x|z),p(z|x) 為帶有神經網絡的高斯分布，這時候 KL(p(z|x)‖q(z)) 可以顯式地算出，而通過重參數技巧來采樣一個點完成積分 ∫p(z|x)logq(x|z)dz 的估算，可以得到 VAE 最終要最小化的 loss：

EM算法

在 VAE 中我們對后驗分布做了約束，僅假設它是高斯分布，所以我們優化的是高斯分布的參數。如果不作此假設，那么直接優化原始目標 (5)，在某些情況下也是可操作的，但這時候只能采用交替優化的方式：先固定 p(z|x)，優化 q(x|z)，那么就有：

完成這一步后，我們固定 q(x,z)，優化 p(z|x)，先將 q(x|z)q(z) 寫成 q(z|x)q(x) 的形式：

那么有：

由于現在對 p(z|x) 沒有約束，因此可以直接讓 p(z|x)=q(z|x) 使得 loss 等于 0。也就是說，p(z|x) 有理論最優解：

(8)，(11) 的交替執行，構成了 EM 算法的求解步驟。這樣，我們從變分推斷框架中快速得到了 EM 算法。

變分推斷下的GAN

在這部分內容中，我們介紹了一般化的將 GAN 納入到變分推斷中的方法，這將引導我們得到 GAN 的新理解，以及一個有效的正則項。

一般框架

同 VAE 一樣，GAN 也希望能訓練一個生成模型 q(x|z)，來將 q(z)=N(z;0,I) 映射為數據集分布 p?(x)，不同于 VAE 中將 q(x|z) 選擇為高斯分布，GAN 的選擇是：

其中 δ(x) 是狄拉克 δ 函數，G(z) 即為生成器的神經網絡。

一般我們會認為 z 是一個隱變量，但由于 δ 函數實際上意味著單點分布，因此可以認為 x 與 z 的關系已經是一一對應的，所以 z 與 x 的關系已經“不夠隨機”，在 GAN 中我們認為它不是隱變量（意味著我們不需要考慮后驗分布 p(z|x)）。

事實上，在 GAN 中僅僅引入了一個二元的隱變量 y 來構成聯合分布：

這里 p1=1?p0 描述了一個二元概率分布，我們直接取 p1=p0=1/2。另一方面，我們設 p(x,y)=p(y|x)p?(x)，p(y|x) 是一個條件伯努利分布。而優化目標是另一方向的 KL(q(x,y)‖p(x,y))：

一旦成功優化，那么就有 q(x,y)→p(x,y)，那么：

從而 q(x)→p?(x)，完成了生成模型的構建。

現在我們優化對象有 p(y|x) 和 G(x)，記 p(1|x)=D(x)，這就是判別器。類似 EM 算法，我們進行交替優化：先固定 G(z)，這也意味著 q(x) 固定了，然后優化 p(y|x)，這時候略去常量，得到優化目標為：

然后固定 D(x) 來優化 G(x)，這時候相關的 loss 為：

這里包含了我們不知道的 p?(x)，但是假如 D(x) 模型具有足夠的擬合能力，那么跟 (11) 式同理，D(x) 的最優解應該是：

這里的是前一階段的 q(x)。從中解出 q?(x)，代入 loss 得到：

基本分析

可以看到，第一項就是標準的 GAN 生成器所采用的 loss 之一。

多出來的第二項，描述了新分布與舊分布之間的距離。這兩項 loss 是對抗的，因為希望新舊分布盡量一致，但是如果判別器充分優化的話，對于舊分布中的樣本，D(x) 都很小（幾乎都被識別為負樣本），所以 ?logD(x) 會相當大，反之亦然。這樣一來，整個 loss 一起優化的話，模型既要“傳承”舊分布，同時要在往新方向 p(1|y) 探索，在新舊之間插值。

我們知道，目前標準的 GAN 的生成器 loss 都不包含，這事實上造成了 loss 的不完備。假設有一個優化算法總能找到 G(z) 的理論最優解、并且 G(z) 具有無限的擬合能力，那么 G(z) 只需要生成唯一一個使得 D(x) 最大的樣本（不管輸入的 z 是什么），這就是模型坍縮。這樣說的話，理論上它一定會發生。

那么，給我們的啟發是什么呢？我們設：

也就是說，假設當前模型的參數改變量為 Δθ，那么展開到二階得到：

我們已經指出一個完備的 GAN 生成器的損失函數應該要包含，如果不包含的話，那么就要通過各種間接手段達到這個效果，上述近似表明額外的損失約為 (Δθ?c)2，這就要求我們不能使得它過大，也就是不能使得 Δθ 過大（在每個階段 c 可以近似認為是一個常數）。

而我們用的是基于梯度下降的優化算法，所以 Δθ 正比于梯度，因此標準 GAN 訓練時的很多 trick，比如梯度裁剪、用 adam 優化器、用 BN，都可以解釋得通了，它們都是為了穩定梯度，使得 θ 不至于過大，同時，G(z) 的迭代次數也不能過多，因為過多同樣會導致 Δθ 過大。

還有，這部分的分析只適用于生成器，而判別器本身并不受約束，因此判別器可以訓練到最優。

正則項

現在我們從中算出一些真正有用的內容，直接對進行估算，以得到一個可以在實際訓練中使用的正則項。直接計算是難以進行的，但我們可以用 KL(q(x,z)‖q?(x,z)) 去估算它：

因為有極限：

所以可以將 δ(x) 看成是小方差的高斯分布，代入算得也就是我們有：

所以完整生成器的 loss 可以選為：

也就是說，可以用新舊生成樣本的距離作為正則項，正則項保證模型不會過于偏離舊分布。

下面的兩個在人臉數據 CelebA 上的實驗表明這個正則項是生效的。實驗代碼修改自：

https://github.com/LynnHo/DCGAN-LSGAN-WGAN-WGAN-GP-Tensorflow

實驗一：普通的 DCGAN 網絡，每次迭代生成器和判別器各訓練一個 batch。

▲ 不帶正則項，在25個epoch之后模型開始坍縮

▲ 帶有正則項，模型能一直穩定訓練

實驗二：普通的 DCGAN 網絡，但去掉 BN，每次迭代生成器和判別器各訓練五個 batch。

▲ 不帶正則項，模型收斂速度比較慢

▲ 帶有正則項，模型更快“步入正軌”

GAN相關模型

對抗自編碼器（Adversarial Autoencoders，AAE）和對抗推斷學習（Adversarially Learned Inference，ALI）這兩個模型是 GAN 的變種之一，也可以被納入到變分推斷中。當然，有了前述準備后，這僅僅就像兩道作業題罷了。

有意思的是，在 ALI 之中，我們有一些反直覺的結果。

GAN視角下的AAE

事實上，只需要在 GAN 的論述中，將 x,z 的位置交換，就得到了 AAE 的框架。

具體來說，AAE 希望能訓練一個編碼模型 p(z|x)，來將真實分布 q?(x) 映射為標準高斯分布 q(z)=N(z;0,I)，而：

其中 E(x) 即為編碼器的神經網絡。

同 GAN 一樣，AAE 引入了一個二元的隱變量 y，并有：

同樣直接取 p1=p0=1/2。另一方面，我們設 q(z,y)=q(y|z)q(z)，這里的后驗分布 p(y|z) 是一個輸入為 z 的二元分布，然后去優化 KL(p(z,y)‖q(z,y))：

現在我們優化對象有 q(y|z) 和 E(x)，記 q(0|z)=D(z)，依然交替優化：先固定 E(x)，這也意味著 p(z) 固定了，然后優化 q(y|z)，這時候略去常量，得到優化目標為：

然后固定 D(z) 來優化 E(x)，這時候相關的 loss 為：

利用 D(z) 的理論最優解，代入 loss 得到：

一方面，同標準 GAN 一樣，謹慎地訓練，我們可以去掉第二項，得到：

另外一方面，我們可以得到編碼器后再訓練一個解碼器 G(z)，但是如果所假設的 E(x),G(z) 的擬合能力是充分的，重構誤差可以足夠小，那么將 G(z) 加入到上述 loss 中并不會干擾 GAN 的訓練，因此可以聯合訓練：

反直覺的ALI版本

ALI 像是 GAN 和 AAE 的融合，另一個幾乎一樣的工作是 Bidirectional GAN (BiGAN)。相比于 GAN，它將 z 也作為隱變量納入到變分推斷中。具體來說，在 ALI 中有：

以及 p(x,z,y)=p(y|x,z)p(z|x)p?(x)，然后去優化 KL(q(x,z,y)‖p(x,z,y))：

等價于最小化：

現在優化的對象有 p(y|x,z),p(z|x),q(x|z)，記 p(1|x,z)=D(x,z)，而 p(z|x) 是一個帶有編碼器E的高斯分布或狄拉克分布，q(x|z) 是一個帶有生成器 G 的高斯分布或狄拉克分布。依然交替優化：先固定 E,G，那么與 D 相關的 loss 為：

跟 VAE 一樣，對 p(z|x) 和 q(x|z) 的期望可以通過“重參數”技巧完成。接著固定 D 來優化 G,E，因為這時候有 E 又有 G，整個 loss 沒得化簡，還是 (37) 那樣。但利用 D 的最優解：

可以轉化為：

由于 q(x|z),p(x|z) 都是高斯分布，事實上后兩項我們可以具體地算出來（配合重參數技巧），但同標準 GAN 一樣，謹慎地訓練，我們可以簡單地去掉后面兩項，得到：

這就是我們導出的 ALI 的生成器和編碼器的 loss，它跟標準的 ALI 結果有所不同。標準的 ALI（包括普通的 GAN）將其視為一個極大極小問題，所以生成器和編碼器的 loss 為：

或：

它們都不等價于 (41)。針對這個差異，事實上筆者也做了實驗，結果表明這里的 ALI 有著和標準的 ALI 同樣的表現，甚至可能稍好一些（可能是我的自我良好的錯覺，所以就沒有放圖了）。這說明，將對抗網絡視為一個極大極小問題僅僅是一個直覺行為，并非總應該如此。

結論綜述

本文的結果表明了變分推斷確實是一個推導和解釋生成模型的統一框架，包括 VAE 和 GAN。通過變分推斷的新詮釋，我們介紹了變分推斷是如何達到這個目的的。

當然，本文不是第一篇提出用變分推斷研究 GAN 這個想法的文章。在《On Unifying Deep Generative Models》一文中，其作者也試圖用變分推斷統一 VAE 和 GAN，也得到了一些啟發性的結果。但筆者覺得那不夠清晰。事實上，我并沒有完全讀懂這篇文章，我不大確定，這篇文章究竟是將 GAN 納入到了變分推斷中了，還是將 VAE 納入到了 GAN 中。相對而言，我覺得本文的論述更加清晰、明確一些。

看起來變分推斷還有很大的挖掘空間，等待著我們去探索。

原文發布時間為：2018-07-19
本文作者：蘇劍林
本文來自云棲社區合作伙伴“PaperWeekly”，了解相關信息可以關注“PaperWeekly”。

總結

以上是生活随笔為你收集整理的全新视角：用变分推断统一理解生成模型（VAE、GAN、AAE、ALI）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。