EAE：自编码器 + BN + 最大熵 = 生成模型
?PaperWeekly 原創 ·?作者｜蘇劍林
單位｜追一科技
研究方向｜NLP、神經網絡
生成模型一直是筆者比較關注的主題，不管是 NLP 和 CV 的生成模型都是如此。
這篇文章里，我們介紹一個新穎的生成模型，來自論文 Batch norm with entropic regularization turns deterministic autoencoders into generative models [1]，論文中稱之為?EAE（Entropic AutoEncoder）。
它要做的事情給變分自編碼器（VAE）基本一致，最終效果其實也差不多（略優），說它新穎并不是它生成效果有多好，而是思路上的新奇，頗有別致感。
此外，借著這個機會，我們還將學習一種統計量的估計方法—— k 鄰近方法，這是一種很有用的非參數估計方法。
自編碼器vs生成模型
普通的自編碼器是一個“編碼-解碼”的重構過程，如下圖所示：
▲ 典型自編碼器示意圖
其 loss 一般為：
當訓練完成后，我們自然可以針對每一幅圖像 x，得到它的編碼 ?z=E(x) 以及重構圖 ，而當 x 與 足夠接近時，我們就可以認為 z 是 x 的有效表征，它已經充分包含了 x 的信息。
那么，生成模型又是什么情況呢？“生成”指的是隨機生成，也就是說允許我們能隨機構建一幅圖像來，對于自編碼器的解碼器 D(z)，并不是每一個 z 解碼出來的? D(z) 都是一幅有意義的圖像，因此普通的自編碼器并不能視為生成模型。
如果我們能夠事先知道所有的x編碼出來的 z=E(x) 所構成的分布，并且這個分布是一個易于采樣分布，那么就可以實現隨機采樣生成了。
所以，從自編碼器到生成模型，缺的那一步就是確定隱變量 z 的分布，更準確來說，是迫使隱變量 z 服從一個易于采樣的簡單分布，比如標準正態分布。VAE 通過引入 KL 散度項來達到這一點，那么 EAE 又是怎么實現的呢？
正態分布與最大熵
我們知道，最大熵原理是一個相當普適的原理，它代表著我們對未知事件的最客觀認知。最大熵原理的一個結論是：
在所有均值為 0、方差為 1 的分布中，標準正態分布的熵最大。
如果讀者還不了解最大熵的相關內容，可以參考舊作《“熵”不起：從熵、最大熵原理到最大熵模型（二）》[2]。
上述結論告訴我們，如果我們能有某種手段保證隱變量的均值為 0 和方差為 1，那么我們只需要同時最大化隱變量的熵，就可以得到“隱變量服從標準正態分布”這個目的了，即：
其中 是超參數，而：
是隱變量 z=E(x) 對應的熵，最小化 意味著最大化 ，即最大熵。
問題是如何保證這兩個約束呢？如果計算隱變量的熵呢？
均值方差約束與BN
先來解決第一個問題：如何達到——至少近似地達到——“隱變量的均值為 0、方差為 1 ”這個約束？因為只有滿足這個約束的前提下，最大熵的分布才是標準正態的。解決這個問題的辦法是我們熟悉的批歸一化，也就是 BN（Batch Normalization）。
在 BN 的訓練階段，我們會直接對每個變量減去其 batch 內的均值并且除以 batch 內標準差，這保證了訓練階段每個 batch 的變量均值確實為 0，方差確實為 1。
然后，它會將每個 batch 內的均值方差滑動平均并緩存下來，用于推斷階段的預測。
總而言之，就是將 BN 應用于隱變量，就可以使得隱變量（近似地）滿足相應的均值方差約束。
此時，我們就得到：
這里的 代表 BN 層。
熵的采樣估計
現在，來到了整個 EAE 模型的最后一部分、同時也是最硬核的一部分了，也就是如何估計熵 H(Z)。理論上來說，為了算 H(Z) 我們需要知道 p(z)，但我們現在只有樣本 而不知道 p(z) 的表達式，在這種前提下對 H(Z) 做的估計叫做非參數估計。
先給結論：
熵的最臨近估計 設 是從 采樣出來的 n 個樣本，記 為 到它最鄰近的樣本的距離，即 ， 是 d 維單位球的體積， 是歐拉常數 [3]，則：
拋開跟優化不相關的常數，上述結論實際上就是說 ，這就是我們需要添加到 loss 的項。
這個看上去很奇怪、實際上確實也不容易理解的結果是怎么得來的呢？事實上，它是一種重要的估計方法—— k 鄰近方法——的經典例子。下面將會給出它的推導過程，該過程參考自論文《A non-parametric k-nearest neighbour entropy estimator》[4]。
讓我們考慮特定的樣本 ，設 是它的第 k 個最鄰近的樣本，即將所有的 按照 從小到大排列，第 k 個就是 ，記 ，我們現在考慮 的概率分布。
假設 ，那么就意味著剩下的 n-1 個樣本之中，有 k-1 個落在了“以 為球心、以 為半徑”的球內，有 n-k-1 個落在了“以 為球心、以 為半徑”的球外，剩下一個夾在兩球之間，不難得到這種情況發生的概率是：
其中 代表著從 n-1 個樣本中挑出 1 個樣本夾在兩球之間的組合數，而 則是從剩下的 n-2 個樣本中挑出 k-1 個樣本放到球內的組合數（剩下的 n-k-1 個自動就在球外了）； 是單個樣本位于球內的概率，即：
所以 是挑出來的 k-1 個樣本都在球內的概率， 是 n-k-1 個樣本都在球外的概率， 則是一個樣本在球間的概率，所有項乘起來就是式（6），而展開并只保留一階項得到近似式：
注意上式描述了一個合理的概率分布，因此它的積分必然為 1。
現在我們可以做個近似假設，值得注意的是，這是整個推導過程的唯一假設，而最終結果的可靠程度也取決于這個假設的成立程度：
其中 就是半徑為 的球的體積，上述假設就是說 p(z) 在半徑為 的球內的均值約等于它在球中心的值，并且積分的有效半徑只有 。根據這個近似我們有 ，或者：
用（8）乘以上式兩端，并對 積分（積分區間為 ，或者等價于對 在? [0,1] 積分）。除 外，其余幾項都是跟 無關，所以積分后依然等于自身，而：
其中 代表著雙伽馬函數（別問我這些積分是怎么算出來的，我也不知道，但我知道用 Mathematica 軟件能把它都算出來）。
于是我們得到近似：
所以最終熵的近似為：
這是比式（5）更一般的結果。事實上式（5）是上式 k=1 時的結果，因為 ，而 ，這些變換公式都可以在維基百科上找到。
開頭就已經提到過，k 鄰近方法是一種很有用的非參數估計方法，它還跟筆者之前介紹過的 IMLE 模型 [5] 有關。但筆者本身也不熟悉 k 鄰近方法，還需要多多學習，目前找到的資料是《Lectures on the Nearest Neighbor Method》[6] 。
此外，關于熵的估計，還可以參考斯坦福的資料《Theory and Practice of Differential Entropy Estimation》[7] 。
進一步思考與分析
有了（5）或（13），式（4）所描述的EAE的loss就完成了，所以 EAE 模型也就介紹完畢了。剩下的是實驗結果，就不詳細介紹了，反正就是感覺生成的圖像跟 VAE 差不多，但指標上更優一些。
▲ 來自EAE論文的實驗對比
▲ 來自EAE論文的效果圖示
那 EAE 相比 VAE 的好處在哪呢？在 VAE 中，比較關鍵的一步是重參數（可以參考筆者的變分自編碼器（一）：原來是這么一回事），就是這一步降低了模型訓練的方差（相比 REINFORCE 方法，可以參考筆者的《漫談重參數：從正態分布到Gumbel Softmax》[8]），從而使得 VAE 可以有效地訓練下去。
然而，雖然重參數降低了方差，但事實上方差依然不小，簡單來說就是重參數這一步帶來較大的噪聲（尤其是訓練早期），導致 decoder 無法很好地利用 encoder 的信息，典型的例子就是將 VAE 用在 NLP 時的“ KL 散度消失”現象。
但是 EAE 基本上不存在這個問題，因為 EAE 基本上就是普通的自編碼器，多加的 BN 不會對自編碼性能有什么影響，而多加的熵正則項原則上也只是增加隱變量的多樣性，不會給編碼信息的利用與重構帶來明顯困難。
筆者認為，這就是 EAE 相對于 VAE 的優勢所在。當然，筆者目前還沒有對 EAE 進行太多實驗，上述分析多為主觀推斷，請讀者自行甄別。如果筆者有進一步的實驗結論，到時會繼續在博客與大家分享。
最后補上一個小結
本文介紹了一個稱之為 EAE 的模型，主要是把 BN 層和最大熵塞進了普通的自編碼器中，使得它具有生成模型的能力。原論文做的不少實驗顯示 EAE 比 VAE 效果更好，所以應該是一個值得學習和試用的模型。
此外，EAE 的關鍵部分是通過 k 鄰近方法來估計熵，這部分比較硬核，但事實上也很有價值，值得對統計估計感興趣的讀者細細閱讀。
參考鏈接
[1] https://arxiv.org/abs/2002.10631
[2] https://kexue.fm/archives/3552
[3]?https://en.wikipedia.org/wiki/Euler%E2%80%93Mascheroni_constant
[4] https://arxiv.org/abs/1506.06501
[5] https://kexue.fm/archives/6394
[6]?https://link.springer.com/book/10.1007/978-3-319-25388-6
[7] https://web.stanford.edu/~yjhan/diff_entropy.pdf
[8]?https://kexue.fm/archives/6705
點擊以下標題查看更多往期內容：?
變分推斷（Variational Inference）最新進展簡述
變分自編碼器VAE：原來是這么一回事
圖神經網絡三劍客：GCN、GAT與GraphSAGE
如何快速理解馬爾科夫鏈蒙特卡洛法？
深度學習預訓練模型可解釋性概覽
ICLR 2020：從去噪自編碼器到生成模型
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結
以上是生活随笔為你收集整理的EAE：自编码器 + BN + 最大熵 = 生成模型的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 科技昨夜今晨 1007：小米 15 等新
- 下一篇： 直播预告 | 旷视科技李彦玮：动态网络及