?PaperWeekly 原創(chuàng) ·?作者 |?蘇劍林

單位 |?追一科技

研究方向 | NLP、神經(jīng)網(wǎng)絡(luò)

在本系列的前面幾篇文章中，我們已經(jīng)從多個(gè)角度來理解了 VAE，一般來說，用 VAE 是為了得到一個(gè)生成模型，或者是做更好的編碼模型，這都是 VAE 的常規(guī)用途。但除了這些常規(guī)應(yīng)用外，還有一些“小眾需求”，比如用來估計(jì) 的概率密度，這在做壓縮的時(shí)候通常會(huì)用到。

本文就從估計(jì)概率密度的角度來了解和推導(dǎo)一下 VAE 模型。

兩個(gè)問題

所謂估計(jì)概率密度，就是在已知樣本 的情況下，用一個(gè)待定的概率密度簇 去擬合這批樣本，擬合的目標(biāo)一般是最小化負(fù)對(duì)數(shù)似然：

但這純粹都只是理論形式，還有諸多問題沒有解決，主要可以歸為兩個(gè)大問題：

1. 用什么樣的 去擬合；

2. 用什么方法去求解上述目標(biāo)。

混合模型

第一個(gè)問題，我們自然是希望 的擬合能力越強(qiáng)越好，最好它有能力擬合所有概率分布。然而很遺憾的是，神經(jīng)網(wǎng)絡(luò)雖然理論上有萬能擬合能力，但那只是擬合函數(shù)的能力，并不是擬合概率分布的能力，概率分布需要滿足 且，后者通常難以保證。

直接的做法做不到，那么我們就往間接的角度想，構(gòu)建混合模型：

其中 通常被選擇為無參數(shù)的簡(jiǎn)單分布，比如標(biāo)準(zhǔn)正態(tài)分布；而 則是帶參數(shù)的、以 為條件的簡(jiǎn)單分布，比如均值、方差跟 相關(guān)的標(biāo)準(zhǔn)正態(tài)分布。

從生成模型的角度來看，上述模型被解釋為先從 中采樣 ，然后傳入? 中生成 的兩步操作。但本文的焦點(diǎn)是估計(jì)概率密度，我們之所以選擇這樣的 ，是因?yàn)樗凶銐虻臄M合復(fù)雜分布的能力，最后的 表示為了多個(gè)簡(jiǎn)單分布 的平均，了解高斯混合模型的讀者應(yīng)該知道，這樣的模型能夠起到非常強(qiáng)的擬合能力，甚至理論上能擬合任意分布，所以分布的擬合能力有保證了。

重要采樣

但式（2）是無法簡(jiǎn)單積分出來的，或者說只有這種無法簡(jiǎn)單顯式地表達(dá)出來的分布，才具有足夠強(qiáng)的擬合能力，所以我們要估計(jì)它的話，都要按照 的方式進(jìn)行采樣估計(jì)。然而，實(shí)際的場(chǎng)景下， 和 的維度比較高，而高維空間是有“維度災(zāi)難”的，這意思是說在高維空間中，我們哪怕采樣百萬、千萬個(gè)樣本，都很難充分地覆蓋高維空間，也就是說很難準(zhǔn)確地估計(jì) 。

為此，我們要想辦法縮小一下采樣空間。首先，我們通常會(huì)將 的方差控制得比較小，這樣一來，對(duì)于給定 ，能夠使得 比較大的 就不會(huì)太多，大多數(shù) 算出來的 都非常接近于零。于是我們只需要想辦法采樣出使得 比較大的 ，就可以對(duì) 進(jìn)行一個(gè)比較好的估計(jì)了。

具體來說，我們引入一個(gè)新的分布 ，假設(shè)使得 比較大的 服從該分布，于是我們有

這樣一來我們將從 “漫無目的”的采樣，轉(zhuǎn)化為從 的更有針對(duì)性的采樣。由于 的方差控制得比較小，所以 的方差自然也不會(huì)大，采樣效率是變高了。注意在生成模型視角下， 被視為后驗(yàn)分布的近似，但是從估計(jì)概率密度的視角下，它其實(shí)就是一個(gè)純粹的重要性加權(quán)函數(shù)罷了，不需要特別詮釋它的含義。

訓(xùn)練目標(biāo)

至此，我們解決了第一個(gè)問題：用什么分布，以及怎么去更好地計(jì)算這個(gè)分布。剩下的問題就是如何訓(xùn)練了。

其實(shí)有了重要性采樣的概念后，我們就不用考慮什么 ELBO 之類的了，直接使用目標(biāo)（1）就好，代入 的表達(dá)式得到：

事實(shí)上，如果 這一步我們通過重參數(shù)只采樣一個(gè) ，那么訓(xùn)練目標(biāo)就變成：

這其實(shí)已經(jīng)就是常規(guī) VAE 的訓(xùn)練目標(biāo)了。如果采樣 個(gè)，那么就是：

這就是“重要性加權(quán)自編碼器”了，出自《Importance Weighted Autoencoders》[1] ，它被視為 VAE 的加強(qiáng)?？偟膩碚f，通過重要性采樣的角度，我們可以繞過傳統(tǒng) VAE 的 ELBO 等繁瑣推導(dǎo)，也可以不用《變分自編碼器（二）：從貝葉斯觀點(diǎn)出發(fā)》所介紹的聯(lián)合分布視角，直接得到 VAE 模型甚至其改進(jìn)版。

文章小結(jié)

本文從估計(jì)樣本的概率密度這一出發(fā)點(diǎn)介紹了變分自編碼器 VAE，結(jié)合重要性采樣，我們可以得到 VAE 的一個(gè)快速推導(dǎo)，完全避開 ELBO 等諸多繁瑣細(xì)節(jié)。

參考文獻(xiàn)

[1] https://arxiv.org/abs/1509.00519

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

📝?稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的再谈变分自编码器（VAE）：估计样本概率密度的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。