机器学习笔记：ＶＡＥ
1 VAE 介紹
?????????在機(jī)器學(xué)習(xí)筆記：auto encoder_UQI-LIUWJ的博客-CSDN博客 中，我們知道了auto-encoder。但是auto-encoder有一個(gè)不足之處，就是因?yàn)閍uto-encoder不是一個(gè)概率模型，所以沒法從學(xué)習(xí)的模型中生成新的數(shù)據(jù)，或者說我們train了一個(gè)模型，得到的輸出是固定不變的。
? ? ? ? 在這種情況下VAE就誕生了：它可以
1）從原始數(shù)據(jù)中學(xué)習(xí)特征表示向量z
2）可以從模型中生成新的數(shù)據(jù)
????????作用（2）是auto-encoder中所不具備的
?2 decoder介紹
訓(xùn)練完成后，decoder可以是這樣的：
????????我們知道z的先驗(yàn)概率，decoder又學(xué)習(xí)了一個(gè)從z到x的條件概率，那么我們就可以求得x的概率，然后進(jìn)行采樣即可
?
????????更進(jìn)一步說，decoder需要學(xué)習(xí)到x|z的均值和方差，這樣才可以預(yù)測p(x|z)
?
?2.1 decoder 訓(xùn)練
那么，如何訓(xùn)練這個(gè)模型呢？基本想法是最大化數(shù)據(jù)的概率?
?
?其中的計(jì)算可以由下獲得：
- 是由decoder獲得
- 是由z的先驗(yàn)概率求得（我們這里認(rèn)為z滿足高斯分布）
- ?至于，我們可以由encoder獲得
?3 encoder 與 decoder
于是我們有：
?
4 目標(biāo)函數(shù)推導(dǎo)
?（貝葉斯法則）?
????????????????????????（分子分母同乘）
????????????????????????（log的規(guī)則）
而我們知道，x最終的分布和z是無關(guān)的。因此有：
?
?于是：
（取期望）
? ? ? ? ? ? ? ? ? ? ? ??
?（KL散度見：NTU 課程 CE7454:信息論概述_UQI-LIUWJ的博客-CSDN博客?）?
?而因?yàn)镵L散度是大于等于0的，所以我們可以去掉最后一項(xiàng)，這樣可以得到一個(gè)下界：
分別是encoder學(xué)習(xí)的效果和decoder學(xué)習(xí)的效果?
?5?VAE舉例
?
?從 encoder的輸出（均值，方差）到decoder的輸入的過程，是一個(gè)采樣的過程；decoder的輸出也是一個(gè)采樣的過程，因此每一次VAE的輸出都不一樣。這樣就可以生成不同的新數(shù)據(jù)了
?6 VAE的流程
6.1 training
我們一步一步再看一遍：
?
?
?
?
?
?
通過最大化的概率，對encoder和decoder的參數(shù)進(jìn)行優(yōu)化
?6.2 generating data
?
?
?
?
?
????????????????????????
?
?
?
?
?
?
?
總結(jié)
以上是生活随笔為你收集整理的机器学习笔记：ＶＡＥ的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 机器学习笔记：auto encoder
- 下一篇： 概率统计笔记： 卡方分布（介绍）