Variational Inference

思想：用易于計(jì)算的 $Q(Z)$ 來近似后驗(yàn)概率 $P(Z|X)$ ，進(jìn)行推理

Observed variables $X$ and hidden variables $Z$, $X=\{\textbf{x}_1,...,\textbf{x}_N\}$

Hidden variables include parameters and latent variables.

Learning/inference involves finding: $P(Z_1,Z_2,...|X)$

?

\[\ln P(X)=\sum_ZQ(Z) \ln P(X)=\sum_Z Q(Z) \ln \frac{P(Z,X)}{Q(Z)}\cdot \frac{Q(Z)}{P(Z|X)}\\\qquad=\mathcal{L}(Q)+KL(Q||P)\]

\[\mathcal{L}(Q)=\sum_Z Q(Z) \ln \frac{P(Z,X)}{Q(Z)} = \mathbb{E}_Q \ln P(Z,X)+\mathbb{H}(Q)\]

?

直接計(jì)算$P(Z|X)$比較困難，通過比較容易計(jì)算的 $Q(Z)$來逼近 $P(Z|X)$,逼近程度用$KL(Q||P)$來度量

\[\ln Q_j^*(Z_j)=\mathbb{E}_{i\neq j}[\ln P(X,Z)] + const\]

轉(zhuǎn)載于:https://www.cnblogs.com/kuiyuan/archive/2011/08/29/2157953.html

總結(jié)

以上是生活随笔為你收集整理的9. Approximate Inference的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。