Dirichlet分布與多項分布的共軛性

• 二項分布與Beta分布的共軛性
• Dirichlet分布與多項分布的共軛性

關于多項分布與Dirichlet分布的基礎可以參考：
UA MATH564 概率論 多項分布
UA MATH564 概率論 Dirichlet分布

二項分布與Beta分布的共軛性

因為多項分布與Dirichlet分布分別是二項分布與Beta分布從一元到多元的推廣，所以在探討多項分布與Dirichlet分布的共軛性之前，我們有必要先看看二項分布與Beta分布的共軛性：

假設$N～Binom(n,p)$，其中$p～Beta(\alpha ,\beta )$，則
$$\begin{gathered} \pi (p|N=m)=\frac{\pi (N=m|p)\pi (p)}{m(N=m)} \\ =\frac{C_n^m(1?p{)}^{n?m}{p}^m\Gamma (\alpha +\beta )p^{\alpha ?1}(1?p{)}^{\beta ?1}}{\Gamma (\alpha )\Gamma (\beta ){\int }_0^1\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{C}_n^m(1?p{)}^{n?m}{p}^m{p}^{\alpha ?1}(1?p{)}^{\beta ?1}dp} \\ \propto p^{m+\alpha ?1}(1?p{)}^{n?m+\beta ?1} \end{gathered}$$

這是Beta分布的kernel，因此
$$p|N=m～Beta(\alpha +m,\beta +n?m)$$

Dirichlet分布與多項分布的共軛性

假設隨機向量$X=(X_1,?,X_d)$服從多項分布$MN(n,p)$，其中$p=(p_1,?,p_d{)}^T$，并且$p～Dir(\alpha )$，其中$\alpha =({\alpha }_1,?,{\alpha }_d{)}^T$；
$$P(X=x|p)=\frac{n!}{x_1!?x_d!}\prod _{i=1}^d{p}_i^{x_i},x\in {\Delta }^{d?1}$$

其中$x_1+?+x_d=n$，且所有的$x_i$都是非負整數；
$$\pi (p)=\frac{\Gamma ({\sum }_{i=1}^d{\alpha }_i)}{{\prod }_{i=1}^d\Gamma ({\alpha }_i)}\prod _{i=1}^d{p}_i^{{\alpha }_i}$$

且$p\in {\Delta }^{d?1}$，
$${\Delta }^{d?1}=\{x\in {\mathbb{R}}^d:x_1+?+x_d=1,x\ge 0\}$$

于是
$$\pi (p|X=x)\propto P(X=x|p)\pi (p)\propto \prod _{i=1}^d{p}_i^{{\alpha }_i+x_i}$$

因此
$$p|X=x～Dir(\alpha +x)$$

后驗均值為
$$E[p_i|X]=\frac{{\alpha }_i+x_i}{n+{\sum }_{i=1}^d{\alpha }_i},i=1,?,d$$

總結

以上是生活随笔為你收集整理的Dirichlet分布与多项分布的共轭性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。