Multinomial distribution

將二元分布的二元情況擴展到多元，即可得到對應(yīng)的多元分布。

首先先將伯努利分布擴展到多元假設(shè)對于離散變量xx，可能有KK個取值，那么xx一次的觀測值被表示為一個向量，且滿足∑Kk=1xk=1∑k=1Kxk=1，僅有一個維的值為11，其它都為00。 故xx的概率質(zhì)量函數(shù)為：

p(x|μ)=ΠKk=1μxkkp(x|μ)=Πk=1Kμkxk

μμ也為一個KK維向量。且$p(x{k}=1)=\mu_k ,\sum{k=1}^K\mu_k=1$。對應(yīng)的方差為

E[x|μ]=∑xp(x|μ)x=(μ1,...,μK)T=μE[x|μ]=∑xp(x|μ)x=(μ1,...,μK)T=μ

經(jīng)過NN次觀察得到數(shù)據(jù)集DD，則對應(yīng)的似然函數(shù)為

p(D|μ)=ΠNn=1ΠKk=1μxnkk=ΠKk=1μ(∑nxnk)k=ΠKk=1μmkkp(D|μ)=Πn=1NΠk=1Kμkxnk=Πk=1Kμk(∑nxnk)=Πk=1Kμkmk

其中mk=∑nxnkmk=∑nxnk表示觀測NN次，其中觀測值為第kk個的次數(shù)。它也是該分布的充分估計量。通過最大似然法估計μμ，考慮到似然函數(shù)和μμ的約束，所以利用了拉格朗日乘子法：

∑kmklnμk+λ∑Kk=1(μk?1)∑kmklnμk+λ∑k=1K(μk?1).

通過對上式求導(dǎo)可得

μk=?mkλμk=?mkλ

由∑Kk=1μk=1∑k=1Kμk=1，可得λ=?Nλ=?N,所以μk=mkNμk=mkN。

m1,m2,…,mKm1,m2,…,mK的分布即為multinomial分布，paf為：

Multi(m1,m2,...,mK|μ,N)=Cm1NCm2N?m1...CmKmKΠKk=1μmkkMulti(m1,m2,...,mK|μ,N)=CNm1CN?m1m2...CmKmKΠk=1Kμkmk

Dirichlet分布

和Beta分布相同，狄利克雷分布也是在多元情況下用來描述μμ的先驗分布，所以它也具有共軛性質(zhì)，具有和似然函數(shù)相同的形式，它的pdf為：

Dir(μ|a)=Γ(a0)Γ(a1)...Γ(aK)ΠKk=1μak?1kDir(μ|a)=Γ(a0)Γ(a1)...Γ(aK)Πk=1Kμkak?1

上式中a0=∑Kk=1aka0=∑k=1Kak。aa也是一個向量，它是描述狄利克雷分布的超參數(shù)。

將似然概率和先驗概率相乘，可得

p(μ|D,a)∝p(D|μ)p(μ|a)∝ΠKk=1μak+mk?1kp(μ|D,a)∝p(D|μ)p(μ|a)∝Πk=1Kμkak+mk?1

可知后驗概率仍舊是狄利克雷分布，故可得?p(μ|D,a)=Dir(μ|a)=Γ(a0+N)Γ(a1+m1)...Γ(aK+mK)ΠKk=1μak+mk?1kp(μ|D,a)=Dir(μ|a)=Γ(a0+N)Γ(a1+m1)...Γ(aK+mK)Πk=1Kμkak+mk?1

可以將akak視為對于xk=1xk=1的次數(shù)的簡單的先驗估計。

from:?http://bucktoothsir.github.io/blog/2015/11/17/multinomialanddirichlet/

總結(jié)

以上是生活随笔為你收集整理的多元分布和狄利克雷分布的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。