MCMC(一)蒙特卡羅方法

　　　　MCMC(二)馬爾科夫鏈

　　　　MCMC(三)MCMC采樣和M-H采樣

　　　　MCMC(四)Gibbs采樣

　　　　在MCMC(三)MCMC采樣和M-H采樣中，我們講到了M-H采樣已經(jīng)可以很好的解決蒙特卡羅方法需要的任意概率分布的樣本集的問題。但是M-H采樣有兩個缺點：一是需要計算接受率，在高維時計算量大。并且由于接受率的原因?qū)е滤惴ㄊ諗繒r間變長。二是有些高維數(shù)據(jù)，特征的條件概率分布好求，但是特征的聯(lián)合分布不好求。因此需要一個好的方法來改進M-H采樣，這就是我們下面講到的Gibbs采樣。

1. 重新尋找合適的細致平穩(wěn)條件

　　　　在上一篇中，我們講到了細致平穩(wěn)條件：如果非周期馬爾科夫鏈的狀態(tài)轉(zhuǎn)移矩陣PP和概率分布π(x)π(x)對于所有的i,ji,j滿足：

π(i)P(i,j)=π(j)P(j,i)π(i)P(i,j)=π(j)P(j,i)

　　　　則稱概率分布π(x)π(x)是狀態(tài)轉(zhuǎn)移矩陣PP的平穩(wěn)分布。

　　　　在M-H采樣中我們通過引入接受率使細致平穩(wěn)條件滿足?，F(xiàn)在我們換一個思路。

　　　　從二維的數(shù)據(jù)分布開始，假設(shè)π(x1,x2)π(x1,x2)是一個二維聯(lián)合數(shù)據(jù)分布，觀察第一個特征維度相同的兩個點A(x(1)1,x(1)2)A(x1(1),x2(1))和B(x(1)1,x

總結(jié)

以上是生活随笔為你收集整理的Gibbs采样的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。