MCMC(一)蒙特卡羅方法

　　　　MCMC(二)馬爾科夫鏈

　　　　MCMC(三)MCMC采樣和M-H采樣

　　　　MCMC(四)Gibbs采樣

　　　　在MCMC(三)MCMC采樣和M-H采樣中，我們講到了M-H采樣已經可以很好的解決蒙特卡羅方法需要的任意概率分布的樣本集的問題。但是M-H采樣有兩個缺點：一是需要計算接受率，在高維時計算量大。并且由于接受率的原因導致算法收斂時間變長。二是有些高維數據，特征的條件概率分布好求，但是特征的聯合分布不好求。因此需要一個好的方法來改進M-H采樣，這就是我們下面講到的Gibbs采樣。

1. 重新尋找合適的細致平穩條件

　　　　在上一篇中，我們講到了細致平穩條件：如果非周期馬爾科夫鏈的狀態轉移矩陣PP和概率分布π(x)π(x)對于所有的i,ji,j滿足：

π(i)P(i,j)=π(j)P(j,i)π(i)P(i,j)=π(j)P(j,i)

　　　　則稱概率分布π(x)π(x)是狀態轉移矩陣PP的平穩分布。

　　　　在M-H采樣中我們通過引入接受率使細致平穩條件滿足。現在我們換一個思路。

　　　　從二維的數據分布開始，假設π(x1,x2)π(x1,x2)是一個二維聯合數據分布，觀察第一個特征維度相同的兩個點A(x(1)1,x(1)2)A(x1(1),x2(1))和B(x(1)1,x

總結

以上是生活随笔為你收集整理的Gibbs采样的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。