1 介紹

吉布斯采樣是一種特殊的MH采樣

MCMC筆記Metropilis-Hastings算法（MH算法）_UQI-LIUWJ的博客-CSDN博客

此時我們要采樣的分布是一個高維的情況

吉布斯采樣的思想就是一維一維地進行采樣，采某一個維度的時候固定其他的維度

吉布斯采樣有一個假定條件，那就是雖然高維采樣可能不太好采，但是一維采樣比較好采。如果這個假設不成立，那么吉布斯采樣也就不可行

用數學表達式描述，即為：

?1.1 采樣過程

假設有三個維度

• 我們先初始化各個維度第一個被采樣的值
• ?然后按照如下的規則進行迭代：

2 吉布斯算法是特殊的MH算法

? ? ? ? 在MCMC筆記Metropilis-Hastings算法（MH算法）_UQI-LIUWJ的博客-CSDN博客中，我們知道了MH算法的接受率α為：

????????

????????其中 Z?代表吉布斯采樣中的t?時刻，而 Z*?代表?t+1時刻。

? ? ? ? MH算法可知此時的馬爾可夫鏈是處于平穩狀態。

? ? ? ? 假設我們此時采樣的是第i維，那么對于非第i維的部分,，概率分布不變

? ? ? ? 于是我們有

????????于此同時，此時的Q就是其他狀態向的轉移概率，即

?于是吉布斯算法的接受率為：

?

?而由于，所以上式可以轉換為1

?說明吉布斯采樣是特殊的MH采樣，同時采樣效率也比MH高（MH比接受率大的部分的樣本是不采的）

?參考資料：

機器學習-白板推導系列(十三)-MCMC（Markov Chain Monte Carlo）_嗶哩嗶哩_bilibili

機器學習-白板推導系列(十三)-MCMC（Markov Chain Monte Carlo）筆記 - 知乎 (zhihu.com)

????????

總結

以上是生活随笔為你收集整理的MCMC笔记：吉布斯采样（Gibbs）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。