1?齊次馬爾可夫鏈（一階馬爾可夫鏈）

?

1.1 馬爾可夫性質

????????換句話說，未來與過去無關，只和當下息息相關。?

1.2 馬爾可夫鏈

????????具有馬爾可夫性的隨機序列 稱為馬爾可夫鏈（Markov Chain），或馬爾可夫過程（Markov Process）。條件概率分布P稱為馬爾可夫鏈的轉移概率分布。

1.3 時間齊次馬爾可夫鏈

?2 概率轉移矩陣

?（每一行的和為1）

?2.1 用概率轉移矩陣說明馬爾可夫鏈最終收斂

????????可以 證明的是，經過若干步的迭代，在某一步之后，馬爾可夫鏈最終會進入平穩分布（進入平穩狀態之前，狀態空間是一樣的，但是各個狀態的概率分布是不一樣的）

?

t+1時刻狀態為j的概率，等于t時刻個狀態的概率*相應的轉換概率，然后求和

?

所以?

?????????而隨機矩陣，也就是狀態轉移矩陣，有一個性質（這里不加證明，了解就好），就是特征值的絕對值小于等于1

? ? ? ? 所以我們對隨機矩陣Q進行特征值分解的話，有：，其中特征矩陣滿足：

? ? ? ? ?我們假設只有某一個λi=1，其他的λ都小于1，那么存在足夠大的m，使得?（比1小的那些特征值，經過多輪乘方之后，趨近于1）?

? ? ? ? 由于前面我們推到

? ? ? ? 所以對m+1，我們有：

? ? ? ? 于是，對m+2，我們有：

?這里有一個小trick'，就是因為，所以中也是有λ為1的那一個為不為0（其他位都是0乘0，或者0乘一個數），所以

所以

同樣地，我們可以得到：

?也就是，在第m步之后，各個狀態的狀態分布是一樣的，也就是馬爾可夫鏈趨近于平穩狀態

?3 狀態分布

?

根據狀態轉移，我們有：?也就是說，t+1時刻的狀態i的概率，等于t時刻各個狀態的概率，乘以相應的轉移概率

其中所有的的和為1

p(x-> i) ，更專業一點的寫法是條件概率p(i|x)

?4 平穩分布

?????????直觀地來看，如果以該平穩分布作為初始分布，面向未來進行隨機狀態轉移，之后任何一個時刻的狀態分布都是該平穩分布。【任何時刻，各個狀態的概率分布是一樣的】

?上一節我們有：

而平穩分布的時候則和t沒有關系了可以寫成?

? ? ? ? 而MCMC的思路，就是通過設計一個馬爾可夫鏈，使得它可以達到平穩分布，同時平穩分布時候的概率分布Π等于我們需要的采樣概率分布p(x)

4.1 detailed balance

4.2 如果滿足detailed balance，那么一定平穩分布

?所以，這也就是平穩分布的式子

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的MCMC笔记：齐次马尔可夫链的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。