前言

譯自:《Training Restricted Boltzmann Machines: An Introduction 》

馬爾科夫鏈在RBM的訓練中占據重要地位，因為它提供了從復雜的概率分布(比如馬爾科夫隨機場MRF的吉布斯分布)中提取樣本。這一部分主要就是對馬爾科夫鏈做個基本的理論介紹，將要著重強調的是，將吉布斯采樣作為一種馬爾科夫鏈蒙特卡洛方法去訓練馬爾科夫隨機場以及訓練RBM。

馬爾科夫鏈

一個馬爾科夫鏈是離散時間的隨機過程，系統的下一個狀態僅僅依賴當前的所處狀態，與在它之前發生的事情無關。形式上，一個馬爾科夫鏈是一組隨機變量X={X(k)|k∈N0}，取值是一個有限集Ω，而且對于?k≥0以及?j,i,i0,?,ik?1∈Ω都有

p(k)ij=Pr(X(k+1)=j|X(k)=i,X(k?1)=ik?1,?,X(0)=i0)=Pr(X(k+1)=j|X(k)=i)
上式中表達出的‘無記憶’隨機過程經常也被稱為 馬爾科夫特性 ，如果對于所有 k≥0的時間點， p(k)ij都有相同的 pij(轉移概率不會隨著時間而改變)，這個鏈達到了穩態(homogeneous)，矩陣 P=(pij)i,j∈Ω稱為穩態馬爾科夫鏈的轉移矩陣。

如果初始分布μ(0)(即X(0)的概率分布)是由概率向量μ(0)=(μ(0)(i))i∈Ω給出的，其中μ(0)(i)=Pr(X(0)=i)，那么X(k)的分布μ(k)是由μ(k)T=μ(0)TPk給出的。

對于πT=πTP中的π，則稱為穩態分布，如果馬爾科夫鏈在k時刻達到穩態分布μ(k)=π，那么所有的后續狀態都是相同分布，也就是說對于所有的n∈N都有μ(k+n)=π。關于馬爾科夫鏈的分布π為穩態分布的一個充分不必要條件是，對于轉移概率pij,i,j∈Ω中?i,j∈Ω都有

π(i)pij=π(j)pji
這就稱為細致平穩條件(detailed balanced condition)

對于馬爾科夫鏈，存在唯一的一個穩態分布。這就是在有限狀態空間Ω中，馬爾科夫鏈不可約的案例。不可約的意思就是任何一個狀態都能通過其它狀態的有限次轉移得到，公式表示就是，?i,j∈Ω?k>0都有Pr(X(k)=j|X(0)=i)>0

如果鏈上所有的狀態都是無規律發生的，就稱為非周期性。公式表示就是，對于?i∈Ω，集合k∈N0|Pr(X(k)=i|X(0)=i)>0的所有元素的最大公約數是1。在有限狀態空間中的，不可約，非周期性的馬爾科夫鏈能夠保證收斂到一個穩態分布。假設有限狀態空間中有兩個分布α和β，變量距離可以被定義為

dV(α,β)=12|α?β|=12∑x∈Ω|α(x)?β(x)|
為了方便標記，我們讓行和列的概率向量作為上式的函數自變量，這樣我們就有如下定理

假設π是有限狀態空間中的，不可約非周期的馬爾科夫鏈的穩態分布，轉移概率矩陣為P,對于任意的初始分布μ都有

>limk→∞dV(μTPk,πT)=0>

馬爾科夫鏈蒙特卡洛方法，利用收斂定律，通過建立一個收斂到期望分布的馬爾科夫鏈，然后從概率分布中生成樣本。假設你想從具有有限狀態空間的分布q中進行采樣，隨后就應該建立一個不可約、非周期的馬爾科夫鏈，而且它的穩態分布π=q。這是一個非平凡問題(non-trivial task)。如果k足夠大，那么從馬爾科夫鏈中重構X(k)的狀態x(k),就會逼近與π中的一個樣本,也是q中的。吉布斯采樣就是這樣一種馬爾科夫鏈蒙特卡洛MCMC方法。

吉布斯采樣

吉布斯采樣是一種簡單的MCMC方法，從多元隨機變量的聯合概率分布中產生樣本。最基本的想法就是，依據條件分布更新每一個變量，而條件分布的條件就是給定除此變量以外的其它變量的狀態，如此構造一個馬爾科夫鏈。隨后我們將描述，如何從一個馬爾科夫隨機場MRF的吉布斯分布中，利用吉布斯采樣生成(近似)樣本。

我們假設一個馬爾科夫隨機場為X=(X1,?,XN)，即一個無向圖模型G=(V,E)，其中V={1,?,N}是為了做更清楚的標記。隨機變量Xi,i∈V在有限集Λ中取值，并且π(x)=1Ze?ε(x)是X的聯合概率分布。此外，如果我們假設馬爾科夫隨機場隨著時間改變狀態，就可以將X={X(k)|k∈N0}當做從Ω=ΛN中取值的馬爾科夫鏈。那么X(k)=(X(k)1,?,X(k)N)就描述了一個馬爾科夫隨機場在時刻k≥0的狀態。在接下來的兩個后繼時間節點中，鏈上新狀態的產生都需要經過以下步驟

從概率q(i)中隨機挑選一個變量Xi,i∈V，這里的概率q(i)是由V中的嚴格為正的概率分布q給出的。

X(i)的新狀態就是給定其它所有變量(Xv)v∈V?i的狀態(xv)v?i，然后基于其條件概率分布采樣得到的。依據條件隨機場的局部馬爾卡夫特性有π(xi|(xv)v∈V?i)=π(xi|(xw)w∈?i)。馬爾科夫隨機場的兩個狀態x,y,x≠y的轉移概率pxy是

pxy={q(i)π(yi|(xv)v∈V?i),0,if??i∈Vso?that??v∈Vwith?v≠i:xv=yv)else
馬爾科夫隨機場x的狀態保持一致的概率，即pxx=∑i∈Vq(i)π(xi|(xv)v∈V?i)

吉布斯鏈的收斂：為了證明由這些轉移概率定義的馬爾科夫鏈(因而被稱作吉布斯連)，收斂到馬爾科夫隨機場的聯合分布π，我們需要證明π是吉布斯鏈的穩態分布，而且這個鏈是不可約非周期的。

從細致平穩條件中，很容易發現π是穩態分布：如果x和y在多個隨機變量數值上有差異，就遵循一個事實pxy=Pyx=0。假設x和y僅僅在一個確定的變量Xi上的狀態不同，比如當j≠i的時候yj=xj且yi≠xi ,那么

π(x)pxy=π(x)q(i)π(yi|(xv)v∈V?i)=π(xi,(xv)v∈V?i)q(i)π(yi,(xv)v∈V?i)π((xv)v∈V?i)=π(yi,(xv)v∈V?i)q(i)π(xi,(xv)v∈V?i)π((xv)v∈V?i)=π(y)q(i)π(xi|(xv)v∈V?i)=π(y)pyx
這樣就滿足了細致平穩條件，而且 π就是平穩分布。

因為π是嚴格為正的，因而是單一變量的條件概率分布。這就意味著，每個單一變量Xi在一個單一的轉移步驟中，可以取每一個狀態xi∈Λ，而且整個馬爾科夫隨機場中的每個狀態都能經過有限步驟轉移到ΛN的任何其它狀態。因此馬爾科夫鏈就是不可約的。此外，對于所有的x∈ΛN，因為它還服從正的條件分布pxx>0，，所以這個馬爾科夫鏈也是非周期的。不可約和非周期性就保證了鏈能夠收斂到穩態分布π

實際中，單個隨機變量不是基于分布q隨機選擇更新的，而是有一個固定的預定義順序。對應的算法經常依賴于周期吉布斯采樣器periodic Gibbs sampler。如果P是吉布斯鏈的轉移矩陣，周期吉布斯采樣器到馬爾科夫隨機場的穩態分布的收斂率，其界限可以使用下列不等式定義：

|μPk?π|≤12|μ?π|(1?e?NΔ)k
其中 Δ=supl∈Vδl，而且 δl=sup{|ε(x)?ε(y)|;xi=yi??i∈V?with?i≠l},其中 μ是任意的起始分布， 12|μ?π|是變量距離。這里有一個符號叫做 sup，表示數理統計中的 格里文科(Gelivenko)定理

吉布斯采樣和梅特羅波利斯哈斯廷斯算法 吉布斯采樣屬于梅特羅波利斯哈斯廷斯采樣算法的一個更廣泛的類別。這一類中所有的MCMC算法都利用兩個步驟生成馬爾科夫鏈的轉移：

隨機挑選一個候選狀態，稱為提議分布proposal distribution

候選狀態根據一個接受概率acceptance probability，轉移到馬爾科夫鏈上的一個新狀態，保證細致平穩條件

吉布斯采樣的提議分布經常是翻轉單個隨機變量的當前狀態，建議狀態的接受概率就是一個條件概率，其條件就是給定的其它隨機變量狀態。

從易辛模型Ising Model中采樣時，采樣的提議分布(翻轉狀態)結合了接受概率 min(1,π(x′)π(x))，其中x代表當前狀態，x′代表馬爾科夫鏈上的新狀態。

總結

以上是生活随笔為你收集整理的马尔科夫链和马尔科夫链蒙特卡洛方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。