根植于统计力学的随机方法
1 引言
統(tǒng)計力學的主題圍繞對大系統(tǒng)宏觀平衡態(tài)性質的形式化研究，而系統(tǒng)的每個基本元素遵循力學的微觀定律。統(tǒng)計力學的主要目標是從微觀元素推導出宏觀物體的熱力學性質。
系統(tǒng)越有序或者它的概率分布越集中，則熵越小。
2 統(tǒng)計力學
考慮具有許多自由度的物理系統(tǒng)，它可以駐留在大量可能狀態(tài)中的任何一個。例如，用pip_ipi?表示一個隨機系統(tǒng)中狀態(tài)iii發(fā)生的概率：
(式1)pi≥0，對于所有ip_i \geq0，對于所有i \tag{式1}pi?≥0，對于所有i(式1)
且
(式2)∑ipi=1\sum _i p_i = 1 \tag{式2}i∑?pi?=1(式2)
用EiE_iEi?表示系統(tǒng)在狀態(tài)iii時的能量，統(tǒng)計熱力學基本結論告訴我們，當系統(tǒng)和它周圍的環(huán)境處于熱平衡時，一個基本的結果是狀態(tài)iii發(fā)生的概率如下：
(式3)pi=1Zexp(?EikBT)p_i = \frac{1}{Z} exp(-\frac{E_i}{k_B T}) \tag{式3}pi?=Z1?exp(?kB?TEi??)(式3)
其中TTT為開爾文絕對溫度，kBk_BkB?為Boltzmann常數(shù)，Z為與狀態(tài)無關的常數(shù)，將式2的定義代入式3中得到
(式4)Z=∑iexp(?EikBT)Z = \sum _i exp(-\frac{E_i}{k_B T}) \tag{式4}Z=i∑?exp(?kB?TEi??)(式4)
規(guī)范化量Z稱為狀態(tài)或者剖分函數(shù)。式3的概率分布稱為典型分布或者Gibbs分布；指數(shù)因子（?Ei/kBT-E_i/k_B T?Ei?/kB?T）稱為Boltzmann因子。
對于Gibbs分布：
（1）能量低的狀態(tài)比能量高的狀態(tài)發(fā)生的概率高；
（2）隨著溫度T降低，概率集中在低能狀態(tài)的一個更小的子集上。
溫度T可以視為一種偽溫度，它控制神經(jīng)元"突觸噪聲"的熱波動。將常數(shù)KBK_BKB?為單位1而重新度量之，因此可以重新定義概率pip_ipi?和剖分函數(shù)Z如下：
(式5)pi=1Zexp(?EiT)p_i = \frac{1}{Z} exp(- \frac{E_i}{T} ) \tag{式5}pi?=Z1?exp(?TEi??)(式5)
和
(式6)Z=∑exp(?EiT)Z = \sum exp(- \frac{E_i}{T}) \tag{式6}Z=∑exp(?TEi??)(式6)
T可以簡單稱為系統(tǒng)溫度，
自由能量和熵
物理系統(tǒng)的Helmholtz自由能量記為F，由剖分函數(shù)定義如下：
(式7)F=?Tlog?ZF = - T\log Z \tag{式7}F=?TlogZ(式7)
系統(tǒng)的平均能量定義為：
(式8)<E>=∑ipiEi<E> = \sum_i p_i E_i \tag{式8}<E>=i∑?pi?Ei?(式8)
<.><.><.>表示總體平均運算，可以看出平均能量和自由能量之差為：
(式9)<E>?F=?T∑ipilog?pi<E> - F=-T \sum_i p_i \log p_i \tag{式9}<E>?F=?Ti∑?pi?logpi?(式9)
式子右邊忽略溫度T，稱為系統(tǒng)的熵，表示為：
(式10)H=?∑ipilog?piH = - \sum_i p_i \log p_i \tag{式10}H=?i∑?pi?logpi?(式10)
因此式9可以重寫為
<E>?F=TH<E> -F = TH<E>?F=TH
或等價于
(式11)F=<E>?THF = <E> - TH \tag{式11}F=<E>?TH(式11)
若兩個系統(tǒng)AAA和A′A 'A′彼此熱接觸，假設系統(tǒng)AAA比系統(tǒng)A′A'A′更小，這樣A′A'A′可以看作具有恒溫T的熱存儲器，兩個系統(tǒng)的總熵趨于依照關系式：
ΔH+ΔH′≥0\Delta H + \Delta H'\geq 0ΔH+ΔH′≥0
指系統(tǒng)FFF的自由能量逐漸降低至平衡態(tài)時變?yōu)樽钚 ＜礊樽钚∽杂赡芰吭瓌t：
隨機系統(tǒng)變元的自由能量的最小值在熱平衡時達到，此時系統(tǒng)服從Gibbs分布，自然偏愛具有最小自由能量的物理系統(tǒng)。
3 馬爾可夫鏈
考慮由多個隨機變量組成的系統(tǒng)，其演化可由一個隨機過程描述，隨機變量XnX_nXn?在時刻n取值xnx_nxn?稱為系統(tǒng)在n時刻的狀態(tài)。隨機變量所有可能的值構成的空間稱為系統(tǒng)的狀態(tài)空間。如果隨機過程{Xn,n=1,2,...}\lbrace X_n,n =1,2,... \rbrace{Xn?,n=1,2,...}的構造使得Xn+1X_{n+1}Xn+1?的條件概率分布僅依靠于XnX_nXn?的值而與其他以前的值無關，稱這個過程為馬爾可夫鏈。更準確地說，我們有
(式12)P（Xn+1=xn+1∣Xn=xn,...,X1=x1）=P（Xn+1∣Xn=xn）P（X_{n+1} = x_{n+1}|X_n = x_n,...,X_1 = x_1）= P（X_{n+1}|X_n = x_n） \tag{式12}P（Xn+1?=xn+1?∣Xn?=xn?,...,X1?=x1?）=P（Xn+1?∣Xn?=xn?）(式12)
這稱之為馬爾可夫特性。換句話說：
如果系統(tǒng)在n+1n+1n+1時刻出現(xiàn)狀態(tài)xn+1x_{n+1}xn+1?的概率僅依賴于系統(tǒng)在n時刻出現(xiàn)狀態(tài)xnx_nxn?的概率，則隨機變量序列X1,X2,X3...,Xn,Xn+1X_1,X_2,X_3...,X_n,X_{n+1}X1?,X2?,X3?...,Xn?,Xn+1?稱為馬爾可夫鏈。
轉移概率
在馬爾可夫鏈中，從一個狀態(tài)到另一個狀態(tài)的轉移是隨機的，但輸出符合卻是確定的。令
(式13)pij=P（Xn+1=j∣Xn=i）p_{ij} = P（X_{n+1} = j|X_n = i） \tag{式13}pij?=P（Xn+1?=j∣Xn?=i）(式13)
表示在n時刻狀態(tài)iii轉移到n+1n+1n+1時刻狀態(tài)j的轉移概率。既然pijp_{ij}pij?為條件概率，所有的轉移概率必須滿足兩個條件：
(式14)pij≥0,對于所有的i，jp_{ij} \geq 0, 對于所有的i，j \tag{式14}pij?≥0,對于所有的i，j(式14)
(式15)∑jpij=1，對于所有的i\sum_j p_{ij } = 1，對于所有的i \tag{式15}j∑?pij?=1，對于所有的i(式15)
將假定轉移是固定的，不隨時間改變，即式13所有時間n成立，在這種情況下，馬爾可夫鏈稱為關于時間是齊次的。
若系統(tǒng)具有有限數(shù)目的可能狀態(tài)，例如K個狀態(tài)，則轉移概率構成一個KXKK X KKXK的矩陣
(式16)P=∣p11p12...p1kp21p22...p2k....pk1pk2...pkk∣P = \begin{vmatrix} p_{11} &p_{12} & ... &&p_{1k} \\p_{21} &p_{22} & ... &&p_{2k} \\ &....\\\\ p_{k1} &p_{k2} & ... &&p_{kk} \\ \end{vmatrix} \tag{式16}P=∣∣∣∣∣∣∣∣∣∣?p11?p21?pk1??p12?p22?....pk2??.........??p1k?p2k?pkk??∣∣∣∣∣∣∣∣∣∣?(式16)
它的元素滿足式14和式15所述的條件。而后一條件就是P的每行的和為1.這種類型的矩陣稱為隨機矩陣。任何隨機矩陣可以作為轉移概率矩陣。
令pij(m)p_{ij}^{(m)}pij(m)?表示從狀態(tài)iii到狀態(tài)jjj的m步轉移概率：
(式17)pij(m)=P(Xn+m=xj∣Xn=xi)，m=1,2,...p_{ij}^{(m)} = P(X_{n+m} = x_j|X_n = x_i)，m=1,2,... \tag{式17} pij(m)?=P(Xn+m?=xj?∣Xn?=xi?)，m=1,2,...(式17)
(式18)pij(m+1)=∑kpik(m)pkj，m=1,2,...p_{ij}^{(m+1)} = \sum_k p_{ik}^{(m)}p_{kj}，m =1,2,... \tag{式18}pij(m+1)?=k∑?pik(m)?pkj?，m=1,2,...(式18)
(式19)pij(m+m)=∑kpik(m)pkj(n)，m=1,2,...p_{ij}^{(m+m)} = \sum_k p_{ik}^{(m)}p_{kj}^{(n)}，m =1,2,... \tag{式19}pij(m+m)?=k∑?pik(m)?pkj(n)?，m=1,2,...(式19)
馬爾可夫鏈的詳細說明
(1) 一個由如下項目定義的隨機模型：
有限K可能狀態(tài)，表示為S={1，2，…K}。
一些列相應的概率{pijp_{ij}pij?}，其中pijp_{ij}pij?為從狀態(tài)iii到jjj的狀態(tài)轉移概率，并且滿足
pij≥0p_{ij} \geq 0pij?≥0
∑jpij=1，對于所有的i\sum_j p_{ij } = 1，對于所有的i j∑?pij?=1，對于所有的i
(2) 給定已描述的隨機模型，馬爾可夫鏈是由下列一系列的隨機變量X0,X1,X2,....X_0,X_1,X_2,....X0?,X1?,X2?,....所給定，其中他們的值根據(jù)相應的馬爾可夫特征取值于狀態(tài)S：
P(Xn+1=j∣Xn=i,Xn?1,....,X0=i0)=P(Xn+1=j∣Xn=i)P(X_{n+1} = j|X_n=i,X_{n-1},....,X_0=i_0) =P(X_{n+1} = j|X_n = i)P(Xn+1?=j∣Xn?=i,Xn?1?,....,X0?=i0?)=P(Xn+1?=j∣Xn?=i)
常返性
假設一個馬爾可夫鏈從狀態(tài)iii開始，它以概率1返回狀態(tài)i，則稱狀態(tài)i為常返的，也就是說
pi=P(狀態(tài)i的每一個返回）=1p_i = P(狀態(tài)i的每一個返回）=1pi?=P(狀態(tài)i的每一個返回）=1
若狀態(tài)pi<1p_i<1pi?<1,則稱狀態(tài)iii為瞬態(tài)。
如果馬爾可夫鏈從一常態(tài)開始，則該狀態(tài)在時間上將無窮次重現(xiàn)，如果從一瞬態(tài)開始，它將只能有限次重現(xiàn)
周期性
上圖顯示一個具有常返態(tài)的馬爾可夫鏈，此鏈經(jīng)過一系列子態(tài)，經(jīng)過三倍次移動后以相同子態(tài)結束。圖示說明這個常返的馬爾可夫鏈具有周期性。
不可約馬爾可夫鏈
遍歷馬爾可夫鏈
4 Metroplis算法
5 模擬退火
6 Gibbs抽樣
7 Boltzmann機
總結
以上是生活随笔為你收集整理的根植于统计力学的随机方法的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【洛谷P5114】八月脸【边分治】【闵可
- 下一篇： 渗透攻击之情报收集