??????? 大學本科時代開始學習的概率論，從變著花樣從箱子里取不同顏色的球計算概率，到計算各種離散或連續(xù)的隨機分布期望、方差，再高深點就是利用生成函數求期望和方差，再就是估計理論，包括點估計、極大似然估計和區(qū)間估計等，然后是一些假設檢驗，最后，會加上一點隨機過程的知識。 ?????? 和所有中國教育中的基礎理論教學一樣，我們被訓練去求給定分布（一般會給一些復雜的分布）的期望和方差，我們去背復雜的估計理論和假設檢驗公式，概率學習變成了一個技術活。在我的印象里，概率論總感覺是一門“形而上”的學問。 ?????? 直到不久前，我還是不知道大數定理和中心極限定理那章的作用，但現在，個人感覺，這章實際是概率論體現理論源于實踐又反過來指導實踐的最佳哲學證明，是甩掉概率論“形而上學”的核心武器。從大數定理，我們知道大量的隨機變量（函數）樣本平均值依概率趨近于該隨機變量（函數）的期望。實際應用中的概率分布往往并不是如同泊松分布、指數分布那樣的簡單分布，而是解析式非常復雜，甚至沒有解析式，而這些分布的期望往往可以幫助我們估計分布的參數或其他重要性質，這時候通過計算機生成符合該分布的采樣值的方法就非常重要。 ?????? 我們知道，對于常見的經典分布，（0，1）均勻分布可以利用線性同余生成器、斐波那契生成器等生成；其他非均勻分布，如泊松分布、指數分布等可以通過利用反變換、舍選法、卷積法等生成，但這些方法對實際中的大量分布還是無能為力，甚至盡管可以用這些方法，但如果需要生成大量的樣本，一些現有的方法效率太低，例如產生指數分布樣本需要計算開銷巨大的lnx函數。 ????? MCMC就是一種很牛的采樣方法，它的想法是，假設需要產生密度函數為f(x)的樣本，設計一個馬爾科夫鏈，使其平穩(wěn)分布恰好是f(x)，等到該鏈平衡時開始采樣。這和以前已知markov chain求equilibrium distribution恰恰相反。根據建立Markov chain方法的不同，兩類最重要的MCMC方法為就是Metropolis-Hastings Algorithm和Gibbs Sampling，前者常設計成隨機游走(Random walk)，后者則基于conditional sampling。當然這里，如何設計這個Markov chain是一個很高超的技術，有興趣的可以再深入查閱。 ?????? 另外一種也不錯的采樣方法叫sequential importance sampling。具體原理我也不太清楚，大致意思是通過迭代采樣逐步建立一個逼近原分布f(x)的分布g（x），大名鼎鼎的particle filtering粒子濾波就是基于這個思想來的。 ?????? 除了在概率論中使用，隨機思想也滲透到各種確定性領域。面對傳統很多確定性領域無法得到解析式的困難，如求高維積分，將其轉換成求一個特定函數的期望，或一些經典的科學問題，設計一個特殊分布，使待求變量等于該分布的期望，則通過MCMC等采樣方法加上大數定理，即可得出高精度的近似解。

總結

以上是生活随笔為你收集整理的从概率论到Markov Chain Monte Carlo（MCMC）-- 转的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。