??????? 大學(xué)本科時代開始學(xué)習(xí)的概率論，從變著花樣從箱子里取不同顏色的球計算概率，到計算各種離散或連續(xù)的隨機分布期望、方差，再高深點就是利用生成函數(shù)求期望和方差，再就是估計理論，包括點估計、極大似然估計和區(qū)間估計等，然后是一些假設(shè)檢驗，最后，會加上一點隨機過程的知識。 ?????? 和所有中國教育中的基礎(chǔ)理論教學(xué)一樣，我們被訓(xùn)練去求給定分布（一般會給一些復(fù)雜的分布）的期望和方差，我們?nèi)ケ硰?fù)雜的估計理論和假設(shè)檢驗公式，概率學(xué)習(xí)變成了一個技術(shù)活。在我的印象里，概率論總感覺是一門“形而上”的學(xué)問。 ?????? 直到不久前，我還是不知道大數(shù)定理和中心極限定理那章的作用，但現(xiàn)在，個人感覺，這章實際是概率論體現(xiàn)理論源于實踐又反過來指導(dǎo)實踐的最佳哲學(xué)證明，是甩掉概率論“形而上學(xué)”的核心武器。從大數(shù)定理，我們知道大量的隨機變量（函數(shù)）樣本平均值依概率趨近于該隨機變量（函數(shù)）的期望。實際應(yīng)用中的概率分布往往并不是如同泊松分布、指數(shù)分布那樣的簡單分布，而是解析式非常復(fù)雜，甚至沒有解析式，而這些分布的期望往往可以幫助我們估計分布的參數(shù)或其他重要性質(zhì)，這時候通過計算機生成符合該分布的采樣值的方法就非常重要。 ?????? 我們知道，對于常見的經(jīng)典分布，（0，1）均勻分布可以利用線性同余生成器、斐波那契生成器等生成；其他非均勻分布，如泊松分布、指數(shù)分布等可以通過利用反變換、舍選法、卷積法等生成，但這些方法對實際中的大量分布還是無能為力，甚至盡管可以用這些方法，但如果需要生成大量的樣本，一些現(xiàn)有的方法效率太低，例如產(chǎn)生指數(shù)分布樣本需要計算開銷巨大的lnx函數(shù)。 ????? MCMC就是一種很牛的采樣方法，它的想法是，假設(shè)需要產(chǎn)生密度函數(shù)為f(x)的樣本，設(shè)計一個馬爾科夫鏈，使其平穩(wěn)分布恰好是f(x)，等到該鏈平衡時開始采樣。這和以前已知markov chain求equilibrium distribution恰恰相反。根據(jù)建立Markov chain方法的不同，兩類最重要的MCMC方法為就是Metropolis-Hastings Algorithm和Gibbs Sampling，前者常設(shè)計成隨機游走(Random walk)，后者則基于conditional sampling。當(dāng)然這里，如何設(shè)計這個Markov chain是一個很高超的技術(shù)，有興趣的可以再深入查閱。 ?????? 另外一種也不錯的采樣方法叫sequential importance sampling。具體原理我也不太清楚，大致意思是通過迭代采樣逐步建立一個逼近原分布f(x)的分布g（x），大名鼎鼎的particle filtering粒子濾波就是基于這個思想來的。 ?????? 除了在概率論中使用，隨機思想也滲透到各種確定性領(lǐng)域。面對傳統(tǒng)很多確定性領(lǐng)域無法得到解析式的困難，如求高維積分，將其轉(zhuǎn)換成求一個特定函數(shù)的期望，或一些經(jīng)典的科學(xué)問題，設(shè)計一個特殊分布，使待求變量等于該分布的期望，則通過MCMC等采樣方法加上大數(shù)定理，即可得出高精度的近似解。

總結(jié)

以上是生活随笔為你收集整理的从概率论到Markov Chain Monte Carlo（MCMC）-- 转的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。