0 前言：關于采樣

0.1 采樣的動機

1）采樣可能本身就是任務

2）求和或者求積分

?0.2 什么是好的樣本？

1）樣本趨向于高概率的區(qū)域

2）樣本是相互獨立的

0.3 采樣是困難的

1）概率分布函數(shù)很復雜，導致采樣困難

2）高維變量不易采樣

1 介紹

蒙特卡洛方法（Monte Carlo Method）：基于采樣的隨機近似方法。

該方法旨在求得復雜概率分布下的期望值：

其中zi是從概率分布p(z∣x) 中取的樣本，也就是從概率分布中取N個點來近似計算這個積分。
?

但是，由于p(z∣x) 比較復雜，所以有的時候我們可能不知道應該怎么采樣。

注：這里的z|x，有些地方直接寫成z，表示的是一個意思

2 采樣方法

2.1 概率分布采樣

• a.求得概率密度函數(shù)PDF的累計密度函數(shù)CDF
• b.求CDF的反函數(shù)
• c.在0-1之間均勻取樣，帶入反函數(shù)，得到取樣點

????????以上圖為例，左圖為概率密度函數(shù)，右圖為相應的累計密度函數(shù)（也就是從負無窮到相應點的概率密度函數(shù)的累加和）

? ? ? ? 不難發(fā)現(xiàn)累計密度函數(shù)的取值范圍是[0,1]。同時 因為均勻分布易于采樣，所以我們可以從均勻分布U(0,1)之間隨機采樣，采樣的點作為cdf的值域，找到相應的x。這些x就是我們的樣本點。

? ? ? ? 換一種思路考慮就是，pdf大的位置，cdf“上升”得快，那么“占據(jù)”值域的區(qū)間就長，隨機取樣后就更易于停留在這些值域上，那么對應位置的x被采樣到的概率也就比較大。

? ? ? ? 但是，大部分PDF很難求得CDF。。。

2.2 拒絕采樣

?????????對于較復雜的概率分布 p(z) ，引入簡單的提議分布（proposal distribution）q(z)，使得對任意的 ，然后對q(z) 進行采樣獲得樣本。

? ? ? ? ?這里的M是一個常數(shù)，因為如果沒有M的話p和q都是概率密度函數(shù)，那么概率密度函數(shù)的積分恒為1，所以不可能一個恒大于另一個的。

? ? ? ? 人為構(gòu)造的q需要是一個采樣容易的分布。

?

????????以上圖為例（上圖的k就是我們前面說的M ），如果落在白色的區(qū)域，那么這個點可以選取，如果落在陰影區(qū)域，那么這個點不能選取。

????????這個的意思就是是否落在白色區(qū)域內(nèi)?

優(yōu)點：容易實現(xiàn)
缺點：采樣效率可能不高

如果p(z)的涵蓋體積占Mq(z)的涵蓋體積的比例很低，就會導致拒絕的比例很高，抽樣效率很低。

一般在高維空間抽樣，會遇到維度災難的問題，即使p(z)與Mq(z)很接近，兩者涵蓋體積的差異也可能很大。
?

?2.3 重要性采樣

不對z采樣，直接對他的期望進行采樣

于是在q(z)中采樣，并通過權(quán)重計算和。

?缺點：權(quán)重?常?的時候，效率非常低

2.4?Sampling Importance Resampling

????????這種方法，首先和上面?樣進行采樣，然后在采樣出來的N個樣本中，重新采樣，這個重新采樣，使?每個樣本點的權(quán)重作為概率分布進行采樣。

參考資料：機器學習-白板推導系列(十三)-MCMC（Markov Chain Monte Carlo）_嗶哩嗶哩_bilibili

總結(jié)

以上是生活随笔為你收集整理的MCMC笔记：蒙特卡罗方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。