3.3 貝葉斯估計

矩估計和極大似然估計方法的優(yōu)點是比較客觀客觀，基本由隨機采樣數(shù)據(jù)決定。缺點是需要在大樣本情況下估計才比較準(zhǔn)確。不能把人類知識用于估計。例如，某公司研發(fā)新產(chǎn)品，需要估計合格率，這是典型的伯努利分布。按照矩估計和極大似然估計方法，需要試生產(chǎn)大量產(chǎn)品后才能獲得比較好的估計，這在實踐中十分昂貴和耗時。該公司的研發(fā)人員根據(jù)同類產(chǎn)品的歷史經(jīng)驗和理論分析或仿真，可以對新產(chǎn)品的合格率有個比較可靠的估計，即使新產(chǎn)品還沒有生產(chǎn)。這些知識是十分寶貴的，如果不能充分利用則實在可惜。如果很好的利用了這些知識，則可能只需少量樣本即可獲得很好的估計，貝葉斯估計就是這樣一種方法。

貝葉斯估計有個核心概念：先驗。先驗是先于試驗即在試驗之前，注意不是實驗。在統(tǒng)計估計中，試驗指通過對總體分布進行不斷抽樣，根據(jù)抽樣來獲得對總體分布的知識。例如要估計黑箱中黑球白球的比例，通過不斷取球，根據(jù)取出的球中黑球白球比例來估計真實比例。總之抽樣獲得的知識就是經(jīng)驗，所以在統(tǒng)計估計中先驗指在抽樣之前。先驗知識指在抽樣之前就存在的關(guān)于總體分布的知識：總體分布和分布參數(shù)，這些知識如何獲得的？有可能是前人研究類似分布獲得的知識，也有可能是通過理論分析獲得的知識等等。還是以估計新產(chǎn)品合格率為例，先驗知識就是研發(fā)人員根據(jù)同類產(chǎn)品和經(jīng)驗，或者對新產(chǎn)品進行理論研究獲得的關(guān)于合格率的知識。注意人們關(guān)于這個合格率，其實并不是一個固定的值，而是一個分布。例如如果根據(jù)先驗知識，知道新產(chǎn)品合格率會比較高，則會認(rèn)為合格率為0.8的概率會遠大于0.1的概率，如合格率在 $[0.8,1]$ 的概率為0.7，在 $[0,0.1]$ 的概率為0.1。在抽樣之前，關(guān)于合格率分布的密度函數(shù)就是先驗分布，這是貝葉斯估計的核心概念。矩估計和極大似然估計都是假設(shè)合格率是一個固定值而不是分布，只是我們不知道這個真實值而已。是否利用先驗知識和被估計值是否是概率分布，這是貝葉斯估計和矩估計和極大似然估計最大區(qū)別，為此貝葉斯估計被稱為貝葉斯學(xué)派，矩估計和極大似然估計等稱為頻率學(xué)派。兩個學(xué)派各有優(yōu)缺點，歷史上這兩種方法爭論不休。

知道了先驗分布就很容易理解貝葉斯估計了。根據(jù)條件概率公式

$$p(A|B)=p(A,B)/p(B)$$

$p(A|B)$ 表示事件B發(fā)生條件下事件A發(fā)生的概率，$p(A,B)$ 表示事件A，B同時發(fā)生的概率。同理可得

$$p(B|A)=p(A,B)/p(A)$$

故 $p(A|B)p(B)=p(B|A)p(A)$ 即

$$p(B|A)=p(B)[p(A|B)/p(A)]$$

這就是著名的貝葉斯公式，貝葉斯估計就是依據(jù)該公式。

怎么理解貝葉斯公式呢？$p(B)$ 是事件B發(fā)生概率，$p(B|A)$ 是事件A發(fā)生條件下事件B發(fā)生概率，他們之間的關(guān)系由 $p(A|B)/p(A)$ 決定，這個表達式體現(xiàn)了事件A對事件B的影響。如果 $p(A|B)/p(A)=1$ 則 $p(B|A)=p(B)$ ，這說明事件A對事件B沒有影響，他們是獨立的。根據(jù) $p(A|B)/p(A)=1$ 得 $p(A,B)=p(A)p(B)$ ,A,B事件確實是獨立的。如果 $p(A|B)/p(A)>1$ 則 $p(B|A)>p(B)$ ，這說明事件A對事件B的發(fā)生有促進作用。由 $p(A|B)/p(A)>1$ 得 $p(A|B)>p(A)$ ，這說明事件B對事件A的發(fā)生有促進作用，所以事件A，B是相互促進的，和生活常識相符。同理如果 $p(A|B)/p(A)<1$ 則 $p(B|A)<p(B)$ ，這說明事件A對事件B的發(fā)生有抵消作用。由 $p(A|B)/p(A)<1$ 得 $p(A|B)<p(A)$ ，這說明事件B對事件A的發(fā)生有抵消作用，所以事件A，B是相互抵消的。

貝葉斯公式中事件A，B可以是任意事件，對于貝葉斯估計來說，事件A就是對總體隨機抽樣獲得 $n$ 個樣本 $A:{\mathbf{x}}_{data}=(x_1,?,x_n)$ ，是經(jīng)驗。事件B就是要估計的參數(shù)向量 $B=\theta$ 。$p(B)=p(\theta )$ 是參數(shù)向量的概率分布，是未試驗之前給出的，就是先驗分布，在貝葉斯估計中記為 $\pi (\theta )$ 。$p(B|A)=p(\theta |{\mathbf{x}}_{data})$ 是采樣數(shù)據(jù)后參數(shù)向量的概率分布，稱為后驗分布，在貝葉斯估計中記為 $\pi (\theta |{\mathbf{x}}_{data})$ 。后驗分布就是有了數(shù)據(jù)后對參數(shù)向量的先驗分布進行更新后得到的，包含了先驗知識和采樣信息。$p(A|B)=p({\mathbf{x}}_{data}|\theta )$ 是假設(shè)參數(shù)向量 $\theta$ 已知情況下采樣到數(shù)據(jù) ${\mathbf{x}}_{data}$ 的概率，就是極大似然估計方法中的似然函數(shù)！這點十分重要，建立了和極大似然估計的關(guān)系。$p(A)=p({\mathbf{x}}_{data})$ 就是采樣到數(shù)據(jù) ${\mathbf{x}}_{data}$ 的邊緣概率。所以貝葉斯估計的公式為

$$\pi (\theta |{\mathbf{x}}_{data})=\frac{\pi (\theta )p({\mathbf{x}}_{data}|\theta )}{p({\mathbf{x}}_{data})}$$

對連續(xù)型隨機變量有

$$p({\mathbf{x}}_{data})={\int }_{\theta }\pi (\theta )p({\mathbf{x}}_{data}|\theta )d\theta$$

貝葉斯估計公式看起來很簡單，但實際求解非常復(fù)雜。一般來說，計算 $p({\mathbf{x}}_{data})$ 是不太可能的，因為需要計算積分，需要精心選擇合適的先驗分布才有可能計算積分。

對于伯努利分布來說，需要估計隨機變量取 1 的概率 $p$ ，如果 $p=\theta$ 的先驗分布假設(shè)為Beta分布，Beta分布的概率密度函數(shù)為：

$$beta(\theta ;(\alpha ,\beta ))=\frac{1}{B(\alpha ,\beta )}{\theta }^{\alpha ?1}(1?\theta {)}^{\beta ?1};0<\theta <1$$

其中 $\alpha ,\beta$ 是分布參數(shù)，需要我們利用先驗知識獲得 $\theta$ 的分布，然后選擇最優(yōu)的 $\alpha ,\beta$ 來擬合該分布。

Beta分布的兩個重要性質(zhì)，分布眾數(shù)（函數(shù)極值點）為 $\frac{\alpha ?1}{\alpha +\beta ?2}$ ，分布均值為 $\frac{\alpha }{\alpha +\beta }$ ；$beta(\theta ;(\alpha =1,\beta =1))=1$ 是均勻分布。

假設(shè)隨機抽樣 $n$ 個樣本，$m$ 次隨機變量取 1，則似然函數(shù)為

$$p({\mathbf{x}}_{data}|\theta )={\theta }^m(1?\theta {)}^{n?m}$$

抽樣數(shù)據(jù)的邊緣密度為

$$\begin{gathered} p({\mathbf{x}}_{data})={\int }_{\theta }\pi (\theta )p({\mathbf{x}}_{data}|\theta )d\theta \\ ={\int }_{\theta }\frac{1}{B(\alpha ,\beta )}{\theta }^{\alpha ?1}(1?\theta {)}^{\beta ?1}{\theta }^m(1?\theta {)}^{n?m}d\theta \\ =\frac{B(\alpha +m,\beta +n?m)}{B(\alpha ,\beta )} \end{gathered}$$

注意邊緣分布與參數(shù) $\theta$ 無關(guān)！

所以參數(shù)的后驗分布為

$$\begin{gathered} \pi (\theta |{\mathbf{x}}_{data})=\frac{\pi (\theta )p({\mathbf{x}}_{data}|\theta )}{p({\mathbf{x}}_{data})} \\ =\frac{\frac{1}{B(\alpha ,\beta )}{\theta }^{\alpha ?1}(1?\theta {)}^{\beta ?1}{\theta }^m(1?\theta {)}^{n?m}}{\frac{B(\alpha +m,\beta +n?m)}{B(\alpha ,\beta )}} \\ =beta(\theta ;(\alpha +m,\beta +n?m)) \end{gathered}$$

后驗分布也是Beta分布，和先驗分布屬于同類分布。當(dāng)后驗分布和先驗分布屬于同族分布時，此時稱先驗分布為共軛先驗分布。采用共軛先驗分布可以簡化計算。

有了后驗分布就可以進行各種估計了，可以進行點估計和區(qū)間估計。

點估計有后驗分布的眾數(shù)（后驗密度最大點）、后驗分布的中位數(shù)、后驗分布的均值。其中后驗均值的計算公式為 ${\int }_{\theta }\theta \pi (\theta |{\mathbf{x}}_{data})d\theta$ 。那么這三種估計哪一種最好呢？各有優(yōu)缺點，實踐中都可以采用，后驗分布的均值在平均意義下是最優(yōu)的。如果后驗分布是中心對稱且中心點是極大值，則這三種點估計是同一值。

區(qū)間估計可以計算參數(shù)在任意區(qū)間的概率 $p={\int }_{\theta \in \Omega }\theta \pi (\theta |{\mathbf{x}}_{data})d\theta$ ，很可惜由于后驗概率很復(fù)雜，該積分式一般沒有解析值，只能數(shù)值計算或查表。歷史上貝葉斯本人可能就是因為沒有計算出Beta分布區(qū)間概率的準(zhǔn)確值，在生前遲遲沒有公開發(fā)表貝葉斯估計論文，直到死后兩年才發(fā)表。或者計算最高后驗概率密度區(qū)間(highest posterior density HPD)，即希望在置信水平 $1?\alpha$ 下，置信區(qū)間的長度越短越好。當(dāng)參數(shù)的后驗密度函數(shù) $\pi (\theta |{\mathbf{x}}_{data})$ 曲線是單峰對稱的，則峰值兩側(cè)各取 $\alpha /2$時，置信區(qū)間的長度為最短，此置信區(qū)間為 HPD 置信區(qū)間。當(dāng)后驗密度曲線為單峰非對稱時， 則 HPD 置信區(qū)間求起來相對復(fù)雜。最高后驗概率密度區(qū)間的意義可以這樣理解，被估計參數(shù)的真值有 $1?\alpha$ 概率落在該區(qū)間，雖然貝葉斯估計認(rèn)為被估計值不存在真值，只存在一個分布，但這種理解非常符合人的直覺。

貝葉斯估計從一定意義上說也遵循大數(shù)定理和中心極限定理。即隨著抽樣樣本數(shù)量的增加，后驗分布函數(shù)曲線越來越集中，只形成一個尖峰，后驗分布方差越來越小，當(dāng)樣本無窮多時，方差趨近 0 。而且，隨著抽樣樣本數(shù)量的增加，先驗分布對后驗分布的影響越來越小，當(dāng)樣本無窮多時，先驗分布影響趨于 0。這個十分符合直觀，因為樣本無窮多時，根據(jù)大數(shù)定理和中心極限定理，樣本信息足夠估計參數(shù)，完全不需要先驗知識，先驗知識只在樣本比較少的時候才有用，樣本越少，先驗知識越重要，樣本越多先驗知識越不重要，畢竟先驗知識主觀成分比較大，抽樣樣本數(shù)據(jù)更有說服力。樣本無窮多時分布極值點必然和極大似然估計結(jié)果一致。

還是以伯努利分布為例，后驗分布為

$$\pi (\theta |{\mathbf{x}}_{data})=beta(\theta ;(\alpha +m,\beta +n?m))$$

后驗分布均值為 $E(\theta )=\frac{\alpha +m}{\alpha +\beta +n}$，分布眾數(shù)為 $\frac{\alpha +m?1}{\alpha +\beta +n?2}$，后驗方差為 $Var(\theta )=\frac{(\alpha +m)(\beta +n?m)}{(\alpha +\beta +n{)}^2(\alpha +\beta +n+1)}$ 。

后驗分布均值可變換為

$$\begin{gathered} E(\theta )=a\frac{m}{n}+(1?a)\frac{\alpha }{\alpha +\beta } \\ a=\frac{n}{\alpha +\beta +n} \end{gathered}$$

可見后驗分布均值是樣本均值 $\frac{m}{n}$ 和先驗均值 $\frac{\alpha }{\alpha +\beta }$ 的加權(quán)平均，權(quán)重為 $a$ ，可見后驗均值綜合了樣本信息和先驗信息。顯然當(dāng) $n$ 越來越大時權(quán)重 $a$ 越來越接近 1，后驗均值越來越接近樣本均值，樣本均值就是極大似然估計值，與先驗分布無關(guān)。當(dāng)樣本數(shù)量少時，權(quán)重 $a$ 小，先驗知識很重要。從另一個角度看先驗分布 $beta(\theta ;(\alpha ,\beta ))$ ，可以認(rèn)為是進行了虛擬試驗，總共試驗了 $\alpha +\beta$ 次，其中 $\alpha$ 次取值為1 即成功次數(shù)。

后驗方差可變換為

$$Var(\theta )=\frac{E(\theta )(1?E(\theta ))}{\alpha +\beta +n+1}$$

顯然當(dāng) $n$ 越來越大時方差越來越小，無窮多時，方差趨近 0，這表示估計參數(shù)值幾乎收斂到一個點，失去了隨機性，估計值是百分之百準(zhǔn)確的。 $n$ 小時，方差較大，估計準(zhǔn)確度不高。

當(dāng)樣本分布為高斯分布時 $N(\mu ,{\sigma }_0^2)$ ，其中 $\mu$ 未知，${\sigma }_0^2$ 已知。若 $\mu$ 的先驗分布為高斯分布 $N({\mu }_b,{\sigma }_b^2)$ 。根據(jù)貝葉斯估計公式，可以計算得到 $\mu$ 的后驗分布也是高斯分布，$N({\mu }_p,{\sigma }_p^2)$ 。

$$\begin{gathered} {\mu }_p=\frac{\bar{x}{h}_0+{\mu }_b{h}_1}{h_0+h_1} \\ ({\sigma }_p^2{)}^{?1}=h_0+h_1 \\ {h}_0=({\sigma }_0^2/n{)}^{?1} \\ {h}_1=({\sigma }_b^2{)}^{?1} \end{gathered}$$

可見，在方差已知情況下高斯分布的共軛先驗分布為高斯分布。后驗均值是樣本均值 $\bar{x}$ 和先驗均值的加權(quán)平均，后驗方差是樣本平均方差和先驗方差的調(diào)和平均。顯然當(dāng) $n$ 越來越大時 $h_0$ 越來越大，后驗均值越來越接近樣本均值，樣本均值就是極大似然估計值，與先驗分布無關(guān)。當(dāng)樣本數(shù)量少時，先驗知識很重要。當(dāng) $n$ 越來越大時方差越來越小，無窮多時，方差趨近 0，這表示估計參數(shù)值幾乎收斂到一個點，失去了隨機性，估計值是百分之百準(zhǔn)確的。 $n$ 小時，方差較大，估計準(zhǔn)確度不高。

關(guān)于點估計中后驗分布眾數(shù)，也稱為極大后驗估計MAP。根據(jù)后驗公式

$$\pi (\theta |{\mathbf{x}}_{data})=\frac{\pi (\theta )p({\mathbf{x}}_{data}|\theta )}{p({\mathbf{x}}_{data})}$$

由于數(shù)據(jù)邊緣分布 $p({\mathbf{x}}_{data})$ 是對參數(shù)積分所得，與參數(shù) $\theta$ 無關(guān)。故后驗分布最大值等價于 $\pi (\theta )p({\mathbf{x}}_{data}|\theta )$ 最大值，是似然函數(shù)和先驗分布的乘積。兩邊取對數(shù)得

$$logp({\mathbf{x}}_{data}|\theta )+log\pi (\theta )$$

故極大后驗估計與極大似然估計十分相似，只是多了先驗分布對數(shù)。當(dāng)先驗分布是常數(shù)分布時，極大后驗估計與極大似然估計結(jié)果一致。從廣義上看，$log\pi (\theta )$ 是正則項。似然函數(shù) $logp({\mathbf{x}}_{data}|\theta )$ 是樣本信息，$log\pi (\theta )$ 是先驗知識。

現(xiàn)在分析貝葉斯學(xué)派和頻率學(xué)派的優(yōu)缺點。進行參數(shù)估計，貝葉斯學(xué)派利用了三種信息：先驗知識獲得先驗分布；采樣的樣本信息；和一個不太明顯的信息：樣本總體分布假設(shè)，比如假設(shè)樣本分布滿足高斯分布或拉普拉斯分布，而不是其他分布，這也是需要先驗知識的。頻率學(xué)派利用了其中兩種信息：采樣的樣本信息；樣本總體分布假設(shè)。

貝葉斯學(xué)派最大爭議是先驗分布，由于選擇先驗分布具有主觀性，表現(xiàn)出一定的隨意性，導(dǎo)致分析失去部分客觀性。不同的先驗分布對后驗分布有影響，甚至有時候，兩個『接近的』先驗分布會導(dǎo)致很不同的后驗分布。所以確定合理的先驗分布是貝葉斯學(xué)派的核心。如果先驗知識能定出合理的先驗分布，此時貝葉斯估計比頻率學(xué)派能獲得更好結(jié)果，特別是樣本數(shù)量少時。當(dāng)先驗很弱或樣本數(shù)量很大，不需要勉強采用貝葉斯估計。后驗分布難以計算也是貝葉斯實際應(yīng)用中的攔路虎。貝葉斯學(xué)派的優(yōu)點是利用后驗分布進行參數(shù)估計十分符合人們的直覺。

頻率學(xué)派的缺點是完全忽略先驗知識，當(dāng)有很多先驗知識時這會顯得十分不明智，特別是樣本很少時。頻率學(xué)派進行參數(shù)估計時難以理解，不太符合人們直覺。優(yōu)點是客觀性比較高，但選擇合適的樣本總體分布假設(shè)，實際上也有一定的主觀性，所以不存在完全客觀的統(tǒng)計推斷方法。

計算后驗分布的難題，現(xiàn)在采用馬爾可夫鏈蒙特卡洛模擬 MCMC 可部分解決，具體內(nèi)容讀者可查閱相關(guān)教材。

關(guān)于先驗分布的選擇，我們再強調(diào)一下。當(dāng)我們不存在任何先驗知識時，但還是希望用貝葉斯估計。那怎么確定先驗分布呢？此時先驗分布稱為無信息先驗分布。

還是以伯努利分布為例，我們對參數(shù) $p$ 一無所知，顯然最合理的先驗分布為均勻分布，即 $(0,1)$ 內(nèi)均勻分布，$beta(\theta |(\alpha =1,\beta =1))$ 就是均勻分布。利用該分布可以獲得合理的后驗分布，比極大似然估計更合理，相當(dāng)于在正式試驗前進行了兩次虛擬試驗，其中成功了一次。

高斯分布的均值的先驗分布是什么呢？由于均值可以取任意實數(shù)，所以一個合理的先驗分布是取整個實數(shù)域上的均勻分布，顯然此時先驗分布在定義域內(nèi)積分為無窮大，不滿足先密度函數(shù)在定義域內(nèi)積分為 1 的要求。嚴(yán)格來說不能作為先驗分布。但實在找不出其他更合理的先驗分布，怎么辦？幸好，采用整個實數(shù)域上的均勻分布計算的后驗分布居然是一個真正概率分布，我們真正關(guān)心的是后驗分布，所以我們此時定義這種先驗分布為廣義先驗分布。

更有趣的是，高斯分布方差 ${\sigma }^2$ 的平方根標(biāo)準(zhǔn)差 $\sigma$ 先驗分布是什么呢？也是 $(0,\infty )$ 的均勻分布嗎？其實不是，$\pi (\sigma )={\sigma }^{?1}$ 更合理，神奇吧！關(guān)于各種設(shè)置先驗分布的知識讀者可查閱相關(guān)教材。

總結(jié)

以上是生活随笔為你收集整理的3.3 参数估计：贝叶斯估计的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。