貝葉斯定理

通常，事件A在事件B的條件下的概率，與事件B在事件A的條件下的概率是不一樣的；然而，這兩者是有確定的關(guān)系，貝葉斯法則就是這種關(guān)系的陳述。

貝葉斯法則又被稱(chēng)為貝葉斯定理、貝葉斯規(guī)則，是指概率統(tǒng)計(jì)中的應(yīng)用所觀察到的現(xiàn)象對(duì)有關(guān)概率分布的主觀判斷（即先驗(yàn)概率）進(jìn)行修正的標(biāo)準(zhǔn)方法。當(dāng)分析樣本大到接近總體數(shù)時(shí)，樣本中事件發(fā)生的概率將接近于總體中事件發(fā)生的概率。

作為一個(gè)規(guī)范的原理，貝葉斯法則對(duì)于所有概率的解釋是有效的；然而，頻率主義者和貝葉斯主義者對(duì)于在應(yīng)用中概率如何被賦值有著不同的看法：頻率主義者根據(jù)隨機(jī)事件發(fā)生的頻率，或者總體樣本里面的個(gè)數(shù)來(lái)賦值概率；貝葉斯主義者要根據(jù)未知的命題來(lái)賦值概率。

貝葉斯統(tǒng)計(jì)中的兩個(gè)基本概念是先驗(yàn)分布和后驗(yàn)分布：

1、先驗(yàn)分布。總體分布參數(shù)θ的一個(gè)概率分布。貝葉斯學(xué)派的根本觀點(diǎn)，是認(rèn)為在關(guān)于總體分布參數(shù)θ的任何統(tǒng)計(jì)推斷問(wèn)題中，除了使用樣本所提供的信息外，還必須規(guī)定一個(gè)先驗(yàn)分布，它是在進(jìn)行統(tǒng)計(jì)推斷時(shí)不可缺少的一個(gè)要素。他們認(rèn)為先驗(yàn)分布不必有客觀的依據(jù)，可以部分地或完全地基于主觀信念。

2、后驗(yàn)分布。根據(jù)樣本分布和未知參數(shù)的先驗(yàn)分布，用概率論中求條件概率分布的方法，求出的在樣本已知下，未知參數(shù)的條件分布。因?yàn)檫@個(gè)分布是在抽樣以后才得到的，故稱(chēng)為后驗(yàn)分布。貝葉斯推斷方法的關(guān)鍵是任何推斷都必須且只須根據(jù)后驗(yàn)分布，而不能再涉及樣本分布。

貝葉斯公式為

P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)

P(A|B)=P(B|A)*P(A)/P(B)

其中：

1、P(A)是A的先驗(yàn)概率或邊緣概率，稱(chēng)作"先驗(yàn)"是因?yàn)樗豢紤]B因素。

2、P(A|B)是已知B發(fā)生后A的條件概率，也稱(chēng)作A的后驗(yàn)概率。

3、P(B|A)是已知A發(fā)生后B的條件概率，也稱(chēng)作B的后驗(yàn)概率，這里稱(chēng)作似然度。

4、P(B)是B的先驗(yàn)概率或邊緣概率，這里稱(chēng)作標(biāo)準(zhǔn)化常量。

5、P(B|A)/P(B)稱(chēng)作標(biāo)準(zhǔn)似然度。

貝葉斯法則又可表述為：

后驗(yàn)概率=(似然度*先驗(yàn)概率)/標(biāo)準(zhǔn)化常量=標(biāo)準(zhǔn)似然度*先驗(yàn)概率

P(A|B)隨著P(A)和P(B|A)的增長(zhǎng)而增長(zhǎng)，隨著P(B)的增長(zhǎng)而減少，即如果B獨(dú)立于A時(shí)被觀察到的可能性越大，那么B對(duì)A的支持度越小。

貝葉斯公式為利用搜集到的信息對(duì)原有判斷進(jìn)行修正提供了有效手段。在采樣之前，經(jīng)濟(jì)主體對(duì)各種假設(shè)有一個(gè)判斷（先驗(yàn)概率），關(guān)于先驗(yàn)概率的分布，通常可根據(jù)經(jīng)濟(jì)主體的經(jīng)驗(yàn)判斷確定(當(dāng)無(wú)任何信息時(shí)，一般假設(shè)各先驗(yàn)概率相同)，較復(fù)雜精確的可利用包括最大熵技術(shù)或邊際分布密度以及相互信息原理等方法來(lái)確定先驗(yàn)概率分布。

例如，一座別墅在過(guò)去的20年里一共發(fā)生過(guò)2次被盜，別墅的主人有一條狗，狗平均每周晚上叫3次，在盜賊入侵時(shí)狗叫的概率被估計(jì)為0.9，問(wèn)題是：在狗叫的時(shí)候發(fā)生入侵的概率是多少？

我們假設(shè)A事件為狗在晚上叫，B為盜賊入侵，則P(A)=3/7，P(B)=2/(20·365)=2/7300，P(A|B)=0.9，按照公式很容易得出結(jié)果：P(B|A)=0.9*(2/7300)/(3/7)=0.00058

另一個(gè)例子，現(xiàn)分別有A，B兩個(gè)容器，在容器A里分別有7個(gè)紅球和3個(gè)白球，在容器B里有1個(gè)紅球和9個(gè)白球，現(xiàn)已知從這兩個(gè)容器里任意抽出了一個(gè)球，且是紅球，問(wèn)這個(gè)紅球是來(lái)自容器A的概率是多少?

假設(shè)已經(jīng)抽出紅球?yàn)槭录﨎，從容器A里抽出球?yàn)槭录嗀，則有：P(B)=8/20，P(A)=1/2，P(B|A)=7/10，按照公式，則有：P(A|B)=(7/10)*(1/2)/(8/20)=0.875

?

貝葉斯估計(jì)

貝葉斯（Bayes）統(tǒng)計(jì)是由T. R. Bayes于19世紀(jì)創(chuàng)立的數(shù)理統(tǒng)計(jì)的一個(gè)重要分支，20世紀(jì)50年代，以H. Robbins為代表提出了在計(jì)量經(jīng)濟(jì)學(xué)模型估計(jì)中將經(jīng)驗(yàn)貝葉斯方法與經(jīng)典方法相結(jié)合，引起了廣泛的重視，得到了廣泛的應(yīng)用。貝葉斯估計(jì)對(duì)經(jīng)典計(jì)量經(jīng)濟(jì)學(xué)模型估計(jì)方法的擴(kuò)展在于，它不僅利用樣本信息，同時(shí)利用非樣本信息。

（1）貝葉斯估計(jì)

在經(jīng)典計(jì)量經(jīng)濟(jì)學(xué)模型中廣泛采用的最小二乘估計(jì)，以及本章討論的最大似然函數(shù)估計(jì)和廣義矩估計(jì)的一個(gè)共同特征是，在模型估計(jì)中只利用樣本信息和關(guān)于總體分布的先驗(yàn)信息，而關(guān)于分布的先驗(yàn)信息仍然需要通過(guò)樣本信息的檢驗(yàn)，所以說(shuō)到底還是樣本信息。

由于模型估計(jì)依賴(lài)樣本信息，這就要求樣本信息足夠多，因此，這些估計(jì)只有在大樣本情況下才具有一定的優(yōu)良性質(zhì)。但是在許多實(shí)際應(yīng)用研究中，人們無(wú)法重復(fù)大量的實(shí)驗(yàn)以得到大量的觀測(cè)結(jié)果，只能得到少量的觀測(cè)結(jié)果。在小樣本情況下，最小二乘估計(jì)、最大似然估計(jì)和廣義矩估計(jì)不再具有優(yōu)良性質(zhì)。因而，人們不得不尋求小樣本情況下的優(yōu)良估計(jì)方法。貝葉斯估計(jì)方法就是其中之一。

a、貝葉斯方法的基本思路

貝葉斯方法的基本思路是：假定要估計(jì)的模型參數(shù)是服從一定分布的隨機(jī)變量，根據(jù)經(jīng)驗(yàn)給出待估參數(shù)的先驗(yàn)分布（也稱(chēng)為主觀分布），關(guān)于這些先驗(yàn)分布的信息被稱(chēng)為先驗(yàn)信息；然后根據(jù)這些先驗(yàn)信息，并與樣本信息相結(jié)合，應(yīng)用貝葉斯定理求出待估參數(shù)的后驗(yàn)分布；再應(yīng)用損失函數(shù)，得出后驗(yàn)分布的一些特征值，并把它們作為待估參數(shù)的估計(jì)量。

貝葉斯方法與經(jīng)典估計(jì)方法的主要不同之處是：

（a）關(guān)于參數(shù)的解釋不同

經(jīng)典估計(jì)方法認(rèn)為待估參數(shù)具有確定值，它的估計(jì)量才是隨機(jī)的，如果估計(jì)量是無(wú)偏的，該估計(jì)量的期望等于那個(gè)確定的參數(shù)；而貝葉斯方法認(rèn)為待估參數(shù)是一個(gè)服從某種分布的隨機(jī)變量。

（b）所利用的信息不同

經(jīng)典方法只利用樣本信息；貝葉斯方法要求事先提供一個(gè)參數(shù)的先驗(yàn)分布，即人們對(duì)有關(guān)參數(shù)的主觀認(rèn)識(shí)，被稱(chēng)為先驗(yàn)信息，是非樣本信息，在參數(shù)估計(jì)過(guò)程中，這些非樣本信息與樣本信息一起被利用。

（c）對(duì)隨機(jī)誤差項(xiàng)的要求不同

經(jīng)典方法，除了最大似然法，在參數(shù)估計(jì)過(guò)程中并不要求知道隨機(jī)誤差項(xiàng)的具體分布形式，但是在假設(shè)檢驗(yàn)與區(qū)間估計(jì)時(shí)是需要的；貝葉斯方法需要知道隨機(jī)誤差項(xiàng)的具體分布形式。

（d）選擇參數(shù)估計(jì)量的準(zhǔn)則不同

經(jīng)典估計(jì)方法或者以殘差平方和最小，或者以似然函數(shù)值最大為準(zhǔn)則，構(gòu)造極值條件，求解參數(shù)估計(jì)量；貝葉斯方法則需要構(gòu)造一個(gè)損失函數(shù)，并以損失函數(shù)最小化為準(zhǔn)則求得參數(shù)估計(jì)量。

b、貝葉斯定理?

c、損失函數(shù)

常用的損失函數(shù)有線(xiàn)性函數(shù)和二次函數(shù)，不同的損失函數(shù)，得到的參數(shù)估計(jì)值是不同的。

（2）線(xiàn)性單方程計(jì)量經(jīng)濟(jì)學(xué)模型的貝葉斯估計(jì)

以正態(tài)線(xiàn)性單方程計(jì)量經(jīng)濟(jì)學(xué)模型為例介紹貝葉斯估計(jì)方法。選擇正態(tài)線(xiàn)性單方程計(jì)量經(jīng)濟(jì)學(xué)模型的主要原因是：（1）多元線(xiàn)性單方程計(jì)量經(jīng)濟(jì)學(xué)模型具有普遍性意義；（2）在模型設(shè)定正確的情況下，隨機(jī)誤差項(xiàng)是大量隨機(jī)擾動(dòng)之總和，根據(jù)中心極限定理，可以認(rèn)為它是漸近正態(tài)分布；（3）計(jì)算簡(jiǎn)單，使用方便，并能完整地體現(xiàn)貝葉斯估計(jì)方法的主要內(nèi)容。正態(tài)線(xiàn)性單方程計(jì)量經(jīng)濟(jì)學(xué)模型又分為隨機(jī)誤差項(xiàng)方差已知和方差未知兩種情況。作為貝葉斯估計(jì)方法的演示，我們只討論方差已知的情況。

a、有先驗(yàn)信息的后驗(yàn)分布??

?

b、無(wú)先驗(yàn)信息的后驗(yàn)分布

c、點(diǎn)估計(jì)?

d、區(qū)間估計(jì)

……

?

總結(jié)

以上是生活随笔為你收集整理的贝叶斯定理与贝叶斯估计的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。