從統計推斷講起

統計推斷是根據樣本信息對總體分布或總體的特征數進行推斷，事實上，這經典學派對統計推斷的規定，這里的統計推斷使用到兩種信息：總體信息和樣本信息；而貝葉斯學派認為，除了上述兩種信息以外，統計推斷還應該使用第三種信息：先驗信息。下面我們先把是那種信息加以說明。

總體信息：總體信息即總體分布或總體所屬分布族提供的信息。譬如，若已知“總體是正態分布”等等

樣本信息：即所抽取的樣本的所有特征信息。

先驗信息：如果我們把抽取樣本看作做一次試驗，則樣本信息就是試驗中得到的信息。但實際中，人們在試驗之前對要做的問題在經驗上和資料上總是已經有所了解的。譬如之前文章中的那個例子，問在公園中隨便看到一個穿涼鞋的人是男生還是女生，男女生穿涼鞋的概率可能不同，這叫做類條件概率，而男女生的比例就是先驗概率。

在之前介紹最后后驗估計時已經很清楚的講了MAP與MLE的區別，MAP就是貝葉斯估計的方法之一。貝葉斯學派的MAP方法與頻率學派的MLE方法的不同之處就在于先驗信息的使用。

?

貝葉斯估計核心問題

這里定義已有的樣本集合為，而不是之前的。樣本集合中的樣本都是從一個?固定但是未知?的概率密度函數中獨立抽取出來的，要求根據這些樣本估計的概率分布，記為，并且使得盡量的接近，這就是貝葉斯估計的核心問題。

?

貝葉斯估計常用方法

被稱作后驗分布（后驗概率），使用它估計有三種常用的方法：

• 使用后驗分布的密度函數最大值點作為的點估計的最大后驗估計（MAP）。
• 使用后驗分布的中位數作為的點估計的后驗中位數估計（基本沒看到用過）。
• 使用后驗分布的均值作為的點估計的后驗期望估計。

用的最多的是后驗期望估計，它一般也直接簡稱為貝葉斯估計，即為.

?

貝葉斯定理：

邊緣概率（又稱先驗概率）是某個事件發生的概率。邊緣概率是這樣得到的：在聯合概率中，把最終結果中那些不需要的事件通過合并成它們的全概率，而消去它們（對離散隨機變量用求和得全概率，對連續隨機變量用積分得全概率），這稱為邊緣化（marginalization），比如A的邊緣概率表示為P(A)，B的邊緣概率表示為P(B)。

貝葉斯定理是關于隨機事件A和B的條件概率和邊緣概率的一則定理。

在參數估計中可以寫成下面這樣：

這個公式也稱為逆概率公式，可以將后驗概率轉化為基于似然函數和先驗概率的計算表達式，即

在貝葉斯定理中，每個名詞都有約定俗成的名稱：

P(A)是A的先驗概率或邊緣概率。之所以稱為"先驗"是因為它不考慮任何B方面的因素。
P(A|B)是已知B發生后A的條件概率(在B發生的情況下A發生的可能性)，也由于得自B的取值而被稱作A的后驗概率。
P(B|A)是已知A發生后B的條件概率，也由于得自A的取值而被稱作B的后驗概率。
P(B)是B的先驗概率或邊緣概率，也作標準化常量（normalized constant）

按這些術語，Bayes定理可表述為：

后驗概率 = (似然函數*先驗概率)/標準化常量，也就是說，后驗概率與先驗概率和似然函數的乘積成正比。

另外，比例P(B|A)/P(B)也有時被稱作標準相似度（standardised likelihood），Bayes定理可表述為：

后驗概率 = 標準相似度*先驗概率

?

一個簡單的例子

?

?

貝葉斯估計

貝葉斯估計是在MAP上做進一步拓展，此時不直接估計參數的值，而是允許參數服從一定概率分布。極大似然估計和極大后驗概率估計，都求出了參數的值，而貝葉斯估計則不是，貝葉斯估計擴展了極大后驗概率估計MAP（一個是等于，一個是約等于）方法，它根據參數的先驗分布和一系列觀察，求出參數的后驗分布，然后求出的期望值，作為其最終值。另外還定義了參數的一個方差量，來評估參數估計的準確程度或者置信度。

貝葉斯估計：從分布的總體信息和參數的先驗知識以及樣本信息出發。

不同于ML估計，不再把參數看成一個未知的確定變量，而是看成未知的隨機變量，通過對第類樣本的觀察，使概率密度分布轉化為后驗概率，再求貝葉斯估計。

假設：將待估計的參數看作符合某種先驗概率分布的隨機變量。

基本原理：

?我們期望在真實的值處有一個尖峰。

貝葉斯估計的本質：貝葉斯估計的本質是通過貝葉斯決策得到參數的最優估計，使得總期望風險最小。

損失函數：通常規定函數是一個二次函數，即平方誤差損失函數：

? ? ? ? 可以證明，如果采用平方誤差損失函數，則θ的貝葉斯估計值是在給定x時θ的條件期望。

?

? ? ? ? 同理可得，在給定樣本集D下，θ的貝葉斯估計值是：

貝葉斯估計算法：

?

貝葉斯估計的增量學習

為了明確的表示樣本集合中有個樣本，這里采用記號：。根據前一個公式，在的情況下有：

注：因為每次抽樣之間是獨立的，所以前次抽樣與第次抽樣是獨立的。

可以很容易得到：

當沒有觀測樣本時，定義，為參數的初始估計。然后讓樣本集合依次進入上述公式，就可以得到一系列的概率密度函數：，這一過程稱為參數估計貝葉斯遞歸法，也叫貝葉斯估計的增量學習。這是一個在線學習算法，它和隨機梯度下降法有很多相似之處。

?

參考文章：

貝葉斯估計詳解

貝葉斯線性回歸（Bayesian Linear Regression）

貝葉斯估計

總結

以上是生活随笔為你收集整理的【数学基础】参数估计之贝叶斯估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。