貝葉斯定理

貝葉斯定理是關于隨機事件A和B的條件概率和邊緣概率的一則定理。

在參數估計中可以寫成下面這樣：

?

這個公式也稱為逆概率公式，可以將后驗概率轉化為基于似然函數和先驗概率的計算表達式，即

在貝葉斯定理中，每個名詞都有約定俗成的名稱：

P(A)是A的先驗概率或邊緣概率。之所以稱為"先驗"是因為它不考慮任何B方面的因素。
P(A|B)是已知B發生后A的條件概率(在B發生的情況下A發生的可能性)，也由于得自B的取值而被稱作A的后驗概率。
P(B|A)是已知A發生后B的條件概率，也由于得自A的取值而被稱作B的后驗概率。
P(B)是B的先驗概率或邊緣概率，也作標準化常量（normalized constant）.

按這些術語，Bayes定理可表述為：

后驗概率 = (相似度*先驗概率)/標準化常量，也就是說，后驗概率與先驗概率和相似度的乘積成正比。

另外，比例P(B|A)/P(B)也有時被稱作標準相似度（standardised likelihood），Bayes定理可表述為：

后驗概率 = 標準相似度*先驗概率

?

?

貝葉斯估計

??? 貝葉斯估計是在MAP上做進一步拓展，此時不直接估計參數的值，而是允許參數服從一定概率分布。極大似然估計和極大后驗概率估計，都求出了參數theta的值，而貝葉斯推斷則不是，貝葉斯推斷擴展了極大后驗概率估計MAP（一個是等于，一個是約等于）方法，它根據參數的先驗分布P(theta)和一系列觀察X，求出參數theta的后驗分布P(theta|X)，然后求出theta的期望值，作為其最終值。另外還定義了參數的一個方差量，來評估參數估計的準確程度或者置信度。

貝葉斯公式

現在不是要求后驗概率最大，這樣就需要求,即觀察到的evidence的概率，由全概率公式展開可得

當新的數據被觀察到時，后驗概率可以自動隨之調整。但是通常這個全概率的求法是貝葉斯估計比較有技巧性的地方。

用貝葉斯估計來做預測

如果我們想求一個新值的概率，可以由下面公式來計算。

此時第二項因子在上的積分不再等于1，這就是和MLE及MAP很大的不同點。

轉載于:https://www.cnblogs.com/WegZumHimmel/p/7886066.html

總結

以上是生活随笔為你收集整理的朴素贝叶斯和贝叶斯估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。