貝葉斯定理

首先是條件概率公式如下：

P(A|B)=P(B|A)P(A)P(B)P(A|B)=P(B|A)P(A)P(B)
為了方便理解，可以參考下圖

圖1 條件概率

已知兩個獨立事件AA和BB，那么事件BB發(fā)生的前提下，事件AA發(fā)生的概率可以表示為P(A|B)P(A|B)，即上圖中橙色部分占紅色部分的比例，那么P(A|B)P(A|B)就可以表示為P(AB)P(B)P(AB)P(B)，同理可以得到P(B|A)=P(AB)P(A)P(B|A)=P(AB)P(A)，再整理下就可以得到貝葉斯公式了。

再介紹下全概率公式

P(B)=∑i=1nP(Ai)P(B|Ai)P(B)=∑i=1nP(Ai)P(B|Ai)
簡單的推理其實就是在完備事件 AA中，事件BB發(fā)生的概率 P(B)=P(A,B)P(B)=P(A,B)，若將完備事件劃分為n個互斥事件 {A1,A2,...,An}{A1,A2,...,An}，則 P(B)=∑ni=1P(Ai,B)P(B)=∑i=1nP(Ai,B)，通過貝葉斯公式就可以得到上述全概率公式。具體可以參考下圖輔助理解

圖2 全概率

以上圖中A5A5為例，根據(jù)條件概率公式可以知道P(A5|B)=P(B|A5)P(A5)P(B)P(A5|B)=P(B|A5)P(A5)P(B)，再利用可以利用全概率公式則可以得到P(A5|B)=P(B|A5)P(A5)∑5i=1P(Ai)P(B|Ai)P(A5|B)=P(B|A5)P(A5)∑i=15P(Ai)P(B|Ai)

那么經(jīng)典帥氣的貝葉斯公式如下：

P(Ai|B)=P(B|Ai)P(Ai)P(B)=P(B|Ai)P(Ai)∑nj=1P(Aj)P(B|Aj)P(Ai|B)=P(B|Ai)P(Ai)P(B)=P(B|Ai)P(Ai)∑j=1nP(Aj)P(B|Aj)

貝葉斯決策

貝葉斯決策就是利用貝葉斯理論進行決策分類，是統(tǒng)計機器學(xué)習(xí)的基本方法之一，以前導(dǎo)師曾說過，如果你的理論推導(dǎo)能夠結(jié)合貝葉斯決策理論，那會給論文加分不少。現(xiàn)在流行的深度學(xué)習(xí)本身是基于神經(jīng)網(wǎng)絡(luò)的，但由于需要大數(shù)據(jù)的支持，因此也可以通過統(tǒng)計機器學(xué)習(xí)方法來進行分析和論證，具體的結(jié)合方法可以參考SegNet里面的貝葉斯方法，接下來要講的就是具體的貝葉斯決策方法。
很多時候吶，在模式識別的問題里，我們只能夠觀察到一系列的特征x=[x1,x2,...,xn]Tx=[x1,x2,...,xn]T，那么如何對這一系列的觀察值進行分類吶？在統(tǒng)計機器學(xué)習(xí)里面，就是求解概率P(ωi|x)P(ωi|x)，可以理解為在觀察到特征xx的前提下，觀察到的現(xiàn)象屬于ωiωi類的概率是多大。
還是以書上最常用的觀察細胞特征并判斷細胞是否正常的栗子來說明（唔~你可以認為我是懶得舉別的栗子），首先是已知條件，觀察到的細胞特征是n維向量x=[x1,x2,...,xn]Tx=[x1,x2,...,xn]T，細胞分為正常細胞ω1ω1類和異常細胞ω2ω2類；當然P(ω1)+P(ω2)=1P(ω1)+P(ω2)=1，如果僅從先驗概率P(ω1)P(ω1)和P(ω2)P(ω2)對細胞進行分類，合理的方法是：當P(ω1)>P(ω2)P(ω1)>P(ω2)時，認為是正常細胞，反之則是異常細胞；但實際不可能這么做，因為一般情況下先驗概率都是個常量，而且我們對細胞的分類是會隨著觀察值的改變而改變的，那么如果我們現(xiàn)在觀察到了細胞特征xx，在特征xx的基礎(chǔ)上要判斷細胞是屬于哪一類，就是要判斷P(ω1|x)P(ω1|x)和P(ω2|x)P(ω2|x)的大小。

圖3

結(jié)合貝葉斯公式，可以知道P(ω1|x)=P(x|ω1)P(ω1)∑2i=1P(x|ωi)P(ωi)P(ω1|x)=P(x|ω1)P(ω1)∑i=12P(x|ωi)P(ωi)，那么就把求解P(ωi|x)P(ωi|x)轉(zhuǎn)變?yōu)榱饲蠼庀闰灨怕?span id="ozvdkddzhkzd" class="MathJax_Preview" style="color: inherit; display: none;">P(ωi)P(ωi)和條件概率P(x|ωi)P(x|ωi)，唔，怎么說呢，其實這兩個概率應(yīng)該是都可以通過采樣獲取的，結(jié)合上圖，可以理解為P(ωi)P(ωi)就是對完備事件的劃分ω1ω1和ω2ω2的面積比例，P(x|ωi)P(x|ωi)就是在ωiωi劃的區(qū)域內(nèi)x所占的面積比例（P(x|ω1)P(x|ω1)就是橙色所占黃色的比例）
以上，在貝葉斯決策里，我們通常要求解的P(ωi|x)P(ωi|x)被稱作后驗概率，P(ωi)P(ωi)被稱作先驗概率，P(x|ωi)P(x|ωi)被稱作觀察x的類條件概率，當然《模式識別（第二版）》那本書上用的是條件概率密度，嗯，其實也就是觀察值的連續(xù)函數(shù)，在很多的問題當中，是要對這個概率密度函數(shù)的參數(shù)進行估計才能繼續(xù)求解的，因此貝葉斯決策理論很多時候都是建立在強假設(shè)條件下；當然，貝葉斯決策也有損失函數(shù)，那么基于損失函數(shù)就會有很多不同的決策方法，例如基于最小錯誤率、最小風(fēng)險等。

最小錯誤率貝葉斯決策

試著將圖3轉(zhuǎn)換一下，首先，觀察到xx的概率P(x)P(x)可以被看作是一個常量（這里應(yīng)該可以看作事件B在完備集中的概率是一定的，即圖3中圓形面積是一定的，那么其觀測值一定是落在圓形區(qū)域范圍之內(nèi)，也就是一定的），根據(jù)貝葉斯公式，P(ωi|x)P(ωi|x)就正比于條件概率密度函數(shù)p(x|ωi)p(x|ωi)，P(ωi|x)∝p(x|ωi)P(ωi|x)∝p(x|ωi)（這里不是概率了，如果是在具體的問題中，可以用概率PP對最終結(jié)果進行求解，但這里是一般性的推導(dǎo)，所以就將其轉(zhuǎn)換為對應(yīng)的概率密度函數(shù)了，額，不知道怎么說會不會有BUG），那么這個概率密度函數(shù)的圖像又是什么樣的吶？假定xx是一維的，那么圖3對應(yīng)的概率密度函數(shù)圖像可能如下圖所示

圖4 條件概率密度函數(shù)曲線

橫坐標是觀察值 xx的取值，根據(jù)概率密度函數(shù)就可以得到P(x|ωi)P(x|ωi)，那么在什么情況下會出現(xiàn)錯誤分類的情況呢？假定圖4中觀察到的 x0x0是屬于 ω2ω2類的，但此時根據(jù)概率密度函數(shù)有 p(x0|ω1)>p(x0|ω2)p(x0|ω1)>p(x0|ω2)，貝葉斯決策就會將 x0x0歸為 ω1ω1類。以 P(e)P(e)來表示貝葉斯決策的平均錯誤率，定義為
P(e)=∫+∞?∞P(e,x)dx=∫+∞?∞P(e|x)P(x)dxP(e)=∫?∞+∞P(e,x)dx=∫?∞+∞P(e|x)P(x)dx
對于 P(e,x)P(e,x)，可以理解為在觀測到 xx時并且將xx錯誤分類的概率，參考圖4中的 x0x0，通過條件概率公式就可以得到 P(e|x)P(x)P(e|x)P(x)。對于二分類問題，我們可以令
P(e|x)={P(ω1|x)??when??p(ω1|x)<p(ω2|x)P(ω2|x)??when??p(ω1|x)>p(ω2|x)P(e|x)={P(ω1|x)whenp(ω1|x)<p(ω2|x)P(ω2|x)whenp(ω1|x)>p(ω2|x)
其實就是原本屬于 ω1ω1類但觀察值 xx出現(xiàn)在圖4中虛線右邊，或者原本屬于ω2ω2類但觀察值 xx出現(xiàn)在虛線左邊（嗯，對的，就是圖4中兩個波峰重疊的部分），假定虛線處的橫坐標值為tt，這樣就可以把 P(e)P(e)的積分部分拆分為兩個部分求和，即
P(e)=∫+∞?∞P(e|x)P(x)dx=∫t?∞P(ω2|x)P(x)dx+∫+∞tP(ω1|x)P(x)dx=∫t?∞p(x|ω2)P(ω2)dx+∫+∞tp(x|ω1)P(ω1)dx=P(ω2)P(e2)+P(ω1)P(e1)P(e)=∫?∞+∞P(e|x)P(x)dx=∫?∞tP(ω2|x)P(x)dx+∫t+∞P(ω1|x)P(x)dx=∫?∞tp(x|ω2)P(ω2)dx+∫t+∞p(x|ω1)P(ω1)dx=P(ω2)P(e2)+P(ω1)P(e1)
嗯，對，上式我跳步了，有需要的自己看下書，謝謝！以上，可以看到平均錯誤率其實就是圖4中重疊部分的面積，其中虛線可以被看作是一個決策分界， x>tx>t的時就將其分類到 ω2ω2類，反之亦然。以此推廣到 nn維空間的話，就有
P(e)=∑i=1n∑j=1j≠inP(x∈Rj|ωi)P(ωi)P(e)=∑i=1n∑j=1j≠inP(x∈Rj|ωi)P(ωi)
額，其實上面都在抄書，只是為了證明，普通情況下，這樣的貝葉斯決策是基于最小錯誤率的。當然，在這種情況下，都是假定每次決策錯誤的風(fēng)險都是一樣，如果做出錯誤決策的風(fēng)險不一樣了，怎么辦？

最小風(fēng)險貝葉斯決策

那么，如果做每一項決定的時候都有風(fēng)險，那么如何使得貝葉斯決策的風(fēng)險最小吶?這里還是用觀察細胞狀態(tài)的栗子來進行說明，如果將異常細胞判斷為了正常細胞，就有可能耽誤就診，其風(fēng)險就大于將正常細胞誤判為異常細胞的風(fēng)險。此時最小錯誤率的決策方法就不適合了，那么為了使風(fēng)險減小，就需要移動圖4中虛線的位置，要使得風(fēng)險更大的那類錯誤分類更小，如下圖所示

圖5 最小風(fēng)險貝葉斯決策

定義決策風(fēng)險系數(shù) λ(α,ω)λ(α,ω)是一個關(guān)于真實狀態(tài)（ ωω）和決策（ αα）的函數(shù)，那么根據(jù)期望的定義可以知道采取決策 αiαi決策期望風(fēng)險 R(αi|x)=∑nj=1λ(αi,ωj)P(ωj|x)R(αi|x)=∑j=1nλ(αi,ωj)P(ωj|x)，期望風(fēng)險
R=∫R(α(x)|x)p(x)dxR=∫R(α(x)|x)p(x)dx
唔~上式還是抄書的。其實吶，說了辣么多，在實際操作的時候，就是在根據(jù)貝葉斯公式求解出 P(ωi|x)P(ωi|x)之后，再乘以對應(yīng)風(fēng)險系數(shù) λλ得到風(fēng)險值，最后根據(jù)風(fēng)險值進行決策就好了。
另外一點，最小錯誤率貝葉斯決策就是在0-1損失函數(shù)條件下（也就是說風(fēng)險均等，任何錯誤的損失系數(shù)都為1）的最小風(fēng)險貝葉斯決策

其他的決策方法

還有比如最大最小決策、序貫分類方法等這里就不提了（不提別當作沒有啊）

---

以上主要是我自己對貝葉斯決策的理解，當然有很多其實是抄書，但是多少附加了自己的理解上去，可能不對，請幫忙指出我好改正，謝謝！
其實是我懶，不想寫后面的，下次再說吧

總結(jié)

以上是生活随笔為你收集整理的贝叶斯决策理论之入门篇的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。