1.引言

模式識(shí)別是根據(jù)對(duì)象特征值將其分類。d個(gè)特征組成特征向量x=[x1,···,xd]T，生成d維特征空間，在特征空間一個(gè)x稱為一個(gè)模式樣本。
Bayes決策理論是用概率統(tǒng)計(jì)方法研究決策問題。
(1)樣本的不確定性：

• 樣本從總體中抽取，特征值都是隨機(jī)變量，在相同條件下重復(fù)觀測(cè)取值不同,故x為隨機(jī)向量。
• 特征選擇的不完善引起的不確定性；
• 測(cè)量中有隨機(jī)噪聲存在。

(2)從樣本的可分性來看：

• 當(dāng)各類模式特征之間有明顯的可分性時(shí)，可用直線或曲線(面)設(shè)計(jì)分類器，有較好的效果。
• 當(dāng)各類別之間出現(xiàn)混淆現(xiàn)象時(shí)，則分類困難。

如下圖所示：
這時(shí)需要采用統(tǒng)計(jì)方法，對(duì)模式樣本的統(tǒng)計(jì)特性進(jìn)行觀測(cè)，分析屬于哪一類的概率最大。此時(shí)要按照某種判據(jù)分類，如，分類錯(cuò)誤發(fā)生的概率最小，或在最小風(fēng)險(xiǎn)下進(jìn)行分類決策等。

2.貝葉斯決策理論

2.1 貝葉斯公式及分類原則

已知：先驗(yàn)概率P(wi)，類條件概率密度函數(shù)P(x|wi)。那么后驗(yàn)概率為：
其中，全概率密度為： Bayes分類規(guī)則是指用后驗(yàn)概率分類。
在C=2也就是兩類情況下，如果P(w1|x)>P(w2|x),那么我們就有理由認(rèn)為x屬于w1類別。如果P(w1|x)<P(w2|x),則x屬于w2類別。
兩類情況下，bayes分類規(guī)則有幾種等價(jià)形式。下面列出最常使用的四種：
根據(jù)兩類貝葉斯分類情況，我們可以推理到多維問題的貝葉斯分類決策。

2.2 最小錯(cuò)誤率的貝葉斯決策

決策規(guī)則：
誤差概率：
Question1：為什么這樣分類的結(jié)果平均錯(cuò)誤率最小？
在一維特征空間中，t為兩類的分界面分成兩個(gè)區(qū)域R1和R2，R1為(－∞, t)，R2為(t,∞)。
R1區(qū)域所有x值：分類器判定屬于w1類；R2區(qū)域所有x值：分類器判定屬于w2類。判斷錯(cuò)誤區(qū)域?yàn)殛幱鞍鼑娣e。
下面我們來討論一下錯(cuò)誤區(qū)域與錯(cuò)誤率的問題： 真實(shí)狀態(tài)w2，而把模式x判定屬于w1類。
真實(shí)狀態(tài)w1，而把模式x判定屬于w2類。

那么，平均錯(cuò)誤率P(e)：

決策規(guī)則實(shí)際上對(duì)每個(gè)x都使p(e|x)取小者，移動(dòng)決策面t都會(huì)使錯(cuò)誤區(qū)域增大，因此平均錯(cuò)誤率最小。如下圖所示：

錯(cuò)誤率計(jì)算： 多類時(shí)，特征空間分割成 R1,Rc，P(e) 由c×(c-1)項(xiàng)組成，計(jì)算量大。
用平均正確分類率P(c)計(jì)算只有c 項(xiàng)：

典型例題： 已知：正常類P(w1)＝0.9; 異常類P(w2)＝0.1待識(shí)別細(xì)胞x, 從類條件概率密度曲線上查得p(x|w1)＝0.2;p(x|w2)＝0.4。
解：利用Bayes公式分別計(jì)算w1和w2的后驗(yàn)概率:

所以，x應(yīng)該屬于w1類。
這種規(guī)則先驗(yàn)概率起決定作用。這里沒有考慮錯(cuò)誤分類帶來的損失。

2.3?最小風(fēng)險(xiǎn)的Bayes決策

把分類錯(cuò)誤引起的“損失”加入到?jīng)Q策中去。
決策論中： 采取的決策稱為動(dòng)作，用ai表示；每個(gè)動(dòng)作帶來的損失，用λ表示。
在這里，我們先統(tǒng)一一下數(shù)學(xué)符號(hào)。 一般用決策表或損失矩陣表示上述三者關(guān)系。決策表表示各種狀態(tài)下的決策損失，如下表：
由于引入了“損失”的概念 (即在錯(cuò)判時(shí)造成的損失)，不能只根據(jù)后驗(yàn)概率來決策，必須考慮所采取的決策是否使損失最小。對(duì)于給定的x決策ai，λ可在c個(gè)λ(ai,wj)中選一個(gè)，其相應(yīng)的后驗(yàn)概率為P(wj|x)。
此時(shí)的條件期望損失，即后驗(yàn)概率加權(quán)和：

在決策論中條件期望損失稱為條件風(fēng)險(xiǎn)，即x被判為i類時(shí)損失的均值。由于x是隨機(jī)向量的觀察值，不同的x采取不同決策ai，其條件風(fēng)險(xiǎn)的大小是不同的。
決策a可看成隨機(jī)向量x的函數(shù)，記為a(x)，它本身也是一個(gè)隨機(jī)變量。
定義期望風(fēng)險(xiǎn)R：
dx是d維特征空間的體積元，積分在整個(gè)特征空間。
期望風(fēng)險(xiǎn)R反映對(duì)整個(gè)特征空間上所有x的取值都采取相應(yīng)的決策a(x)所帶來的平均風(fēng)險(xiǎn)；而條件風(fēng)險(xiǎn)R(ai|x)只反映觀察到某一x的條件下采取決策ai 所帶來的風(fēng)險(xiǎn)。
如果采取每個(gè)決策行動(dòng)ai使條件風(fēng)險(xiǎn)R(ai|x)最小，則對(duì)所有的x作出決策時(shí)，其期望風(fēng)險(xiǎn)R也必然最小。 這就是最小風(fēng)險(xiǎn)Bayes決策。

2.4 其他

在基本貝葉斯基礎(chǔ)之上還產(chǎn)生了高斯分布的貝葉斯決策、樸素貝葉斯決策等多中高級(jí)分類器，可以參考其他參考書籍學(xué)習(xí)。

總結(jié)

以上是生活随笔為你收集整理的基于贝叶斯决策理论的分类器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。