Bayes決策理論（一）：最小錯誤率和最小風險決策

Bayes定理

符號：wi 表示類別；x表示待分類的樣本或者其特征；p(wi)為類別的先驗概率，表示每個類別在所有類別中出現的概率；p(x|wi)為wi的先驗概率，表示已知類別為wi的情況下x出現的概率；p(wi|x)為wi的后驗概率，表示出現x的情況下x屬于類別wi的概率。
使用Bayes定理分類的基本思想就是，通過待識別樣本x或其特征，判斷其屬于哪個類別wi的概率更大。
Bayes公式：

根據Bayes公式，我們要求未知樣本x的屬于類別wi的概率p(wi|x)，就需要知道所有類別的p(wi)和p(x|wi)。而p(wi)和p(x|wi)通常經過大量的訓練樣本和假設條件獲得

最小錯誤率決策

最小錯誤率決策指將樣本分錯的概率最小，那么換句話說就是在對樣本進行分類的時候分為正確類別的概率最大。也就是說，我們把使得后驗概率p(wi|x)最大的wi作為x的判定類別。因為p(wi|x)最大即表示x屬于wi的概率最大，也就是x被判錯的概率最小。

最小風險決策

有時候，我們會遇到一些這樣的情況：比如將一個有毒的蘑菇判斷為無毒的蘑菇，它帶來的后果很嚴重；而將無毒的蘑菇判定為有毒的蘑菇的后果相對輕很多。
因此，在做分類決策時就要考慮每一個判定的風險，為了使整體風險最小，一種最小風險決策的方法，如下所述。
假設現在有一個二分類的問題，p1(e)是第一類被錯判為第二類的概率，p2(e)是第二類被錯判為第一類的概率；第一類被錯判為第二類的風險（后果）為λ21，第二類被錯判為第一類的風險（后果）為λ12。第一類的概率為p(w1)，第二類的概率p(w2)。則做一個判斷的平局風險為：
R = λ21×p1(e)×p(w1) + λ12×p2(e)×p(w2)

使得R最小的決策邊界為：

總結

以上是生活随笔為你收集整理的Bayes决策理论（一）：最小错误率和最小风险决策的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。