文章目錄

• • • • I . 貝葉斯分類器
      • II . 貝葉斯推斷 ( 逆向概率 )
      • III . 貝葉斯推斷 應用場景 ( 垃圾郵件過濾 )
      • IV . 貝葉斯方法 由來
      • V . 貝葉斯方法
      • VI . 貝葉斯公式
      • VII . 貝葉斯公式 ③ 推導過程
      • VIII . 使用貝葉斯公式求逆向概率

I . 貝葉斯分類器

---

1 . 貝葉斯分類器 :

① 原理 : 基于統計學方法貝葉斯 ( Bayes ) 理論 , 預測樣本某個屬性的分類概率 ;

② 性能分析 : 樸素貝葉斯 分類器 , 與 決策樹 , 神經網絡 分類器 性能基本相同 , 性能指標處于同一數量級 , 適合大數據處理 ;

2 . 貝葉斯分類器的類型 :

① 樸素貝葉斯分類器 : 樣本屬性都是獨立的 ;

② 貝葉斯信念網絡 : 樣本屬性間有依賴關系的情況 ;

決策樹 , 貝葉斯 , 神經網絡 都是機器學習的核心方法

II . 貝葉斯推斷 ( 逆向概率 )

---

1 . 貝葉斯推斷 : 是統計學方法 , 貝葉斯定理的應用 , 用于估算統計量的性質 ;

2 . 正向概率 與 逆向概率 :

① 正向概率 : 盒子中有 $N$ 個白球 , $M$ 個黑球 , 摸出黑球的概率是 $\frac{\mathrm{M}}{\mathrm{N}+\mathrm{M}}$ ;

② 逆向概率 : 事先不知道盒子中白球和黑球的數量 , 任意摸出 $X$ 個球 , 通過觀察這些球的顏色 , 推測盒子中有多少白球 , 多少黑球 ;

III . 貝葉斯推斷 應用場景 ( 垃圾郵件過濾 )

---

1 . 傳統垃圾郵件過濾方法 :

① 關鍵詞法 : 識別特定詞語 , 識別 “發票” “培訓” 等關鍵字 ;

② 檢驗碼法 : 計算郵件中文本的校驗碼 , 與已知的垃圾郵件對比 ;

③ 效果 : 關鍵詞法 和 校驗碼法 對垃圾郵件的識別效果不好 , 容易規避 ;

④ 問題本質 : 垃圾郵件過濾是二元分類問題 , 針對每個郵件 , 都需要判定其是否是垃圾郵件 ,

2 . 貝葉斯推斷過濾垃圾郵件 :

① 效果 : 準確性很高 , 并且沒有誤判 ;

② 原理 : 貝葉斯推斷的垃圾郵件過濾器有學習能力 , 收到的郵件越多 , 訓練集越大 , 判定越準確 ;

IV . 貝葉斯方法 由來

---

1 . 貝葉斯方法 由來 :

① 現實情況 : 現實世界本身的狀況復雜 , 不確定性很大 , 人的觀察能力也有限 ;

② 人的應對方案 : 多數情況下 , 只能根據觀察到的結果 , 來估算實際的情況 ;

2 . 貝葉斯 處理 逆向概率 問題示例 :

① 盒子白球黑球問題 : 從盒子中取出白球和黑球 , 不知道盒子中有多少白球和黑球 , 只能根據從盒子中取出球的情況 , 估算盒子中的白球和黑球數 ;

② 互聯網垃圾郵件問題 : 互聯網中發送郵件 , 有多少是正常郵件 , 有多少是垃圾郵件是不知道的 , 只能根據當前收到的垃圾郵件 , 反向估算實際情況 ;

V . 貝葉斯方法

---

貝葉斯方法 :

① 提出假設 : 給出樣本屬性的 不同類型 的猜測的 屬性值 , 如 : 郵件是否是垃圾郵件 , 是 或者 否 ;

② 計算每種取值的可能性 : 計算每種猜測的可能性 ;

③ 確定猜測 : 選取可能性最大的猜測 , 作為貝葉斯推斷的結果 ;

VI . 貝葉斯公式

---

1 . 貝葉斯公式 :

公式 ①

$$P(B|A)=\frac{P(A|B)\times P(B)}{P(A|B)\times P(B)+P(A|～B)\times P(～B)}$$

簡寫形式 :

公式 ②

$$P(B|A)=\frac{P(AB)}{P(A)}$$

或

公式 ③

$$P(B|A)=\frac{P(B)\times P(A|B)}{P(A)}$$

2 . 公式中的事件說明 : 有兩個事件 , 事件 $A$ , 和事件 $B$ ;

3 . 概率的表示方法 :

① 事件 $A$ 發生的概率 : 表示為 $P(A)$ ;

② 事件 $B$ 發生的概率 : 表示為 $P(B)$ ;

③ $AB$兩個事件同時發生的概率 : 表示為 $P(A,B)$ ;

④ 事件 $A$ 發生時 $B$ 發生的概率 : 表示為 $P(B|A)$ ;

VII . 貝葉斯公式 ③ 推導過程

---

1 . 事件 $A$ 和 $B$ 同時發生的概率 ( 第 $1$ 種求法 ) :

① 先求 $A$ 發生的概率 : $P(A)$

② 再求 $A$ 發生時 $B$ 發生的概率 : $P(B|A)$

③ $AB$ 同時發生的概率 : $P(A,B)=P(A)\times P(B|A)$

2 . 事件 $A$ 和 $B$ 同時發生的概率 ( 第 $2$ 種求法 ) :

① 先求 $B$ 發生的概率 : $P(B)$

② 再求 $B$ 發生時 $A$ 發生的概率 : $P(A|B)$

③ $AB$ 同時發生的概率 : $P(A,B)=P(B)\times P(A|B)$

3 . 公式 ③ 推導過程 :

$P(A)\times P(B|A)$ 與 $P(B)\times P(A|B)$ 兩個公式是等價的 , 可推導出如下公式 :

$$P(A)\times P(B|A)=P(B)\times P(A|B)$$

$$P(B|A)=\frac{P(B)\times P(A|B)}{P(A)}$$

VIII . 使用貝葉斯公式求逆向概率

---

使用貝葉斯公式求逆向概率 :

知道 $B$ 發生時 , $A$ 發生的概率 $P(A|B)$ , 求其逆概率 : $A$ 發生時 , $B$ 發生的概率 $P(B|A)$ ;

可將已知的 $P(A|B)$ 概率 , 和 $AB$ 單獨發生的概率 $P(A)$ , $P(B)$ , 代入如下公式 :

$$P(B|A)=\frac{P(B)\times P(A|B)}{P(A)}$$

即可得到其逆概率 , $B$ 發生時 , $A$ 發生的概率 ;

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的【数据挖掘】贝叶斯分类 ( 贝叶斯分类器 | 贝叶斯推断 | 逆向概率 | 贝叶斯公式 | 贝叶斯公式推导 | 使用贝叶斯公式求逆向概率 )的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。