第4章 樸素貝葉斯法

樸素貝葉斯 (naive Bayes) 法是基于貝葉斯定理與特征條件獨立假設的分類方法。對于給定的訓練數據集，首先基于特征條件獨立假設學習輸入/輸出的聯合概率分布；然后基于此模型，對給定的輸入x，利用貝葉斯定理求出后驗概率最大的輸出Y。

4.1 樸素貝葉斯法的學習與分類

基本方法 樸素貝葉斯法通過訓練數據集學習X和Y的聯合概率分布 P(X,Y)。 具體地，學習以 下先驗概率分布及條件概率分布。 先驗概率分布 條件概率分布
條件概率分布有指數級數量的參數，其估計實際是不可行的。樸素貝葉斯法對條件概率分布作了條件獨立性的假設。條件獨立性假設是說用于分類的特征在類確定的條件下都是條件獨立的。 樸素貝葉斯法實際上學習到生成數據的機制，所以屬于生成模型。 樸素貝葉斯法通過最大后驗概率(MAP)準則進行類的判決，基于貝葉斯定理，后驗概率為： 分母相同，則分類器可表示為 ? 后驗概率最大化等價于0-1損失函數時的期望風險最小化。

4.2 樸素貝葉斯法的參數估計

極大似然估計 先驗概率的極大似然估計： ?? 設第j個特征x^(j)可能取值的集合為，條件概率的極大似然估計： ? ? 總結算法： 貝葉斯估計 用極大似然估計可能會出現所要估計的概率值為0的情況，使分類產生偏差，解決這一問題的方法是采用貝葉斯估計。條件概率的貝葉斯估計為：
式中lamda>=0。等價于在隨機變量各個取值的頻數上賦予一個正數。常取lamda=1，稱為拉普拉斯平滑( Laplace smoothing)。同樣，先驗概率的貝葉斯估計為：

總結

以上是生活随笔為你收集整理的统计学习方法第四章朴素贝叶斯法-李航的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。