一、極大似然估計

在上一筆記中，經過推導，得到了樸素貝葉斯分類器的表示形式：

y=argmaxckP(Y=ck)∏jP(X(j)=x(j)|Y=ck)(1)

也就是說，樸素貝葉斯方法的學習是對概率P(Y=ck)和P(X(j)=x(j)|Y=ck)的估計。故可以用極大似然估計法估計上述先驗概率和條件概率。

---

先驗概率P(Y=ck)的極大似然估計為：

P(Y=ck)=∑Ni=1I(yi=ck)N,k=1,2,…,K

條件概率P(X(j)=ajl|Y=ck)的極大似然估計是：

P(X(j)=ajl|Y=ck)=∑Ni=1I(x(j)i=ajl,yi=ck)∑Ni=1I(yi=ck)
其中， x(j)i是第i個樣本的第j個屬性； ajl是第j個屬性可能取l的值； I是指示函數。

---

將上述兩個極大似然估計的值求出后，根據（1）式確定輸入實例的分類。

二、貝葉斯估計

由（1）式可以得知，用極大似然估計可能導致估計出來的概率為0的情況，這會影響后驗概率的計算結果，使得后驗概率為0，解決這一問題的方法是采用貝葉斯估計。

---

先驗概率Pλ(Y=ck)的貝葉斯估計是：
P(Y=ck)=∑Ni=1I(yi=ck)+λN+Kλ

條件概率Pλ(X(j)=ajl|Y=ck)的極大似然估計是：

Pλ(X(j)=ajl|Y=ck)=∑Ni=1I(x(j)i=ajl,yi=ck)+λ∑Ni=1I(yi=ck)+Sjλ

上式中，λ≥0，等價于在隨機變量各個取值的頻數上加上一個正數λ>0。當λ=0時就是極大似然估計。取λ=1稱為拉普拉斯平滑（Laplace smoothing）。

顯然對于任何l=1,2,…,Sj;k=1,2,…,K有：

Pλ(X(j)=ajl|Y=ck)>0
∑l=1SjP(X(j)=ajl|Y=ck)=1

總結

樸素貝葉斯方法的原理和重點內容到目前用了三節內容就重點學習完了，接下來會進一步學習跟貝葉斯相關的貝葉斯網絡的內容。

總結

以上是生活随笔為你收集整理的机器学习笔记（六）——朴素贝叶斯法的参数估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。