關鍵字:

• 拉普拉斯修正(Laplacian correction)
• 懶惰學習(lazy leanring)
• 對數似然(log-likelihood)

拉普拉斯修正(Laplacian correction)

樸素貝葉斯分類器的訓練:

• 基于訓練集D 來估計類先驗概率P(y)
• 基于訓練集D 為每個屬性估計條件概率P(x|y)

因此當在某個訓練集中,樣本的一條特征值 EV 出現概率為 0 時,則會使計算的先驗概率與條件概率的連乘結果為 0

例如 : 在多個特征值 EVi 中EV2 在訓練集 D 中出現的次數,則 P(EVi|yes)=P(EV1 = XX|EV2 = XX|…|EVi = XX|result = yes/no) = ? * 0 * … * ? = 0 / ? = 0

懶惰學習(lazy leanring)

在樸素貝葉斯算法的實際使用中,根據不同的實際情況,可以分為三個情況,懶惰學習只是其中之一:

• 如果任務對預測速度要求較高,則可以先用樸素貝葉斯分類器先對給定訓練集進行訓練,并將最后的計算結果計算好存儲為 “結果表”,這樣在進行預測時只需要查找”結果表”就可以進行預測
• 如果任務數據需要頻繁更替,則可以采用”懶惰學習”(lazy Learning),即先不進行訓練,等到收到預測請求后再根據當前的數據集進行計算
• 如果數據不斷增加,則可在已有的估值基礎上,僅對新增樣本的特征值所涉及的概率估計進行計數修正即可實現增量學習

對數似然(log-likelihood)

使用數值運算時,為了避免連乘操作造成下溢,通常使用對數似然(log-likelihood)

參考書籍:

1.周志華 <<機器學習>>

2.李航 <<統計學習方法>>

總結

以上是生活随笔為你收集整理的朴素贝叶斯分类器(Navie Bayesian Classifier)中的几个要点(一)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。