一、分類問題

分類實際上是我們在日常生活中經(jīng)常使用的。比如說，在工作中，把自己手頭的任務(wù)分為輕重緩急，然后按照優(yōu)先級去完成它們。

樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設(shè)的分類方法。

從數(shù)學(xué)的角度看C={c1,c2,…,ck}是類別的集合，集合X={x1,x2,…,xk}是輸入集合 。這里，對于給定的輸入x計算后驗概率最大的c。

二、概率相關(guān)

由

P(X,Y)=P(X|Y)P(Y)=P(Y|X)P(X)
得
P(Y|X)=P(X|Y)P(Y)P(X)（1）

P(X,Y)是X和Y的聯(lián)合分布,訓(xùn)練數(shù)據(jù)集

T={(x1,y1),(x2,y2),…,(xn,yn)}
是由 P(X,Y)獨立同分布產(chǎn)生的。

三、樸素貝葉斯方法

對于給定的輸入x, 需要輸出y,使得P(Y=ck|X=x)最大。由1式可知，分母是常數(shù)，我們使分子的最大化即可。

其中，P(Y=ck),k=1,2,…,K 稱為先驗概率分布。這項可以簡單的求出。

P(X=x|Y=ck)=P(X(1)=x(1),…,X(n)=x(n)|Y=ck)

由于上式有指數(shù)型的參數(shù)，所以很難估計，為了便于計算，假設(shè)輸入向量x的各個特征之間是條件獨立的：
P(X=x|Y=ck)=P(X(1)=x(1),…,X(n)=x(n)|Y=ck)=∏j=1nP(X(j)=x(j)|Y=ck)
這也是樸素貝葉斯名字的來源。

則，最終結(jié)果

y=f(x)=argmaxckP(Y=ck)∏j=1nP(X(j)=x(j)|Y=ck)

四、總結(jié)

樸素貝葉斯實際上是學(xué)到生成數(shù)據(jù)的機制，即它是生成模型。條件獨立的假設(shè)說明分類特征是條件獨立的，這個假設(shè)使得計算大大簡化，但是有時也犧牲了一定的準(zhǔn)確性。

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记（五）——朴素贝叶斯分类的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。