本課程是中國大學(xué)慕課《機(jī)器學(xué)習(xí)》的“樸素貝葉斯”章節(jié)的課后代碼。

課程地址：

https://www.icourse163.org/course/WZU-1464096179

課程完整代碼：

https://github.com/fengdu78/WZU-machine-learning-course

代碼修改并注釋：黃海廣，haiguang2000@wzu.edu.cn

1．樸素貝葉斯法是典型的生成學(xué)習(xí)方法。生成方法由訓(xùn)練數(shù)據(jù)學(xué)習(xí)聯(lián)合概率分布，然后求得后驗概率分布。具體來說，利用訓(xùn)練數(shù)據(jù)學(xué)習(xí)和的估計，得到聯(lián)合概率分布：

＝

概率估計方法可以是極大似然估計或貝葉斯估計。

2．樸素貝葉斯法的基本假設(shè)是條件獨立性，

這是一個較強(qiáng)的假設(shè)。由于這一假設(shè)，模型包含的條件概率的數(shù)量大為減少，樸素貝葉斯法的學(xué)習(xí)與預(yù)測大為簡化。因而樸素貝葉斯法高效，且易于實現(xiàn)。其缺點是分類的性能不一定很高。

3．樸素貝葉斯法利用貝葉斯定理與學(xué)到的聯(lián)合概率模型進(jìn)行分類預(yù)測。

將輸入分到后驗概率最大的類。

后驗概率最大等價于0-1損失函數(shù)時的期望風(fēng)險最小化。

模型：

• 高斯模型

• 多項式模型

• 伯努利模型

import?numpy?as?np import?pandas?as?pd from?sklearn.datasets?import?load_iris from?sklearn.model_selection?import?train_test_split from?collections?import?Counter import?math#?data def?create_data():iris?=?load_iris()df?=?pd.DataFrame(iris.data,?columns=iris.feature_names)df['label']?=?iris.targetdf.columns?=?['sepal?length',?'sepal?width',?'petal?length',?'petal?width',?'label']data?=?np.array(df.iloc[:100,?:])#?print(data)return?data[:,?:-1],?data[:,?-1]X,?y?=?create_data() X_train,?X_test,?y_train,?y_test?=?train_test_split(X,?y,?test_size=0.3)X_test[0],?y_test[0](array([5.1, 3.8, 1.9, 0.4]), 0.0)

參考：https://machinelearningmastery.com/naive-bayes-classifier-scratch-python/

GaussianNB 高斯樸素貝葉斯

特征的可能性被假設(shè)為高斯

概率密度函數(shù)：

數(shù)學(xué)期望(mean)：

方差：

class?NaiveBayes:def?__init__(self):self.model?=?None#?數(shù)學(xué)期望@staticmethoddef?mean(X):return?sum(X)?/?float(len(X))#?標(biāo)準(zhǔn)差（方差）def?stdev(self,?X):avg?=?self.mean(X)return?math.sqrt(sum([pow(x?-?avg,?2)?for?x?in?X])?/?float(len(X)))#?概率密度函數(shù)def?gaussian_probability(self,?x,?mean,?stdev):exponent?=?math.exp(-(math.pow(x?-?mean,?2)?/(2?*?math.pow(stdev,?2))))return?(1?/?(math.sqrt(2?*?math.pi)?*?stdev))?*?exponent#?處理X_traindef?summarize(self,?train_data):summaries?=?[(self.mean(i),?self.stdev(i))?for?i?in?zip(*train_data)]return?summaries#?分類別求出數(shù)學(xué)期望和標(biāo)準(zhǔn)差def?fit(self,?X,?y):labels?=?list(set(y))data?=?{label:?[]?for?label?in?labels}for?f,?label?in?zip(X,?y):data[label].append(f)self.model?=?{label:?self.summarize(value)for?label,?value?in?data.items()}return?'gaussianNB?train?done!'#?計算概率def?calculate_probabilities(self,?input_data):#?summaries:{0.0:?[(5.0,?0.37),(3.42,?0.40)],?1.0:?[(5.8,?0.449),(2.7,?0.27)]}#?input_data:[1.1,?2.2]probabilities?=?{}for?label,?value?in?self.model.items():probabilities[label]?=?1for?i?in?range(len(value)):mean,?stdev?=?value[i]probabilities[label]?*=?self.gaussian_probability(input_data[i],?mean,?stdev)return?probabilities#?類別def?predict(self,?X_test):#?{0.0:?2.9680340789325763e-27,?1.0:?3.5749783019849535e-26}label?=?sorted(self.calculate_probabilities(X_test).items(),key=lambda?x:?x[-1])[-1][0]return?labeldef?score(self,?X_test,?y_test):right?=?0for?X,?y?in?zip(X_test,?y_test):label?=?self.predict(X)if?label?==?y:right?+=?1return?right?/?float(len(X_test))model?=?NaiveBayes()model.fit(X_train,?y_train)'gaussianNB train done!'print(model.predict([4.4,??3.2,??1.3,??0.2]))0.0model.score(X_test,?y_test)1.0

scikit-learn實例

from?sklearn.naive_bayes?import?GaussianNB,?BernoulliNB,?MultinomialNB #?高斯模型、伯努利模型和多項式模型clf?=?GaussianNB() clf.fit(X_train,?y_train)GaussianNB(priors=None, var_smoothing=1e-09)clf.score(X_test,?y_test)1.0clf.predict([[4.4,??3.2,??1.3,??0.2]])array([0.])

參考

• Prof. Andrew Ng. Machine Learning. Stanford University

• 李航，《統(tǒng)計學(xué)習(xí)方法》，清華大學(xué)出版社

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載黃海廣老師《機(jī)器學(xué)習(xí)課程》視頻課黃海廣老師《機(jī)器學(xué)習(xí)課程》711頁完整版課件

本站qq群955171419，加入微信群請掃碼：

總結(jié)

以上是生活随笔為你收集整理的【机器学习】朴素贝叶斯代码练习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。