华为LAB实验室4-朴素贝叶斯
各位好,我是乾頤堂大堂子。領(lǐng)取完整實(shí)戰(zhàn)指南可以私信我,關(guān)鍵詞:實(shí)戰(zhàn)指南
通過 jieba 文字分詞庫對(duì)郵件數(shù)據(jù)集的垃圾郵件和進(jìn)行文本處理,提取特征。然后調(diào)用 sklearn 機(jī)器學(xué)習(xí)庫中的樸素貝葉斯算法訓(xùn)練模型,最后推理測試集中郵件是否為垃圾郵件。
步驟 1 引入相關(guān)依賴的包
步驟 2 構(gòu)建文本處理函數(shù)
?刪除其中的干擾字符,例如【】*。,等等,然后分詞,剩下的詞匯認(rèn)為是有效詞匯。
步驟3構(gòu)建文本讀取函數(shù)
獲取文件中所有詞,進(jìn)行文本處理
步驟4構(gòu)建數(shù)據(jù)集
統(tǒng)計(jì)全部訓(xùn)練集中每個(gè)有效詞匯的出現(xiàn)次數(shù),截取出現(xiàn)次數(shù)最多的前500個(gè)根據(jù)預(yù)處理后的垃圾郵件和非垃圾郵件內(nèi)容生成特征向量,統(tǒng)計(jì)得到的500個(gè)詞語分別在該郵件中的出現(xiàn)概率
得到特征向量和已知郵件分類創(chuàng)建并訓(xùn)練樸素貝葉斯模型。
步驟6模型測試
讀取測試郵件,對(duì)郵件文本進(jìn)行預(yù)處理,提取特征向量。使用訓(xùn)練好的模型,根據(jù)提取的特征向量對(duì)郵件進(jìn)行分類
更多網(wǎng)工提升干貨,請(qǐng)關(guān)注公眾號(hào):乾頤堂網(wǎng)絡(luò)實(shí)驗(yàn)室
總結(jié)
以上是生活随笔為你收集整理的华为LAB实验室4-朴素贝叶斯的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 在matlab中数组运算符,matlab
- 下一篇: WIN10网络重置命令