华为LAB实验室4-朴素贝叶斯
各位好,我是乾頤堂大堂子。領(lǐng)取完整實戰(zhàn)指南可以私信我,關(guān)鍵詞:實戰(zhàn)指南
通過 jieba 文字分詞庫對郵件數(shù)據(jù)集的垃圾郵件和進行文本處理,提取特征。然后調(diào)用 sklearn 機器學(xué)習(xí)庫中的樸素貝葉斯算法訓(xùn)練模型,最后推理測試集中郵件是否為垃圾郵件。
步驟 1 引入相關(guān)依賴的包
步驟 2 構(gòu)建文本處理函數(shù)
?刪除其中的干擾字符,例如【】*。,等等,然后分詞,剩下的詞匯認為是有效詞匯。
步驟3構(gòu)建文本讀取函數(shù)
獲取文件中所有詞,進行文本處理
步驟4構(gòu)建數(shù)據(jù)集
統(tǒng)計全部訓(xùn)練集中每個有效詞匯的出現(xiàn)次數(shù),截取出現(xiàn)次數(shù)最多的前500個根據(jù)預(yù)處理后的垃圾郵件和非垃圾郵件內(nèi)容生成特征向量,統(tǒng)計得到的500個詞語分別在該郵件中的出現(xiàn)概率
得到特征向量和已知郵件分類創(chuàng)建并訓(xùn)練樸素貝葉斯模型。
步驟6模型測試
讀取測試郵件,對郵件文本進行預(yù)處理,提取特征向量。使用訓(xùn)練好的模型,根據(jù)提取的特征向量對郵件進行分類
更多網(wǎng)工提升干貨,請關(guān)注公眾號:乾頤堂網(wǎng)絡(luò)實驗室
總結(jié)
以上是生活随笔為你收集整理的华为LAB实验室4-朴素贝叶斯的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 在matlab中数组运算符,matlab
- 下一篇: WIN10网络重置命令