Py之SnowNLP：SnowNLP中文處理包的簡介、安裝、使用方法、代碼實(shí)現(xiàn)之詳細(xì)攻略

?

?

?

目錄

SnowNLP的簡介

SnowNLP的安裝

SnowNLP的使用方法

關(guān)于訓(xùn)練

---

?

?

?

SnowNLP的簡介

? ? ? ? ?snowNLP是國人開發(fā)的python類庫，可以方便的處理中文文本內(nèi)容，是受到了TextBlob的啟發(fā)而寫的。

snownlp主要可以進(jìn)行中文分詞（算法是Character-Based Generative Model）、詞性標(biāo)注、情感分析、文本分類（原理是樸素貝葉斯）、轉(zhuǎn)換拼音、繁體轉(zhuǎn)簡體、提取文本關(guān)鍵詞（原理TextRank）、提取摘要（原理TextRank）、分割句子、文本相似（原理BM25）。官網(wǎng)還有更多關(guān)于該庫的介紹。

• 中文分詞（Character-Based Generative Model）
• 詞性標(biāo)注（TnT?3-gram 隱馬）
• 情感分析（現(xiàn)在訓(xùn)練數(shù)據(jù)主要是買賣東西時(shí)的評價(jià)，所以對其他的一些可能效果不是很好，待解決）
• 文本分類（Naive Bayes）
• 轉(zhuǎn)換成拼音（Trie樹實(shí)現(xiàn)的最大匹配）
• 繁體轉(zhuǎn)簡體（Trie樹實(shí)現(xiàn)的最大匹配）
• 提取文本關(guān)鍵詞（TextRank算法）
• 提取文本摘要（TextRank算法）
• tf，idf
• Tokenization（分割成句子）
• 文本相似（BM25）
• 支持python3（感謝erning）

github:SnowNLP: Simplified Chinese Text Processing
snownlp pypi

?

SnowNLP的安裝

pip install snownlp

?

SnowNLP的使用方法

文章推薦

NLP之TEA：基于SnowNLP實(shí)現(xiàn)自然語言處理之對輸入文本進(jìn)行情感分析(分詞→詞性標(biāo)注→情感分析→測試)

?

關(guān)于訓(xùn)練

現(xiàn)在提供訓(xùn)練的包括分詞，詞性標(biāo)注，情感分析，而且都提供了我用來訓(xùn)練的原始文件 以分詞為例 分詞在snownlp/seg目錄下

from snownlp import seg seg.train('data.txt') seg.save('seg.marshal') # from snownlp import tag # tag.train('199801.txt') # tag.save('tag.marshal') # from snownlp import sentiment # sentiment.train('neg.txt', 'pos.txt') # sentiment.save('sentiment.marshal')

?

?

?

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Py之SnowNLP：SnowNLP中文处理包的简介、安装、使用方法、代码实现之详细攻略的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。