此處只簡單匯總一下各種文本工具名目，他們的詳細使用參見具體帖子。本文主要參考<8種目前Python使用率最高的文本處理工具>一文0、SnowNLP包 用于中文文本的處理

1.Jieba

2.NLTK

3.TextBlob

4.MBSP for Python

5.Gensim

6.langid.py

7. xTAS

8.Pattern

0、SnowNLP包 用于中文文本的處理

中文文本情感分析示例：

from snownlp import SnowNLP

text = u"我今天很快樂。我今天很憤怒。"

# 字母u文本編碼格式是Unicode，

s = SnowNLP(text)

for sentence in s.sentences: #斷句

print(sentence)

s1 = SnowNLP(s.sentences[0]) # 此處不能寫s1 = s.sentences[0]，需轉化為SnowNLP格式才能下一步語句

s1.sentiments

text2 = '這個東西很垃圾'

s2 = SnowNLP(text2) #輸出0.21406279508712744

# SnowNLP和textblob的計分方法不同。SnowNLP的情感分析取值，

# 表達的是“這句話代表正面情感的概率”

1.Jieba

【結巴中文分詞】做最好的 Python 中文分詞組件

其功能包括支持三種分詞模式(精確模式、全模式、搜索引擎模式)，支持繁體分詞，支持自定義詞典等。

2.NLTK

【NLTK】一個構建Python程序以使用人類語言數據的領先平臺，被稱為“使用Python進行教學和計算語言學工作的絕佳工具”，以及“用自然語言進行游戲的神奇圖書館”。

3.TextBlob 用于英文文本的處理

【TextBlob】是一個用于處理文本數據的Python(2和3)庫。它為潛入常見的自然語言處理(NLP)任務提供了一個簡單的API，例如詞性標注，名詞短語提取，情感分析，分類，翻譯等。

英文文本情感分析示例：

from textblob import TextBlob

text = "I am happy today. I feel sad today."

blob = TextBlob(text)

blob.sentences

# 用于斷句 輸出：[Sentence("I am happy today."), Sentence("I feel sad today.")]

blob.sentences[0].sentiment

# 輸出：Sentiment(polarity=0.8, subjectivity=1.0)

# 情感極性0.8，主觀性1.0。說明一下，情感極性的變化范圍是[-1, 1]，-1代表完全負面，1代表完全正面。

blob.sentences[1].sentiment

# 輸出：Sentiment(polarity=-0.5, subjectivity=1.0)

blob.sentiment

# 用于判斷整句情感極性。輸出Sentiment(polarity=0.15000000000000002, subjectivity=1.0)

4.MBSP for Python

【MBSP】是一個文本分析系統，基于CLiPS和ILK開發的基于TiMBL和MBT內存的學習應用程序。它提供了用于標記化和句子分裂，詞性標注，分塊，詞形還原，關系查找和介詞短語附件的工具。

5.Gensim

【Gensim】是一個免費的Python庫可擴展的統計語義

分析純文本文檔的語義結構

檢索語義相似的文檔

6.langid.py

【langid.py 】是一個獨立的語言標識(LangID)工具。接受過97種語言的預訓練(ISO 639-1代碼)，培訓數據來自5個不同的來源：JRC-Acquis、ClueWeb 09、維基百科、路透社RCV2和Debian i18n。

7. xTAS

【 xTAS】是基于Celery的分布式文本分析套件。部分xtas使用GPL許可軟件，例如Stanford NLP工具，以及可能產生額外限制的數據集，檢查文檔中的各個功能。

8.Pattern

【Pattern】是Python編程語言的Web挖掘模塊。它具有數據挖掘工具(谷歌，Twitter和維基百科API，網絡爬蟲，HTML DOM解析器)，自然語言處理(詞性標注，n-gram搜索，情感分析，WordNet)，機器學習(矢量)空間模型，聚類，SVM)，網絡分析和可視化。

總結

以上是生活随笔為你收集整理的python爬虫自学笔记分析解密_python爬虫学习笔记——1 各种文本分析工具简介之汇总...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。