用python處理文本數據

Q：這篇文章主要講什么？

Ａ：這篇文章主要討論如何用python來做一些簡單的文本處理——文本相似度比較。

談起python的自然語言處理，肯定會讓人想起NLTK。不過上面這兩個任務并不需要NLTK這個庫，只是用到了gensim。由于涉及中文，所以還用到了jieba來做中文分詞。

Ｑ：Gensim是什么東西？

Ａ：首先說說gensim是個怎樣的python庫吧。

由于這篇筆記只記錄最簡單的用法，所以gensim更詳細的介紹，更強大的功能請到官網閱讀文檔：gensim官網。不懂英文？趕緊去補啊！

gensim

Gensim is a free Python library designed to automatically extract semantictopics from documents, as efficiently (computer-wise) and painlessly (human-wise) as possible.

簡單來說，gensim的主要功能有把文本轉為向量(scikit-learn也能做到)，抽取文本中的關鍵詞(jieba也能做到)，比較兩個文本的相似度，甚至是計算一個查詢(本質也是一個文本)與一個文檔集合中所有文檔的關聯程度(這個似乎只有gensim能做，sklearn和jieba都不能)。更強大的是，gensim庫實現了word2vec算法(其實我目前不懂這個算法的原理)！。

gensim有三個主要模塊——

• corpora：將文本轉為向量，提供存儲文本矩陣的方法。這里生產的向量形式是最基本的，族簡單的，僅僅是為文檔建立詞典，然后計數文檔中每個詞出現的次數。
• models：將corpora生產的簡單向量轉化為其他各種不同的向量。可以選擇的向量模型有TFIDF, LSI, RP, LDA, HDP等。用戶可以先用corpora模塊把文本轉為簡單向量，再用models模塊得到自己需要的向量形式。
• similarites：提供計算文本相似度方法的模塊。

gensim其他更強大的功能還沒列出，所以想要深入學習就得去官網查閱文檔了。

Q：如何使用gensim來計算文本相似度？

Ａ：計算一個查詢(字符串)與文檔集中所有文檔的相似度是搜索引擎的核心功能模塊之一。gensim計算文本相似度的的套路就是先用copora模塊把文檔轉為簡單的稀疏矩陣；然后用models模塊得到符合需要的向量模型；最后用similarities模塊計算相似度。下面用一個案例來說明怎樣計算文本相似度。

假設現在有一個八個文檔組成的文檔集：

texts = [ '什么是股票？', '股票是個什么玩意？', '新手怎樣入門炒股？', '現在股市的風險大嗎？', 'python的自然語言處理', 'gensim的主要功能有把文本轉為向量', '提供存儲文本矩陣的方法', '這篇文章主要討論如何用python來做一些簡單的文本處理']

由于文本轉向量算法的原理是統計文本中每個單詞出現的個數，所以我們還要把文檔集里的每個文檔切詞，也就是說把一個文檔編程一個單詞列表(或者數組，或者任何數據容器iterable)。西方語言由于先天就用空格把詞分開，而類似中文的東方語言則需要特定的分詞模塊。一個常用的中文分詞模塊是jieba分詞——可以分詞、可以做詞性標注、可以抽取關鍵字的分詞模塊。詳見官方文檔(當然是中文的)。

docs = [jieba.lcut_for_search(i) for i in texts] #返回一個包含著很多單詞列表的列表。In [4]: print docs[[u'什么', u'是', u'股票', u'？'], [u'股票', u'是', u'個', u'什么', u'玩意', u'？'], [u'新手', u'怎樣', u'入門', u'炒股', u'？'], [u'現在', u'股市', u'的', u'風險', u'大', u'嗎', u'？'], [u'python', u'的', u'自然', u'語言', u'自然語言', u'處理'], [u'gensim', u'的', u'主要', u'功能', u'有', u'把', u'文本', u'轉為', u'向量'], [u'提供', u'存儲', u'文本', u'矩陣', u'的', u'方法'], [u'這', u'文章', u'篇文章', u'主要', u'討論', u'如何', u'用', u'python', u'來', u'做', u'一些', u'簡單', u'的', u'文本', u'本處', u'處理', u'文本處理']]＃原諒我的機器在打印整個列表時，所有中文會變成unicode編碼

下一步是構建文檔集(單詞列表集)的詞典，然后利用詞典來用向量表示文檔

In [10]: dic = corpora.Dictionary(docs)In [11]: print dic #這個詞典給文檔集中每個單詞編號Dictionary(45 unique tokens: [u'風險', u'本處', u'的', u'處理', u'什么']...)In [12]: corpus = [dic.doc2bow(i) for i in docs]In [13]: print corpus　[[(0, 1), (1, 1), (2, 1), (3, 1)], [(0, 1), (1, 1), (2, 1), (3, 1), (4, 1), (5, 1)], [(3, 1), (6, 1), (7, 1), (8, 1), (9, 1)], [(3, 1), (10, 1), (11, 1), (12, 1), (13, 1), (14, 1), (15, 1)], [(12, 1), (16, 1), (17, 1), (18, 1), (19, 1), (20, 1)], [(12, 1), (21, 1), (22, 1), (23, 1), (24, 1), (25, 1), (26, 1), (27, 1), (28, 1)], [(12, 1), (25, 1), (29, 1), (30, 1), (31, 1), (32, 1)], [(12, 1), (16, 1), (17, 1), (24, 1), (25, 1), (33, 1), (34, 1), (35, 1), (36, 1), (37, 1), (38, 1), (39, 1), (40, 1), (41, 1), (42, 1), (43, 1), (44, 1)]]＃這是稀疏矩陣的一種形式，每個列表的每個括號表示(詞編號，詞的出現次數)

這樣一來，文本就轉換成矩陣了。不過這個矩陣的向量模型非常簡單，我們要用一個高級一點的LSI(潛語義分析)向量模型來做相似度計算。應用models模塊的可以做到向量模型的轉換。

In [14]: lsi = models.LsiModel(corpus, id2word=dic, num_topics=2)

向量模型轉換完成，下面開始進行計算相似度的工作。為了方便和明顯，我們計算一下“股票”這個詞和“文本”這兩個查詢與文檔集中八個文檔的相似度。如果沒有意外，按照我們的直覺，我們會看到“股票”這個查詢和文檔集中前四個文檔比較相似，“文本”這個查詢和文檔集中后四個文檔比較相似。

In [21]: qurey1 = "股票" #首先把這兩個查詢也變成向量 ...: qurey2 = '文本' ...: vec_query1 = dic.doc2bow([qurey1]) ...: vec_query2 = dic.doc2bow([qurey2])In [22]: index = similarities.MatrixSimilarity(lsi[corpus])＃然后建立索引(估計是倒排詞表，下面的就不怎么懂了)In [23]: sims1 = index[lsi[vec_query1]] ...: sims2 = index[lsi[vec_query2]]＃得到了查詢語句與哥哥文檔的相似度In [24]: sims_result1 = sorted(enumerate(sims1), key=lambda item: -item[1]) ...: sims_result2 = sorted(enumerate(sims2), key=lambda item: -item[1])＃給結果排一下序 In [25]: print sims_result1[(1, 0.99990207), (0, 0.99984658), (2, 0.99941468), (3, 0.93057805), (6, 0.31655648), (5, 0.27374423), (4, 0.12518336), (7, -0.11772308)]In [27]: print sims_result2[(4, 0.99776512), (7, 0.98443955), (5, 0.97619325), (6, 0.96549642), (3, 0.4200055), (2, 0.092727646), (0, 0.076089963), (1, 0.07257086)]

很明顯的看到“股票”這個查詢和文檔集中前四個文檔比較相似，“文本”這個查詢和文檔集中后四個文檔比較相似，這也是符合我們的常識的。

完整代碼：

#coding: utf-8import sys, jiebafrom gensim import corpora, models, similaritiesreload(sys)sys.setdefaultencoding('utf8')texts = [ '什么是股票？', '股票是個什么玩意？', '新手怎樣入門炒股？', '現在股市的風險大嗎？', 'python的自然語言處理', 'gensim的主要功能有把文本轉為向量', '提供存儲文本矩陣的方法', '這篇文章主要討論如何用python來做一些簡單的文本處理']docs = [jieba.lcut_for_search(i) for i in texts]dic = corpora.Dictionary(docs)corpus = [dic.doc2bow(i) for i in docs]lsi = models.LsiModel(corpus, id2word=dic, num_topics=2)qurey1 = "股票"qurey2 = '文本'vec_query1 = dic.doc2bow([qurey1])vec_query2 = dic.doc2bow([qurey2])index = similarities.MatrixSimilarity(lsi[corpus])sims1 = index[lsi[vec_query1]]sims2 = index[lsi[vec_query2]]sims_result1 = sorted(enumerate(sims1), key=lambda item: -item[1])sims_result2 = sorted(enumerate(sims2), key=lambda item: -item[1])print sims_result1print sims_result2

由于作者對于文本處理和gensim的原理還不太懂，如有不當之處，歡迎高手指點

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的lda 可以处理中文_用python处理文本数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。