# -*- coding: utf-8 -*- #Gensim入門教程from gensim import corpora,models,similarities texts = [['human', 'interface', 'computer','interface'],['survey', 'user', 'computer', 'system', 'response', 'time'],['eps', 'user', 'interface', 'system'],['system', 'human', 'system', 'eps'],['user', 'response', 'time'],['trees'],['graph', 'trees'],['graph', 'minors', 'trees'],['graph', 'minors', 'survey']] #以上大列表中，每個自列表代表一個文本分詞后的結果 def print_dict(dict):for key in dict:print type(key),key,str(dict[key]),'\n'printdictionary = corpora.Dictionary(texts)#這個應該是分詞后的結果，Dictionary用來去重 corpus = [dictionary.doc2bow(text)for text in texts] print_dict(dict(dictionary.items())) print("------------------------------------------------") print("file numbers=",dictionary.num_docs) print("------------------------------------------------") #返回的結果中，全部都是list，可以看到，corpus下標是0~8，表示文本數目是9個 #返回的list中的元祖()中，是(id,在單個文本中出現該word的次數)、 #而一個list中包含的tuple數量=分詞后word數量-重復的word數量 #舉例：['human', 'interface', 'computer','interface']這個文本的 #分詞后word數量是4個，而由于interface重復了一次，所以tuple數量=4-1=3 # 所以最終對應的corpus[0]輸出的list中是3個tuple，而不是4個 print corpus[0] print corpus[1] print corpus[2] print corpus[3] print corpus[4] print corpus[5] print corpus[6] print corpus[7] print corpus[8] print("--------------------------------------------------") tfidf=models.TfidfModel(corpus)#輸入稀疏矩陣 print tfidf#TfidfModel(num_docs=9, num_nnz=28),num_nnz是每個文件中不重復詞個數的和 corpus_tfidf=tfidf[corpus] query='human science good interface' #下面是把詢問的問題轉化為稀疏向量 print("--------------------------------------------------") vec_bow=dictionary.doc2bow(query.split()) print vec_bow vec_tfidf=tfidf[vec_bow] print vec_tfidf#這個結果是把query的詞匯中，篩選出屬于dictionary的部分，然后分別計算tf-idf值 print("----------------以下三行代碼計算query和候選文本的相似度----------待會這里測試下復旦新聞數據集-----------------------")index=similarities.MatrixSimilarity(corpus_tfidf)#similarities是一個函數名，不要自己卵用 print "index=",index sims=index[vec_tfidf] print "sims=",sims#輸出列表，元素數量=文本數量 print("---------------------------") similarity=list(sims)#輸出列表，元素數量=文本數量 print "similarity=",similarity print("----------------以上三行代碼計算query和候選文本的相似度----------待會這里測試下復旦新聞數據集-----------------------") store_path='/home/appleyuchi/coai_fudan/storefile.txt' sim_file=open(store_path,'w') for i in similarity:sim_file.write(str(i)+'\n') sim_file.close()

如果使用LSI模型，那么：

# -*- coding: utf-8 -*- #Gensim入門教程from gensim import corpora,models,similarities texts = [['human', 'interface', 'computer','interface'],['survey', 'user', 'computer', 'system', 'response', 'time'],['eps', 'user', 'interface', 'system'],['system', 'human', 'system', 'eps'],['user', 'response', 'time'],['trees'],['graph', 'trees'],['graph', 'minors', 'trees'],['graph', 'minors', 'survey']] #以上大列表中，每個自列表代表一個文本分詞后的結果 def print_dict(dict):for key in dict:print type(key),key,str(dict[key]),'\n'printdictionary = corpora.Dictionary(texts)#這個應該是分詞后的結果，Dictionary用來去重 corpus = [dictionary.doc2bow(text)for text in texts] print_dict(dict(dictionary.items())) print("------------------------------------------------") print("file numbers=",dictionary.num_docs) print("------------------------------------------------") #返回的結果中，全部都是list，可以看到，corpus下標是0~8，表示文本數目是9個 #返回的list中的元祖()中，是(id,在單個文本中出現該word的次數)、 #而一個list中包含的tuple數量=分詞后word數量-重復的word數量 #舉例：['human', 'interface', 'computer','interface']這個文本的 #分詞后word數量是4個，而由于interface重復了一次，所以tuple數量=4-1=3 # 所以最終對應的corpus[0]輸出的list中是3個tuple，而不是4個 print corpus[0] print corpus[1] print corpus[2] print corpus[3] print corpus[4] print corpus[5] print corpus[6] print corpus[7] print corpus[8] print("--------------------------------------------------") lsi=models.LsiModel(corpus)#輸入總文本的稀疏矩陣 print lsi#TfidfModel(num_docs=9, num_nnz=28),num_nnz是每個文件中不重復詞個數的和 corpus_lsi=lsi[corpus] query='human science good interface' #下面是把詢問的問題轉化為稀疏向量 print("--------------------------------------------------") vec_bow=dictionary.doc2bow(query.split()) print vec_bow vec_lsi=lsi[vec_bow] print vec_lsi#這個結果是把query的詞匯中，篩選出屬于dictionary的部分，然后分別計算tf-idf值 print("----------------以下三行代碼計算query和候選文本的相似度---------------------------------")index=similarities.MatrixSimilarity(corpus_lsi)#similarities是一個函數名，不要自己卵用 print "index=",index sims=index[vec_lsi] print "sims=",sims#輸出列表，元素數量=文本數量 print("---------------------------") similarity=list(sims)#輸出列表，元素數量=文本數量 print "similarity=",similarity print("----------------以上三行代碼計算query和候選文本的相似度----------------------------") store_path='/home/appleyuchi/coai_fudan/storefile.txt' sim_file=open(store_path,'w') for i in similarity:sim_file.write(str(i)+'\n') sim_file.close()

總結

以上是生活随笔為你收集整理的Gensim初步使用和详细解释(该代码只能处理英文,处理中文不可用该代码)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。