什么是Gensim

Gensim是一款開源的第三方Python工具包，用于從原始的非結(jié)構(gòu)化的文本中，無監(jiān)督地學(xué)習(xí)到文本隱層的主題向量表達(dá)。它支持包括TF-IDF，LSA，LDA，和word2vec在內(nèi)的多種主題模型算法，支持流式訓(xùn)練，并提供了諸如相似度計算，信息檢索等一些常用任務(wù)的API接口

補充一些概念:

• 語料（Corpus）：一組原始文本的集合，用于無監(jiān)督地訓(xùn)練文本主題的隱層結(jié)構(gòu)。語料中不需要人工標(biāo)注的附加信息。在Gensim中，Corpus通常是一個可迭代的對象（比如列表）。每一次迭代返回一個可用于表達(dá)文本對象的稀疏向量。
• 向量（Vector）：由一組文本特征構(gòu)成的列表。是一段文本在Gensim中的內(nèi)部表達(dá)。
• 稀疏向量（Sparse Vector）：通常，我們可以略去向量中多余的0元素。此時，向量中的每一個元素是一個(key, value)的tuple。
• 模型（Model）：是一個抽象的術(shù)語。定義了兩個向量空間的變換（即從文本的一種向量表達(dá)變換為另一種向量表達(dá)）。

corpora, models, similarities 這三個是gensim的重要使用的類

最好的學(xué)習(xí)就是熟練掌握官方文檔

處理字符串

包含9個文檔，每個文檔僅包含一個句子。

>>> documents = [&#

總結(jié)

以上是生活随笔為你收集整理的NLP神器—Gensim的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。