什么是Gensim

Gensim是一款開(kāi)源的第三方Python工具包，用于從原始的非結(jié)構(gòu)化的文本中，無(wú)監(jiān)督地學(xué)習(xí)到文本隱層的主題向量表達(dá)。它支持包括TF-IDF，LSA，LDA，和word2vec在內(nèi)的多種主題模型算法，支持流式訓(xùn)練，并提供了諸如相似度計(jì)算，信息檢索等一些常用任務(wù)的API接口

補(bǔ)充一些概念:

• 語(yǔ)料（Corpus）：一組原始文本的集合，用于無(wú)監(jiān)督地訓(xùn)練文本主題的隱層結(jié)構(gòu)。語(yǔ)料中不需要人工標(biāo)注的附加信息。在Gensim中，Corpus通常是一個(gè)可迭代的對(duì)象（比如列表）。每一次迭代返回一個(gè)可用于表達(dá)文本對(duì)象的稀疏向量。
• 向量（Vector）：由一組文本特征構(gòu)成的列表。是一段文本在Gensim中的內(nèi)部表達(dá)。
• 稀疏向量（Sparse Vector）：通常，我們可以略去向量中多余的0元素。此時(shí)，向量中的每一個(gè)元素是一個(gè)(key, value)的tuple。
• 模型（Model）：是一個(gè)抽象的術(shù)語(yǔ)。定義了兩個(gè)向量空間的變換（即從文本的一種向量表達(dá)變換為另一種向量表達(dá)）。

corpora, models, similarities 這三個(gè)是gensim的重要使用的類

最好的學(xué)習(xí)就是熟練掌握官方文檔

處理字符串

包含9個(gè)文檔，每個(gè)文檔僅包含一個(gè)句子。

>>> documents = [&#

總結(jié)

以上是生活随笔為你收集整理的NLP神器—Gensim的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。