NLP神器—Gensim
生活随笔
收集整理的這篇文章主要介紹了
NLP神器—Gensim
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
什么是Gensim
Gensim是一款開源的第三方Python工具包,用于從原始的非結構化的文本中,無監督地學習到文本隱層的主題向量表達。它支持包括TF-IDF,LSA,LDA,和word2vec在內的多種主題模型算法,支持流式訓練,并提供了諸如相似度計算,信息檢索等一些常用任務的API接口
補充一些概念:
- 語料(Corpus):一組原始文本的集合,用于無監督地訓練文本主題的隱層結構。語料中不需要人工標注的附加信息。在Gensim中,Corpus通常是一個可迭代的對象(比如列表)。每一次迭代返回一個可用于表達文本對象的稀疏向量。
- 向量(Vector):由一組文本特征構成的列表。是一段文本在Gensim中的內部表達。
- 稀疏向量(Sparse Vector):通常,我們可以略去向量中多余的0元素。此時,向量中的每一個元素是一個(key, value)的tuple。
- 模型(Model):是一個抽象的術語。定義了兩個向量空間的變換(即從文本的一種向量表達變換為另一種向量表達)。
corpora, models, similarities 這三個是gensim的重要使用的類
最好的學習就是熟練掌握官方文檔
處理字符串
包含9個文檔,每個文檔僅包含一個句子。
>>> documents = [&#總結
以上是生活随笔為你收集整理的NLP神器—Gensim的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 被忽视的fuzzywuzzy库
- 下一篇: 额外篇 | ggplot (上)