這篇文章主要介紹了Python實(shí)現(xiàn)word2Vec model過程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

import gensim, logging, os

logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

import nltk

corpus = nltk.corpus.brown.sents()

fname = 'brown_skipgram.model'

if os.path.exists(fname):

# load the file if it has already been trained, to save repeating the slow training step below

model = gensim.models.Word2Vec.load(fname)

else:

# can take a few minutes, grab a cuppa

model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)

model.save(fname)

words = "woman women man girl boy green blue".split()

for w1 in words:

for w2 in words:

print(w1, w2, model.similarity(w1, w2))

print(model.most_similar(positive=['woman', ''], topn=1))

print(model.similarity('woman', 'girl'))girl

在gensim模塊中已經(jīng)封裝了13年提出的model--word2vec，所以我們直接開始建立模型

這是建立模型的過程，最后會(huì)出現(xiàn)saving Word2vec的語句，代表已經(jīng)成功建立了模型

這是輸入了 gorvement和news關(guān)鍵詞后 所反饋的詞語 --- administration， 他們之間的相關(guān)性是0.508

當(dāng)我在輸入 women 和 man ，他們顯示的相關(guān)性的0.638 ，已經(jīng)是非常高的一個(gè)數(shù)字。

值得一提的是，我用的語料庫是直接從nltk里的brown語料庫。其中大概包括了一些新聞之類的數(shù)據(jù)。

大家如果感興趣的話，可以自己建立該模型，通過傳入不同的語料庫，來calc 一些term的 相關(guān)性噢

以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持我們。

總結(jié)

以上是生活随笔為你收集整理的word2vec实例详解python_Python实现word2Vec model过程解析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。