1.Word2vec介紹

1.1 Word Embedding介紹

• WordEmbedding將「不可計算」「非結構化」的詞轉化為「可計算」「結構化」的向量.
  

1.2 Word2vec 基本內容

• Word2vec是google的一個開源工具，能夠根據輸入的詞計算出詞與詞之間的距離.
• Word2vec將term轉換成向量形式，可以把對文本內容的處理簡化為向量運算，計算出詞向量的相似度，來表示文本語義上的相似度。
• 詞向量：用Distributed Representation表示詞，通常也被稱為“Word Representation”或“Word Embedding（嵌入）”。

1.3 Word2vec的兩種訓練方法

• CBOW：通過上下文預測中心詞。
• Skip-Gram：通過中心詞預測上下文。
  

2. 數據集及工具庫介紹

2.1 數據集：中文維基百科語料庫

• 下載地址： https://dumps.wikimedia.org/zhwiki/

• 盡可能下載大一些的，語料庫越大，模型的效果會越好.

• 本案例下載的是：

  1.https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2

  2.數據集的大小為1.8G
  

3 中文詞向量訓練的數據預處理

3.1 代碼實現

"""解析XML文件：process_wiki_data.py""" #!/usr/bin/env python # -*- coding: utf-8 -*- # process_wiki_data.py 用于解析XML，將XML的wiki數據轉換為text格式import logging import os.path import sys from gensim.corpora import WikiCorpusif __name__ == '__main__':# sys.argv[0]獲取的是腳本文件的文件名稱program = os.path.basename(sys.argv[0])# sys.argv[0]獲取的是腳本文件的文件名稱logger = logging.getLogger(program)# format: 指定輸出的格式和內容，format可以輸出很多有用信息，# %(asctime)s: 打印日志的時間# %(levelname)s: 打印日志級別名稱# %(message)s: 打印日志信息logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')logging.root.setLevel(level=logging.INFO)# 打印這是一個通知日志logger.info("running %s" % ' '.join(sys.argv))# check and process input argumentsif len(sys.argv) < 3:print (globals()['__doc__'] % locals())sys.exit(1)inp, outp = sys.argv[1:3]# inp:輸入的數據集# outp:從壓縮文件中獲得的文本文件space = " "i = 0output = open(outp, 'w', encoding='utf-8')wiki = WikiCorpus(inp, lemmatize=False, dictionary={})for text in wiki.get_texts():output.write(space.join(text) + "\n")i = i + 1if i % 200 == 0:logger.info("Saved " + str(i) + " articles")breakoutput.close()logger.info("Finished Saved " + str(i) + " articles")"""分詞文件：seg.py""" #!/usr/bin/env python # -*- coding: utf-8 -*- # seg.py 用于解析wiki.zh.text，生成分詞文件import jieba import jieba.analyse import codecs# 將文本文件分詞 def process_wiki_text(origin_file, target_file):with codecs.open(origin_file, 'r', 'utf-8') as inp, codecs.open(target_file,'w','utf-8') as outp:line = inp.readline()line_num = 1while line:print('---- processing ', line_num, 'article----------------')line_seg = " ".join(jieba.cut(line))# print(len(line_seg))outp.writelines(line_seg)line_num = line_num + 1line = inp.readline()if line_num == 101:breakinp.close()outp.close()def main():process_wiki_text('wiki.zh.text', 'wiki.zh.text.seg')if __name__ == '__main__':main()

總結

以上是生活随笔為你收集整理的十四、中文词向量训练一的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。