源自一次未完成的實(shí)驗(yàn)，因?yàn)槿罩纠锩娌樵冊(cè)~實(shí)在太少了。

word2vec下載地址:http://download.csdn.net/detail/hortond/8095703
解壓之后執(zhí)行make。


下載點(diǎn)評(píng)頭條內(nèi)容,contents.txt文件
內(nèi)容進(jìn)行分詞,需要安裝jieba分詞:pip install jieba
#! /usr/bin/env python
#coding=utf-8


import jieba
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )


f = open('contents.txt', 'rb')
line = f.readline()
no = 1
while line:
? seg_list = jieba.cut(line, cut_all=False)
? print '\t'.join(seg_list)
? line = f.readline()
? no += 1
f.close()


生成contents_cut.txt文件
生成
使用python gensim模塊加載對(duì)應(yīng)的詞向量,首先pip install gensim,然后:
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
from gensim.models import KeyedVectors
model = KeyedVectors.load_word2vec_format("vectors.bin", binary=True, unicode_errors="ignore")
然后就可以看到對(duì)應(yīng)的詞向量和相似度了:
model[u"男人"]
model.similarity(u"男人",u"女人")
可以算出詞向量并非單位向量，并且長(zhǎng)度不是固定值


詞向量按單位向量進(jìn)行歸一，然后完整查詢進(jìn)行分詞，每個(gè)詞按照idf加權(quán)向量疊加，最后再按單位向量進(jìn)行歸一。

為什么歸一為單位向量，因?yàn)檫@時(shí)余弦相似度和歐幾里得距離是相關(guān)的了。

最后用kd樹(shù)取近鄰法，取出top k,再取更進(jìn)一步的特征做精排，出相關(guān)搜索的詞。

總結(jié)

以上是生活随笔為你收集整理的相关搜索词的一种粗排方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。