源自一次未完成的實驗，因為日志里面查詢詞實在太少了。

word2vec下載地址:http://download.csdn.net/detail/hortond/8095703
解壓之后執(zhí)行make。


下載點評頭條內(nèi)容,contents.txt文件
內(nèi)容進行分詞,需要安裝jieba分詞:pip install jieba
#! /usr/bin/env python
#coding=utf-8


import jieba
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )


f = open('contents.txt', 'rb')
line = f.readline()
no = 1
while line:
? seg_list = jieba.cut(line, cut_all=False)
? print '\t'.join(seg_list)
? line = f.readline()
? no += 1
f.close()


生成contents_cut.txt文件
生成
使用python gensim模塊加載對應的詞向量,首先pip install gensim,然后:
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
from gensim.models import KeyedVectors
model = KeyedVectors.load_word2vec_format("vectors.bin", binary=True, unicode_errors="ignore")
然后就可以看到對應的詞向量和相似度了:
model[u"男人"]
model.similarity(u"男人",u"女人")
可以算出詞向量并非單位向量，并且長度不是固定值


詞向量按單位向量進行歸一，然后完整查詢進行分詞，每個詞按照idf加權(quán)向量疊加，最后再按單位向量進行歸一。

為什么歸一為單位向量，因為這時余弦相似度和歐幾里得距離是相關(guān)的了。

最后用kd樹取近鄰法，取出top k,再取更進一步的特征做精排，出相關(guān)搜索的詞。

總結(jié)

以上是生活随笔為你收集整理的相关搜索词的一种粗排方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。