本篇論文的整體結(jié)構(gòu)如下:

對比模型:

NNLM

RNNLM

Word2Vec

Skip-Gram

CBOW

關(guān)鍵技術(shù)

層次softmax

負采樣

實驗結(jié)果

與對比模型的直接對比結(jié)果

不同參數(shù)的實驗

不同模型的效率分析

?

一、對比模型

?

語言模型基本思想: 句子中一個詞出現(xiàn)和前面的詞是有關(guān)系的，可以使用前面的詞預測下一個詞

?

NNLM：

輸入層: 將詞映射成向量，相當于一個1*v的one-hot向量乘以一個v*d的向量得到一個1*d的向量

隱藏層: 一個以tanh為激活函數(shù)的全連接層 a = tanh(d+ux),? ?u、d為參數(shù)

輸出層: 一個全連接層，后面接一個softmax函數(shù)來生成概率分布,y = b + wa, 其中y是一個1*v的向量

P(wt|wt-n+1........wt-1) = exp(ywt)/sum(exp(yi))

參數(shù)個數(shù):

? ? ? ?1) 每一個詞映射為1*D的向量N個詞concat,參數(shù)個數(shù)為N*D

? ? ? ?2) 隱藏層大小為H,所以w參數(shù)矩陣大小為N*D*H

? ? ? ?3) 詞表大小為V,所以u的參數(shù)個數(shù)為H*V

所以NNLM參數(shù)個數(shù)Q = N*D + N*D*H + H*V

?

RNNLM:

輸入層: 和NNLM一樣，需要將當前步轉(zhuǎn)化為詞向量

隱藏層: 對輸入和上一個時間步的隱藏輸出進行全連接層操作:

? ? ? ? ? ? ? ? ? ? ? ? ?s(t) = Uw(t) + ws(t-1) + d

輸出層: 一個全連接層后面接一個softmax函數(shù)來生成概率分布

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? y(t) = b + vs(t)

其中y是一個1*v的向量，P(wt|wt-n+1........wt-1) = exp(ywt)/sum(exp(yi))

參數(shù)個數(shù):

? ? ? ? ?s(t) = Uw(t) + Ws(t-1)? ?

? ? ? ? ?y(t) = Vs(t)? -- softmax --> p(xi|xi-N,.....xi-1)

? ? ? ? ?y = [y1,y2,.....yv] = e^yi/(sum(e^yi))

? ? ? ? ?w(t)表示t時刻當前輸入的單詞詞向量，s(t-1)表示隱藏層的前一層輸出，y(t) 表示輸出的詞的index

? ? ? ? ?w維度是H, s維度是H, W維度是H*H, U維度是H*H, V維度是H*V（V表示詞表大小）

?所以RNNLM 參數(shù)個數(shù)Q = H*H + H*V

?

評價語言模型常用指標-困惑度

Loss : L = -1/Tlogp(wi|wi-n+1,.....wi-1)

pp(s) = p(w1,w2,....wt)^(-1/T)

logpp(s) = -1/Tlog(p(w1)p(w2|w1)....(wt/wt-n+1...wt-1))

logpp(s) = -1/T(log(p(w1)) + log(p(w2|w1)) + ...... log(p(wt|wt-n+1.....wt-1)))

logpp(s) = -1/Tsumi=1->Tlogp(wi|wi-n+1....wi-1)

pp(s) = e^Loss

?

上述模型存在的問題:

1、僅對一部分有意義的詞進行梯度傳播(如 the,a無意義)

2、引入先驗知識，如詞性等

3、解決一詞多意問題

4、加速softmax層

?

二、Word2Vec

?

word2vec基本思想是句子中相近的詞之間是有聯(lián)系的，用詞預測詞

skip-gram: 中心詞預測周圍詞

CBOW: 周圍詞預測中心詞

?

Skip-gram：

1、中心詞預測周圍詞

2、中心詞生成2*windowsize個樣本，中心詞詞向量和周圍詞做內(nèi)積的方式得到周圍詞的概率，并進行優(yōu)化

訓練 W*,W, 詞向量可以為W或者為(W + W*)/2

?

CBOW

1、周圍詞預測中心詞

2、周圍詞向量求和或者平均 之后和中心詞向量內(nèi)積，進行softmax，然后反向優(yōu)化

?

模型復雜度(模型參數(shù)個數(shù))

Skip-gram: Q = C(D + D*V) C表示周圍詞，D表示每個中心詞D維詞向量

負采樣：Q = C(D + D*(K+1)) K個負樣本，1個正樣本

CBOW：Q= N*D + D*V 因為sum或者avg所以向量維度與詞向量維度一致，不是concat

層次softmax: Q = N*D + D*log2V

負采樣： Q = N*D + D*(K+1)?

N表示N個周圍詞，D表示每一個詞詞向量維度

?

三、實驗結(jié)果

?

1、任務描述

2、最大化正確率

? ? ? 數(shù)據(jù)集越大、維度越大，效果越好

3、不同模型間比較

? ? ?與其它人開源的詞向量比較，Skip-gram比CBOW稍微慢一些，但是效果較好

4、大規(guī)模并行模型訓練

? ? ?詞與詞之間的關(guān)系，給一個詞五個句子選擇最合適的句子

5、微軟研究院相關(guān)比賽

6、學習到句子間的關(guān)系

?

四、論文小結(jié)

關(guān)鍵點：

1、更簡單的預測模型 -- word2vec

2、更快的分類方案 -- HS和NEG

創(chuàng)新點:

1、使用詞對的預測來替代語言模型的預測

2、使用HS和NEG降低分類復雜度

3、使用subsampling 加快訓練

4、新的詞對推理數(shù)據(jù)集來評估詞向量的質(zhì)量

啟發(fā)點:

1、大數(shù)據(jù)集上的簡單模型往往強于小數(shù)據(jù)集上的復雜模型

2、理解數(shù)據(jù) + 模型應用

一些經(jīng)驗:

超參數(shù)選擇: 利用gensim做word2vec的時候，詞向量的維度和單詞數(shù)目有沒有一個比較好的對照范圍

1、dim一般在100-500之間選擇

2、初始值詞典大小V的1/4次方V = 10K,dim=100

3、min_count(詞頻出現(xiàn)的最少次數(shù)) 一般在2-10之間選擇

4、時間比較多，可以用網(wǎng)格搜索grid_search

?

五、相關(guān)復現(xiàn)代碼

代碼詳見:?https://github.com/wangtao666666/NLP/tree/master/Word2Vec

?

總結(jié)

以上是生活随笔為你收集整理的Word2Vec(Efficient Estimation of Word Representations in Vector Space)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。