前言

word2vec是如何得到詞向量的？這個(gè)問(wèn)題比較大。從頭開(kāi)始講的話(huà)，首先有了文本語(yǔ)料庫(kù)，你需要對(duì)語(yǔ)料庫(kù)進(jìn)行預(yù)處理，這個(gè)處理流程與你的語(yǔ)料庫(kù)種類(lèi)以及個(gè)人目的有關(guān)，比如，如果是英文語(yǔ)料庫(kù)你可能需要大小寫(xiě)轉(zhuǎn)換檢查拼寫(xiě)錯(cuò)誤等操作，如果是中文日語(yǔ)語(yǔ)料庫(kù)你需要增加分詞處理。這個(gè)過(guò)程其他的答案已經(jīng)梳理過(guò)了不再贅述。得到你想要的processed corpus之后，將他們的one-hot向量作為word2vec的輸入，通過(guò)word2vec訓(xùn)練低維詞向量(word embedding)就ok了。不得不說(shuō)word2vec是個(gè)很棒的工具，目前有兩種訓(xùn)練模型(CBOW和Skip-gram)，兩種加速算法(Negative Sample與Hierarchical Softmax)。本答旨在闡述word2vec如何將corpus的one-hot向量(模型的輸入)轉(zhuǎn)換成低維詞向量(模型的中間產(chǎn)物，更具體來(lái)說(shuō)是輸入權(quán)重矩陣)，真真切切感受到向量的變化，不涉及加速算法。如果讀者有要求有空再補(bǔ)上。

1 Word2Vec兩種模型的大致印象

剛才也提到了，Word2Vec包含了兩種詞訓(xùn)練模型：CBOW模型和Skip-gram模型。CBOW模型根據(jù)中心詞W(t)周?chē)脑~來(lái)預(yù)測(cè)中心詞

Skip-gram模型則根據(jù)中心詞W(t)來(lái)預(yù)測(cè)周?chē)~

拋開(kāi)兩個(gè)模型的優(yōu)缺點(diǎn)不說(shuō)，它們的結(jié)構(gòu)僅僅是輸入層和輸出層不同。請(qǐng)看：CBOW模型Skip-gram模型

這兩張結(jié)構(gòu)圖其實(shí)是被簡(jiǎn)化了的，讀者只需要對(duì)兩個(gè)模型的區(qū)別有個(gè)大致的判斷和認(rèn)知就ok了。接下來(lái)我們具體分析一下CBOW模型的構(gòu)造，以及詞向量是如何產(chǎn)生的。理解了CBOW模型，Skip-gram模型也就不在話(huà)下啦。

2 CBOW模型的理解

當(dāng)然，懶省事兒的童鞋們就跟隨我的腳步慢慢來(lái)吧。

先來(lái)看著這個(gè)結(jié)構(gòu)圖，用自然語(yǔ)言描述一下CBOW模型的流程：CBOW模型結(jié)構(gòu)圖

NOTE：花括號(hào)內(nèi){}為解釋內(nèi)容.輸入層：上下文單詞的onehot. {假設(shè)單詞向量空間dim為V，上下文單詞個(gè)數(shù)為C}

所有onehot分別乘以共享的輸入權(quán)重矩陣W. {V*N矩陣，N為自己設(shè)定的數(shù)，初始化權(quán)重矩陣W}

所得的向量 {因?yàn)槭莖nehot所以為向量} 相加求平均作為隱層向量, size為1*N.

乘以輸出權(quán)重矩陣W' {N*V}

得到向量 {1*V} 激活函數(shù)處理得到V-dim概率分布 {PS: 因?yàn)槭莖nehot嘛，其中的每一維斗代表著一個(gè)單詞}，概率最大的index所指示的單詞為預(yù)測(cè)出的中間詞(target word)

與true label的onehot做比較，誤差越小越好所以，需要定義loss function(一般為交叉熵代價(jià)函數(shù))，采用梯度下降算法更新W和W'。訓(xùn)練完畢后，輸入層的每個(gè)單詞與矩陣W相乘得到的向量的就是我們想要的詞向量(word embedding)，這個(gè)矩陣(所有單詞的word embedding)也叫做look up table(其實(shí)聰明的你已經(jīng)看出來(lái)了，其實(shí)這個(gè)look up table就是矩陣W自身)，也就是說(shuō)，任何一個(gè)單詞的onehot乘以這個(gè)矩陣都將得到自己的詞向量。有了look up table就可以免去訓(xùn)練過(guò)程直接查表得到單詞的詞向量了。

這回就能解釋題主的疑問(wèn)了！如果還是覺(jué)得我木有說(shuō)明白，別著急！跟我來(lái)隨著栗子走一趟CBOW模型的流程！

3 CBOW模型流程舉例假設(shè)我們現(xiàn)在的Corpus是這一個(gè)簡(jiǎn)單的只有四個(gè)單詞的document：

{I drink coffee everyday}

我們選coffee作為中心詞，window size設(shè)為2

也就是說(shuō)，我們要根據(jù)單詞"I","drink"和"everyday"來(lái)預(yù)測(cè)一個(gè)單詞，并且我們希望這個(gè)單詞是coffee。

假設(shè)我們此時(shí)得到的概率分布已經(jīng)達(dá)到了設(shè)定的迭代次數(shù)，那么現(xiàn)在我們訓(xùn)練出來(lái)的look up table應(yīng)該為矩陣W。即，任何一個(gè)單詞的one-hot表示乘以這個(gè)矩陣都將得到自己的word embedding。

如有疑問(wèn)歡迎提問(wèn)。

總結(jié)

以上是生活随笔為你收集整理的cbow word2vec 损失_word2vec是如何得到词向量的？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。