在wrod2vec工具中，有如下的幾個(gè)比較重要的概念：

• CBOW
• Skip-Gram
• Hierarchical Softmax
• Negative Sampling

其中CBOW和Skip-Gram是word2vec工具中使用到的兩種不同的語言模型，而Hierarchical Softmax和Negative Sampling是對(duì)以上的兩種模型的具體的優(yōu)化方法。

在word2vec工具中，主要的工作包括：

• 預(yù)處理。即變量的聲明，全局變量的定義等；
• 構(gòu)建詞庫。即包含文本的處理，以及是否需要有指定詞庫等；
• 初始化網(wǎng)絡(luò)結(jié)構(gòu)。即包含CBOW模型和Skip-Gram模型的參數(shù)初始化，Huffman編碼的生成等；
• 多線程模型訓(xùn)練。即利用Hierarchical Softmax或者Negative Sampling方法對(duì)網(wǎng)絡(luò)中的參數(shù)進(jìn)行求解；
• 最終結(jié)果的處理。即是否保存和以何種形式保存。

對(duì)于以上的過程，可以由下圖表示：

在接下來的內(nèi)容中，將針對(duì)以上的五個(gè)部分，詳細(xì)分析下在源代碼中的實(shí)現(xiàn)技巧，以及簡單介紹我在讀代碼的過程中對(duì)部分代碼的一些思考。

1. 預(yù)處理

在預(yù)處理部分，對(duì)word2vec需要使用的參數(shù)進(jìn)行初始化，在word2vec中是利用傳入的方式對(duì)參數(shù)進(jìn)行初始化的。
在預(yù)處理部分，實(shí)現(xiàn)了sigmoid函數(shù)值的近似計(jì)算。在利用神經(jīng)網(wǎng)絡(luò)模型對(duì)樣本進(jìn)行預(yù)測的過程中，需要對(duì)其進(jìn)行預(yù)測，此時(shí)，需要使用到sigmoid函數(shù)，sigmoid函數(shù)的具體形式為：

$$\sigma \left(x\right)=\frac{1}{1+e^{?x}}=\frac{e^x}{1+e^x}$$

如果每一次都請(qǐng)求計(jì)算sigmoid值，對(duì)性能將會(huì)有一定的影響，當(dāng)sigmoid的值對(duì)精度的要求并不是非常嚴(yán)格時(shí)，可以采用近似計(jì)算。在word2vec中，將區(qū)間$\left[?6,6\right]$（設(shè)置的參數(shù)MAX_EXP為6）等距離劃分成EXP_TABLE_SIZE等份，并將每個(gè)區(qū)間中的sigmoid值計(jì)算好存入到數(shù)組expTable中，需要使用時(shí)，直接從數(shù)組中查找。計(jì)算sigmoid值的代碼如下所示：

expTable = (real *)malloc((EXP_TABLE_SIZE + 1) * sizeof(real));// 申請(qǐng)EXP_TABLE_SIZE+1個(gè)空間// 計(jì)算sigmoid值 for (i = 0; i < EXP_TABLE_SIZE; i++) {expTable[i] = exp((i / (real)EXP_TABLE_SIZE * 2 - 1) * MAX_EXP); // Precompute the exp() tableexpTable[i] = expTable[i] / (expTable[i] + 1); // Precompute f(x) = x / (x + 1) }

注意：在上述代碼中，作者使用的是小于EXP_TABLE_SIZE，實(shí)際的區(qū)間是$\left[?6,6\right)$。

2. 構(gòu)建詞庫

在word2vec源碼中，提供了兩種構(gòu)建詞庫的方法，分別為：

• 指定詞庫：ReadVocab()方法
• 從詞的文本構(gòu)建詞庫：LearnVocabFromTrainFile()方法

2.1. 構(gòu)建詞庫的過程

在這里，我們以從詞的文本構(gòu)建詞庫為例。構(gòu)建詞庫的過程如下所示：

在這部分中，最主要的工作是對(duì)文本進(jìn)行處理，包括低頻詞的處理，hash表的處理等等。首先，會(huì)在詞庫中增加一個(gè)“< /s>”的詞，同時(shí)，在讀取文本的過程中，將換行符“\n”也表示成該該詞，如：

if (ch == '\n') {strcpy(word, (char *)"</s>");// 換行符用</s>表示return; }

在循環(huán)的過程中，不斷去讀取文件中的每一個(gè)詞，并在詞庫中進(jìn)行查找，若存在該詞，則該詞的詞頻+1，否則，在詞庫中增加該詞。在詞庫中，是通過哈希表的形式存儲(chǔ)的。最終，會(huì)過濾掉一些低頻詞。

在得到最終的詞庫之前，還需根據(jù)詞庫中的詞頻對(duì)詞庫中的詞進(jìn)行排序。

2.2. 對(duì)詞的哈希處理

在存儲(chǔ)詞的過程中，同時(shí)保留這兩個(gè)數(shù)組：

• 存儲(chǔ)詞的vocab
• 存儲(chǔ)詞的hash的vocab_hash

其中，在vocab中，存儲(chǔ)的是詞對(duì)應(yīng)的結(jié)構(gòu)體：

// 詞的結(jié)構(gòu)體 struct vocab_word {long long cn; // 出現(xiàn)的次數(shù)int *point; // 從根結(jié)點(diǎn)到葉子節(jié)點(diǎn)的路徑char *word, *code, codelen;// 分別對(duì)應(yīng)著詞，Huffman編碼，編碼長度 };

在vocab_hash中存儲(chǔ)的是詞在詞庫中的Index。

在對(duì)詞的處理過程中，主要包括：

• 計(jì)算詞的hash值：

// 取詞的hash值 int GetWordHash(char *word) {unsigned long long a, hash = 0;for (a = 0; a < strlen(word); a++) hash = hash * 257 + word[a];hash = hash % vocab_hash_size;return hash; }

• 檢索詞是否存在。如不存在則返回-1，否則，返回該詞在詞庫中的索引：

while (1) {if (vocab_hash[hash] == -1) return -1;// 不存在該詞if (!strcmp(word, vocab[vocab_hash[hash]].word)) return vocab_hash[hash];// 返回索引值hash = (hash + 1) % vocab_hash_size;// 處理沖突 } return -1;// 不存在該詞

在這個(gè)過程中，使用到了線性探測的開放定址法處理沖突，開放定址法就是一旦發(fā)生沖突，就去尋找下一個(gè)空的散列地址。

• 不存在，則插入新詞。

在這個(gè)過程中，除了需要將詞增加到詞庫中，好需要計(jì)算該詞的hash值，并將vocab_hash數(shù)組中的值標(biāo)記為索引。

2.3. 對(duì)低頻詞的處理

在循環(huán)讀取每一個(gè)詞的過程中，當(dāng)出現(xiàn)“vocab_size > vocab_hash_size * 0.7”時(shí)，需要對(duì)低頻詞進(jìn)行處理。其中，vocab_size表示的是目前詞庫中詞的個(gè)數(shù)，vocab_hash_size表示的是初始設(shè)定的hash表的大小。

在處理低頻詞的過程中，通過參數(shù)“min_reduce”來控制，若詞出現(xiàn)的次數(shù)小于等于該值時(shí)，則從詞庫中刪除該詞。

在刪除了低頻詞后，需要重新對(duì)詞庫中的詞進(jìn)行hash值的計(jì)算。

2.4. 根據(jù)詞頻對(duì)詞庫中的詞排序

基于以上的過程，程序已經(jīng)將詞從文件中提取出來，并存入到指定的詞庫中（vocab數(shù)組），接下來，需要根據(jù)每一個(gè)詞的詞頻對(duì)詞庫中的詞按照詞頻從大到小排序，其基本過程在函數(shù)SortVocab中，排序過程為：

qsort(&vocab[1], vocab_size - 1, sizeof(struct vocab_word), VocabCompare);

保持字符“< \s>”在最開始的位置。排序后，根據(jù)“min_count”對(duì)低頻詞進(jìn)行處理，與上述一樣，再對(duì)剩下的詞重新計(jì)算hash值。

至此，整個(gè)對(duì)詞的處理過程就已經(jīng)結(jié)束了。加下來，將是對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的處理和詞向量的訓(xùn)練。

3. 初始化網(wǎng)絡(luò)結(jié)構(gòu)

有了以上的對(duì)詞的處理，就已經(jīng)處理好了所有的訓(xùn)練樣本，此時(shí)，便可以開始網(wǎng)絡(luò)結(jié)構(gòu)的初始化和接下來的網(wǎng)絡(luò)訓(xùn)練。網(wǎng)絡(luò)的初始化的過程在InitNet()函數(shù)中完成。

3.1. 初始化網(wǎng)絡(luò)參數(shù)

在初始化的過程中，主要的參數(shù)包括詞向量的初始化和映射層到輸出層的權(quán)重的初始化，如下圖所示：

在初始化的過程中，映射層到輸出層的權(quán)重都初始化為$0$，而對(duì)于每一個(gè)詞向量的初始化，作者的初始化方法如下代碼所示：

for (a = 0; a < vocab_size; a++) for (b = 0; b < layer1_size; b++) {next_random = next_random * (unsigned long long)25214903917 + 11;// 1、與：相當(dāng)于將數(shù)控制在一定范圍內(nèi)// 2、0xFFFF：65536// 3、/65536：[0,1]之間syn0[a * layer1_size + b] = (((next_random & 0xFFFF) / (real)65536) - 0.5) / layer1_size;// 初始化詞向量 }

首先，生成一個(gè)很大的next_random的數(shù)，通過與“0xFFFF”進(jìn)行與運(yùn)算截?cái)?#xff0c;再除以65536得到$\left[0,1\right]$之間的數(shù)，最終，得到的初始化的向量的范圍為：$\left[?\frac{0.5}{m},\frac{0.5}{m}\right]$，其中，$m$為詞向量的長度。

3.2. Huffman樹的構(gòu)建

在層次Softmax中需要使用到Huffman樹以及Huffman編碼，因此，在網(wǎng)絡(luò)結(jié)構(gòu)的初始化過程中，也需要初始化Huffman樹。在生成Huffman樹的過程中，首先定義了$3$個(gè)長度為vocab_size*2+1的數(shù)組：

long long *count = (long long *)calloc(vocab_size * 2 + 1, sizeof(long long)); long long *binary = (long long *)calloc(vocab_size * 2 + 1, sizeof(long long)); long long *parent_node = (long long *)calloc(vocab_size * 2 + 1, sizeof(long long));

其中，count數(shù)組中前vocab_size存儲(chǔ)的是每一個(gè)詞的對(duì)應(yīng)的詞頻，后面初始化的是很大的數(shù)，已知詞庫中的詞是按照降序排列的，因此，構(gòu)建Huffman樹的過程如下所示（對(duì)于Huffman樹的原理，可以參見博文“數(shù)據(jù)結(jié)構(gòu)和算法——Huffman樹和Huffman編碼”）：

首先，設(shè)置兩個(gè)指針pos1和pos2，分別指向最后一個(gè)詞和最后一個(gè)詞的后一位，從兩個(gè)指針?biāo)傅臄?shù)中選擇出最小的值，記為min1i，如pos1所指的值最小，此時(shí)，將pos1左移，再比較pos1和pos2所指的數(shù)，選擇出最小的值，記為min2i，將他們的和存儲(chǔ)到pos2所指的位置。并將此時(shí)pos2所指的位置設(shè)置為min1i和min2i的父節(jié)點(diǎn)，同時(shí)，記min2i所指的位置的編碼為1，如下代碼所示：

// 設(shè)置父節(jié)點(diǎn) parent_node[min1i] = vocab_size + a; parent_node[min2i] = vocab_size + a; binary[min2i] = 1;// 設(shè)置一個(gè)子樹的編碼為1

構(gòu)建好Huffman樹后，此時(shí)，需要根據(jù)構(gòu)建好的Huffman樹生成對(duì)應(yīng)節(jié)點(diǎn)的Huffman編碼。假設(shè)，上述的數(shù)據(jù)生成的最終的Huffman樹為：

此時(shí)，count數(shù)組，binary數(shù)組和parent_node數(shù)組分別為：

在生成Huffman編碼的過程中，針對(duì)每一個(gè)詞（詞都在葉子節(jié)點(diǎn)上），從葉子節(jié)點(diǎn)開始，將編碼存入到code數(shù)組中，如對(duì)于上圖中的“R”節(jié)點(diǎn)來說，其code數(shù)組為{1,0}，再對(duì)其反轉(zhuǎn)便是Huffman編碼：

vocab[a].codelen = i;// 詞的編碼長度 vocab[a].point[0] = vocab_size - 2; for (b = 0; b < i; b++) {vocab[a].code[i - b - 1] = code[b];// 編碼的反轉(zhuǎn)vocab[a].point[i - b] = point[b] - vocab_size;// 記錄的是從根結(jié)點(diǎn)到葉子節(jié)點(diǎn)的路徑 }

注意：這里的Huffman樹的構(gòu)建和Huffman編碼的生成過程寫得比較精簡。

3.3. 負(fù)樣本選中表的初始化

如果是采用負(fù)采樣的方法，此時(shí)還需要初始化每個(gè)詞被選中的概率。在所有的詞構(gòu)成的詞典中，每一個(gè)詞出現(xiàn)的頻率有高有低，我們希望，對(duì)于那些高頻的詞，被選中成為負(fù)樣本的概率要大點(diǎn)，同時(shí)，對(duì)于那些出現(xiàn)頻率比較低的詞，我們希望其被選中成為負(fù)樣本的頻率低點(diǎn)。這個(gè)原理于“輪盤賭”的策略一致（詳細(xì)可以參見“優(yōu)化算法——遺傳算法”）。在程序中，實(shí)現(xiàn)這部分功能的代碼為：

// 生成負(fù)采樣的概率表 void InitUnigramTable() {int a, i;double train_words_pow = 0;double d1, power = 0.75;table = (int *)malloc(table_size * sizeof(int));// int --> intfor (a = 0; a < vocab_size; a++) train_words_pow += pow(vocab[a].cn, power);// 類似輪盤賭生成每個(gè)詞的概率i = 0;d1 = pow(vocab[i].cn, power) / train_words_pow;for (a = 0; a < table_size; a++) {table[a] = i;if (a / (double)table_size > d1) {i++;d1 += pow(vocab[i].cn, power) / train_words_pow;}if (i >= vocab_size) i = vocab_size - 1;} }

在實(shí)現(xiàn)的過程中，沒有直接使用每一個(gè)詞的頻率，而是使用了詞的$0.75$次方。

4、多線程模型訓(xùn)練

以上的各個(gè)部分是為訓(xùn)練詞向量做準(zhǔn)備，即準(zhǔn)備訓(xùn)練數(shù)據(jù)，構(gòu)建訓(xùn)練模型。在上述的初始化完成后，接下來就是根據(jù)不同的方法對(duì)模型進(jìn)行訓(xùn)練，在實(shí)現(xiàn)的過程中，作者使用了多線程的方法對(duì)其進(jìn)行訓(xùn)練。

4.1、多線程的處理

為了能夠?qū)ξ谋具M(jìn)行加速訓(xùn)練，在實(shí)現(xiàn)的過程中，作者使用了多線程的方法，并對(duì)每一個(gè)線程上分配指定大小的文件：

// 利用多線程對(duì)訓(xùn)練文件劃分，每個(gè)線程訓(xùn)練一部分的數(shù)據(jù) fseek(fi, file_size / (long long)num_threads * (long long)id, SEEK_SET);

注意：這邊的多線程分割方式并不能保證每一個(gè)線程分到的文件是互斥的。對(duì)于其中的原因，可以參見“Linux C 編程——多線程”。

這個(gè)過程可以通過下圖簡單的描述：

在實(shí)現(xiàn)多線程的過程中，作者并沒有加鎖的操作，而是對(duì)模型參數(shù)和詞向量的修改可以任意執(zhí)行，這一點(diǎn)類似于基于隨機(jī)梯度的方法，訓(xùn)練的過程與訓(xùn)練樣本的訓(xùn)練是沒有關(guān)系的，這樣可以大大加快對(duì)詞向量的訓(xùn)練。拋開多線程的部分，在每一個(gè)線程內(nèi)執(zhí)行的是對(duì)模型和詞向量的訓(xùn)練。

作者在實(shí)現(xiàn)的過程中，主要實(shí)現(xiàn)了兩個(gè)模型，即CBOW模型和Skip-gram模型，在每個(gè)模型中，又分別使用到了兩種不同的訓(xùn)練方法，即層次Softmax和Negative Sampling方法。

對(duì)于CBOW模型和Skip-gram模型的理解，首先必須知道統(tǒng)計(jì)語言模型（Statistic Language Model）。

在統(tǒng)計(jì)語言模型中的核心內(nèi)容是：計(jì)算一組詞語能夠成為一個(gè)句子的概率。

為了能夠求解其中的參數(shù)，一大批參數(shù)求解的方法被提出，在其中，就有word2vec中要使用的神經(jīng)概率語言模型。具體的神經(jīng)概率語言模型可以參見“”。

4.2. CBOW模型

CBOW模型和Skip-gram模型是神經(jīng)概率語言模型的兩種變形形式，其中，在CBOW模型中包含三層，即輸入層，映射層和輸出層。對(duì)于CBOW模型，如下圖所示：

在CBOW模型中，通過詞$w_t$的前后詞$w_{t?2}$，$w_{t?1}$，$w_{t+1}$和$w_{t+2}$來預(yù)測當(dāng)前詞$w_t$。此處的窗口的大小window為2。

4.3.1. 從輸入層到映射層

首先找到每個(gè)詞對(duì)應(yīng)的詞向量，并將這些詞的詞向量相加，程序代碼如下所示：

// in -> hidden // 輸入層到映射層 cw = 0; for (a = b; a < window * 2 + 1 - b; a++) if (a != window) {c = sentence_position - window + a;// sentence_position表示的是當(dāng)前的位置// 判斷c是否越界if (c < 0) continue;if (c >= sentence_length) continue;last_word = sen[c];// 找到c對(duì)應(yīng)的索引if (last_word == -1) continue;for (c = 0; c < layer1_size; c++) neu1[c] += syn0[c + last_word * layer1_size];// 累加cw++; }

當(dāng)累加完窗口內(nèi)的所有的詞向量的之后，存儲(chǔ)在映射層neu1中，并取平均，程序代碼如下所示：

for (c = 0; c < layer1_size; c++) neu1[c] /= cw;// 計(jì)算均值

當(dāng)取得了映射層的結(jié)果后，此時(shí)就需要使用Hierarchical Softmax或者Negative Sampling對(duì)模型進(jìn)行訓(xùn)練。

4.3.2. Hierarchical Softmax

Hierarchical Softmax是word2vec中用于提高性能的一項(xiàng)關(guān)鍵的技術(shù)。由Hierarchical Softmax的原理可知，對(duì)于詞w，其對(duì)數(shù)似然函數(shù)為：

$$L\left(w\right)=\sum _{j\in point}\left\{\left(1?d_j^w\right)?log\left[\sigma \left(X_w^T{\theta }_j^w\right)\right]+d_j^w?log\left[1?\sigma \left(X_w^T{\theta }_j^w\right)\right]\right\}$$

其中，$j$表示的詞w對(duì)應(yīng)的Huffman編碼中的每一個(gè)編碼的下標(biāo)，$d_j^w$表示的是第$j$個(gè)Huffman編碼，且$d_j^w\in \left\{0,1\right\}$，這是一個(gè)求和的過程，因此，對(duì)于Huffman編碼中的每一個(gè)編碼，上述的對(duì)數(shù)似然函數(shù)為：

$$L\left(w,j\right)=\left(1?d_j^w\right)?log\left[\sigma \left(X_w^T{\theta }_j^w\right)\right]+d_j^w?log\left[1?\sigma \left(X_w^T{\theta }_j^w\right)\right]$$

在此，變量為$X_w$和${\theta }_j^w$，此時(shí)，分別對(duì)$X_w$和${\theta }_j^w$求偏導(dǎo)數(shù)：

$$\frac{?L\left(w,j\right)}{?{\theta }_j^w}=\left[1?d_j^w?\sigma \left(X_w^T{\theta }_j^w\right)\right]X_w$$

$$\frac{?L\left(w,j\right)}{?X_w}=\left[1?d_j^w?\sigma \left(X_w^T{\theta }_j^w\right)\right]{\theta }_j^w$$

因此，對(duì)于${\theta }_j^w$的更新公式為：

$${\theta }_j^w={\theta }_j^w+\eta \left[1?d_j^w?\sigma \left(X_w^T{\theta }_j^w\right)\right]X_w$$

在word2vec源碼中，為了能夠加快計(jì)算，作者在開始的時(shí)候存儲(chǔ)了一份Sigmoid的值，因此，對(duì)于$\sigma \left ( X_w^T\theta _j^w \right ) $需要從expTable中查詢到對(duì)應(yīng)的值。

for (d = 0; d < vocab[word].codelen; d++) {// word為當(dāng)前詞// 計(jì)算輸出層的輸出f = 0;l2 = vocab[word].point[d] * layer1_size;// 找到第d個(gè)詞對(duì)應(yīng)的權(quán)重// Propagate hidden -> outputfor (c = 0; c < layer1_size; c++) f += neu1[c] * syn1[c + l2];// 映射層到輸出層if (f <= -MAX_EXP) continue;else if (f >= MAX_EXP) continue;else f = expTable[(int)((f + MAX_EXP) * (EXP_TABLE_SIZE / MAX_EXP / 2))];// Sigmoid結(jié)果// 'g' is the gradient multiplied by the learning rateg = (1 - vocab[word].code[d] - f) * alpha;// Propagate errors output -> hiddenfor (c = 0; c < layer1_size; c++) neu1e[c] += g * syn1[c + l2];// 修改映射后的結(jié)果// Learn weights hidden -> outputfor (c = 0; c < layer1_size; c++) syn1[c + l2] += g * neu1[c];// 修改映射層到輸出層之間的權(quán)重 }

對(duì)于窗口內(nèi)的詞的向量的更新，則是利用窗口內(nèi)的所有詞的梯度之和$\sum \frac{?L\left(w,j\right)}{?X_w}$來更新，如程序代碼所示：

// hidden -> in // 以上是從映射層到輸出層的修改，現(xiàn)在返回修改每一個(gè)詞向量 for (a = b; a < window * 2 + 1 - b; a++) if (a != window) {c = sentence_position - window + a;if (c < 0) continue;if (c >= sentence_length) continue;last_word = sen[c];if (last_word == -1) continue;// 利用窗口內(nèi)的所有詞向量的梯度之和來更新for (c = 0; c < layer1_size; c++) syn0[c + last_word * layer1_size] += neu1e[c]; }

4.3.3. Negative Sampling

與Hierarchical Softmax一致，Negative Sampling也是一種加速計(jì)算的方法，在Negative Sampling方法中使用的是隨機(jī)的負(fù)采樣，在CBOW模型中，已知詞$w$的上下文，需要預(yù)測詞$w$，對(duì)于給定的上下文，詞$w$即為正樣本，其他的樣本為負(fù)樣本，此時(shí)我們需要根據(jù)詞頻從剩下的詞中挑選出最合適的負(fù)樣本，實(shí)現(xiàn)的代碼如下所示：

// 標(biāo)記target和label if (d == 0) {// 正樣本target = word;label = 1; } else {// 選擇出負(fù)樣本next_random = next_random * (unsigned long long)25214903917 + 11;target = table[(next_random >> 16) % table_size];// 從table表中選擇出負(fù)樣本// 重新選擇if (target == 0) target = next_random % (vocab_size - 1) + 1;if (target == word) continue;label = 0; }

當(dāng)選擇出了正負(fù)樣本，此時(shí)的損失函數(shù)為：

$$l\left(w\right)=\sigma \left(X_w^T{\theta }^w\right)?\prod _{u\in NEG\left(w\right)}\left[1?\sigma \left(X_w^T{\theta }^u\right)\right]$$

其對(duì)數(shù)似然函數(shù)為：

$$L=logl\left(w\right)=log\prod _{u\in w\cup NEG\left(w\right)}\left\{{\left[\sigma \left(X_w^T{\theta }^u\right)\right]}^{L^w\left(u\right)}?{\left[1?\sigma \left(X_w^T{\theta }^u\right)\right]}^{1?L^w\left(u\right)}\right\}$$

即為：

$$\sum _{u\in w\cup NEG\left(w\right)}\left\{L^w\left(u\right)?log\left[\sigma \left(X_w^T{\theta }^u\right)\right]+\left[1?L^w\left(u\right)\right]?log\left[1?\sigma \left(X_w^T{\theta }^u\right)\right]\right\}$$

取：

$$L\left(w,u\right)=L^w\left(u\right)?log\left[\sigma \left(X_w^T{\theta }^u\right)\right]+\left[1?L^w\left(u\right)\right]?log\left[1?\sigma \left(X_w^T{\theta }^u\right)\right]$$

在此，變量為$X_w$和${\theta }^u$，此時(shí)，分別對(duì)$X_w$和${\theta }_j^w$求偏導(dǎo)數(shù)：

$$\frac{?L\left(w,u\right)}{?{\theta }^u}=\left[L^w\left(u\right)?\sigma \left(X_w^T{\theta }^u\right)\right]X_w$$

$$\frac{?L\left(w,u\right)}{?X_w}=\left[L^w\left(u\right)?\sigma \left(X_w^T{\theta }^u\right)\right]{\theta }^u$$

因此，更新的代碼為：

if (f > MAX_EXP) g = (label - 1) * alpha; else if (f < -MAX_EXP) g = (label - 0) * alpha; else g = (label - expTable[(int)((f + MAX_EXP) * (EXP_TABLE_SIZE / MAX_EXP / 2))]) * alpha;for (c = 0; c < layer1_size; c++) neu1e[c] += g * syn1neg[c + l2]; for (c = 0; c < layer1_size; c++) syn1neg[c + l2] += g * neu1[c];

對(duì)詞向量的更新與Hierarchical Softmax中一致。

4.3. Skip-gram模型

而Skip-gram模型與CBOW正好相反，在Skip-gram模型中，則是通過當(dāng)前詞$w_t$來預(yù)測其前后詞$w_{t?2}$，$w_{t?1}$，$w_{t+1}$和$w_{t+2}$，Skip-gram模型如下圖所示：

4.3.1. Hierarchical Softmax

由上述的分析，我們發(fā)現(xiàn)，在Skip-gram模型中，其計(jì)算方法與CBOW模型很相似，不同的是，在Skip-gram模型中，需要使用當(dāng)前詞分別預(yù)測窗口中的詞，因此，這是一個(gè)循環(huán)的過程：

for (a = b; a < window * 2 + 1 - b; a++) if (a != window)

對(duì)于向量的更新過程與CBOW模型中的Hierarchical Softmax一致：

c = sentence_position - window + a; if (c < 0) continue; if (c >= sentence_length) continue; last_word = sen[c]; if (last_word == -1) continue; l1 = last_word * layer1_size; for (c = 0; c < layer1_size; c++) neu1e[c] = 0; // HIERARCHICAL SOFTMAX if (hs) for (d = 0; d < vocab[word].codelen; d++) {f = 0;l2 = vocab[word].point[d] * layer1_size;// Propagate hidden -> output// 映射層即為輸入層for (c = 0; c < layer1_size; c++) f += syn0[c + l1] * syn1[c + l2];if (f <= -MAX_EXP) continue;else if (f >= MAX_EXP) continue;else f = expTable[(int)((f + MAX_EXP) * (EXP_TABLE_SIZE / MAX_EXP / 2))];// 'g' is the gradient multiplied by the learning rateg = (1 - vocab[word].code[d] - f) * alpha;// Propagate errors output -> hiddenfor (c = 0; c < layer1_size; c++) neu1e[c] += g * syn1[c + l2];// Learn weights hidden -> outputfor (c = 0; c < layer1_size; c++) syn1[c + l2] += g * syn0[c + l1]; } // Learn weights input -> hidden for (c = 0; c < layer1_size; c++) syn0[c + l1] += neu1e[c];

4.3.2. Negative Sampling

與上述一致，在Skip-gram中與CBOW中的唯一不同是在Skip-gram中是循環(huán)的過程。代碼的實(shí)現(xiàn)類似與上面的Hierarchical Softmax。

注釋版的word2vec源碼已經(jīng)上傳到Github中：Github：word2vec.c

參考文獻(xiàn)

[1] word2vec 中的數(shù)學(xué)原理詳解（一）目錄和前言

[2] word2vec 中的數(shù)學(xué)原理詳解（二）預(yù)備知識(shí)

[3] word2vec 中的數(shù)學(xué)原理詳解（三）背景知識(shí)

[4] word2vec 中的數(shù)學(xué)原理詳解（四）基于 Hierarchical Softmax 的模型

[5] word2vec 中的數(shù)學(xué)原理詳解（五）基于 Negative Sampling 的模型

[6] word2vec 中的數(shù)學(xué)原理詳解（六）若干源碼細(xì)節(jié)

[7] 深度學(xué)習(xí)與自然語言處理(1)_斯坦福cs224d Lecture 1

[8] Google Word2vec 學(xué)習(xí)手札

[9] Deep Learning in NLP （一）詞向量和語言模型

[10] Neural Probabilistic Language Model, word2vec來龍去脈

[11] word2vec原理概述

[12] 自己動(dòng)手寫word2vec (一):主要概念和流程

[13] The amazing power of word vectors

[14] word2vec前世今生

總結(jié)

以上是生活随笔為你收集整理的机器学习算法实现解析——word2vec源码解析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。