系列文章：

【word2vec】篇一：理解詞向量、CBOW與Skip-Gram等知識(shí)

【word2vec】篇二：基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型

【word2vec】篇三：基于Negative Sampling 的 CBOW 模型和 Skip-gram 模型

Negative Sampling是這么一種求解word2vec模型的方法，它摒棄了霍夫曼樹(shù)，采用了Negative Sampling（負(fù)采樣）的方法來(lái)求解。

負(fù)采樣算法

在CBOW模型中，已知詞$w$的上下文$context(w)$需要預(yù)測(cè)$w$。因此，對(duì)于給定的$context(w)$，詞$w$就是一個(gè)正樣本，其它詞就是負(fù)樣本了。在Skip-gram中同樣也存在正負(fù)樣本問(wèn)題。負(fù)樣本那么多，該如何選取呢？這就是Negative Sampling（負(fù)采樣）問(wèn)題。也就是對(duì)于給定的詞，如何生成其負(fù)樣本子集$NEG(w)$？

采用的基本要求是：詞典$D$中的詞在語(yǔ)料$C$中出現(xiàn)的次數(shù)有高有低，對(duì)于那些高頻詞，被選為負(fù)樣本的概率就應(yīng)該比較大，反之，對(duì)于那些低頻詞，其被選中的概率就應(yīng)該比較小。本質(zhì)上就是一個(gè)帶權(quán)采樣問(wèn)題。

word2vec采用的負(fù)采樣方法如下：

（2）首先將一段長(zhǎng)度為1的線(xiàn)段分成長(zhǎng)度不相等的$V$份($V$是詞匯表的大小)，每份對(duì)應(yīng)詞匯表的一個(gè)詞。高頻詞對(duì)應(yīng)長(zhǎng)線(xiàn)段，低頻詞對(duì)應(yīng)短線(xiàn)段。每個(gè)詞的線(xiàn)段長(zhǎng)度由下式?jīng)Q定：
$$len(w)=\frac{count(w)}{\sum _{u\in D}count(u)}$$
在word2vec中，分子和分母都取了3/4次冪如下：
$$len(w)=\frac{count(w{)}^{3/4}}{\sum _{u\in D}count(u{)}^{3/4}}$$
（2）在引入一個(gè)長(zhǎng)度為1的線(xiàn)段進(jìn)行等距劃分成$M$份，其中$M>>N$，如下圖所示：

如圖所示，M份中的每一份都會(huì)落在某一個(gè)詞對(duì)應(yīng)的線(xiàn)段上。

（3）采樣時(shí)，先從M個(gè)位置中采出neg個(gè)位置，再匹配到這neg個(gè)位置對(duì)應(yīng)的詞就是負(fù)詞。如假設(shè)我們先采出$m_3$，對(duì)應(yīng)$I_2$，$I_2$對(duì)應(yīng)的詞就是負(fù)詞。

注：在word2vec中，M取值默認(rèn)為$10^8$。

CBOW模型

假設(shè)已經(jīng)采樣一個(gè)關(guān)于$w$的非空負(fù)樣本子集$NEG(w)$ ，且對(duì)于 $\tilde{w}\in D$，定義：
$$L^w(\tilde{w})=\{\begin{array}{l}1,\tilde{w}=w\\ 0,\tilde{w}=w\end{array}$$
表示詞$\tilde{w}$的標(biāo)簽。即正樣本的標(biāo)簽為1，負(fù)樣本的標(biāo)簽為0。

對(duì)于一個(gè)給定的正樣本$(context(w),w)$，希望最大化：
$$g(w)=\prod _{u\in w\cup NEG(w)}P(u|context(w))$$
其中：
$$P(u|context(w))=\{\begin{array}{l}\sigma ({\mathbf{x}}_w^T{\theta }^u)L^w(u)=1\\ 1?\sigma ({\mathbf{x}}_w^T{\theta }^u)L^w(u)=0\end{array}$$
寫(xiě)成整體表達(dá)式：
$$P(u|context(w))=[\sigma ({\mathbf{x}}_w^T{\theta }^u){]}^{L^w(u)}?[1?\sigma ({\mathbf{x}}_w^T{\theta }^u){]}^{1?L^w(u)}$$
這里的${\mathbf{x}}_w$是各詞向量之和。${\theta }^u$表示詞對(duì)應(yīng)的一個(gè)向量，是個(gè)待訓(xùn)練參數(shù)。

所以，最終$g(w)$的表達(dá)式如下：
$$g(w)=\sigma ({\mathbf{x}}_w^T{\theta }^w)\prod _{u\in NEG(w)}[1?\sigma ({\mathbf{x}}_w^T{\theta }^u)]$$
其中$\sigma ({\mathbf{x}}_w^T{\theta }^w)$ 表示當(dāng)上下文為$contecxt(w)$ 時(shí)，預(yù)測(cè)中心詞為w的概率；而$\sigma ({\mathbf{x}}_w^T{\theta }^u)u\in NEG(w)$，預(yù)測(cè)中心詞為u的概率。從形式上看，最大化$g(w)$, 相當(dāng)于：增大正樣本的概率同時(shí)降低負(fù)樣本的概率。所以，給定預(yù)料庫(kù)$C$，函數(shù)：
$$G=\prod _{w\in C}g(w)$$
可以作為整體的優(yōu)化目標(biāo)。為了計(jì)算方便可以對(duì)G 取對(duì)數(shù)。所以：
$$\begin{array}{rl}\mathcal{L}& =\log G=\log \prod _{w\in C}g(w)=\sum _{w\in C}\log g(w)\\ & =\sum _{w\in C}\log \prod _{u\in w\cup NEG(w)}\left\{[\sigma ({\mathbf{x}}_w^T{\theta }^u){]}^{L^w(u)}?[1?\sigma ({\mathbf{x}}_w^T{\theta }^u){]}^{1?L^w(u)}\right\}\\ & =\sum _{w\in C}\sum _{u\in w\cup NEG(w)}\left\{L^w(u)\log [\sigma ({\mathbf{x}}_w^T{\theta }^u)]+(1?L^w(u))\log [1?\sigma ({\mathbf{x}}_w^T{\theta }^u)]\right\}\\ & =\sum _{w\in C}\sum _{u\in w\cup NEG(w)}\mathcal{L}(w,u)\end{array}$$
接下來(lái)利用隨機(jī)梯度上升對(duì)參數(shù)進(jìn)行優(yōu)化。

（1）更新${\theta }^u$：

因?yàn)?#xff1a;
$$\begin{array}{rl}\frac{?\mathcal{L}(w,u)}{?{\theta }^u}& =\frac{?\{L^w(u)\log [\sigma ({\mathbf{x}}_w^T{\theta }^u)]+[1?L^w(u)]\log [1?\sigma ({\mathbf{x}}_w^T{\theta }^u)]\}}{?{\theta }^u}\\ & =L^w(u)[1?\sigma ({\mathbf{x}}_w^T{\theta }^u)]{\mathbf{x}}_w?[1?L^w(u)]\sigma ({\mathbf{x}}_w^T{\theta }^u){\mathbf{x}}_w\\ & =[L^w(u)?\sigma ({\mathbf{x}}_w^T{\theta }^u)]{\mathbf{x}}_w\end{array}$$
所以 ${\theta }^u$ 更新公式為：
$${\theta }^u:={\theta }^u+\eta [L^w(u)?\sigma ({\mathbf{x}}_w^T{\theta }^u)]{\mathbf{x}}_w$$
其中$\eta$為學(xué)習(xí)率。

（2）更新${\mathbf{x}}_w$

因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$\mathcal{L}(w,u)$ 關(guān)于變量${\mathbf{x}}_w$和${\theta }^w$ 是對(duì)稱(chēng)的。所以：
$$\begin{array}{r}\frac{?\mathcal{L}(w,u)}{?{\mathbf{x}}_w}=[L^w(u)?\sigma ({\mathbf{x}}_w^T{\theta }^u)]{\theta }^u\end{array}$$
所以：
$$\mathbf{v}(\tilde{w}):=\mathbf{v}(\tilde{w})+\eta \sum _{u\in w\cup NEG(w)}\frac{?\mathcal{L}(w,u)}{?\mathbf{x}(w)},\tilde{w}\in context(w)$$
以下是偽代碼：

Skip-gram模型

Skip-gram模型與CBOW模型的負(fù)采樣模型推到過(guò)程相似。

對(duì)Skip-gram模型而言，正常來(lái)說(shuō)，應(yīng)該是要使用詞 w 來(lái)預(yù)測(cè)上下文中的詞匯$context(w)$，但是在 word2vec 的源碼中，本質(zhì)上還是用了CBOW的思想，將上下文$context(w)$拆成一個(gè)個(gè)詞來(lái)考慮，也就是說(shuō)期望最大化的式子為：
$$g(w)=\prod _{\tilde{w}\in Contex(w)}\prod _{u\in \{w\}\cup NE{G}^{\tilde{w}}(w)}P(u|\tilde{w})$$
其中，$NE{G}^{\tilde{w}}(w)$表示對(duì)上下文中詞$\tilde{w}$的采樣。基于上面的目標(biāo)，用上文類(lèi)似的推導(dǎo)過(guò)程，可以得到下面的算法。

下面簡(jiǎn)單的給出隨機(jī)梯度上升更新參數(shù)的偽代碼：

參考文章：
word2vec 中的數(shù)學(xué)原理詳解
基于Negative Sampling的word2vec模型

總結(jié)

以上是生活随笔為你收集整理的【word2vec】篇三：基于Negative Sampling 的 CBOW 模型和 Skip-gram 模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。