????前面講了Hierarchical softmax 模型，現在來說說Negative Sampling 模型的CBOW和Skip-gram的原理。它相對于Hierarchical softmax 模型來說，不再采用huffman樹，這樣可以大幅提高性能。

一、Negative Sampling

????在負采樣中，對于給定的詞$w$,如何生成它的負采樣集合$NEG(w)$呢？已知一個詞$w$,它的上下文是$context(w)$,那么詞$w$就是一個正例，其他詞就是一個負例。但是負例樣本太多了，我們怎么去選取呢？在語料庫$\mathcal{C}$中，各個詞出現的頻率是不一樣的，我們采樣的時候要求高頻詞選中的概率較大，而低頻詞選中的概率較小。這就是一個帶權采樣的問題。
設詞典$\mathcal{D}$中的每一個詞$w$對應線段的一個長度：
$$len(w)=\frac{counter(w)}{{\sum }_{u\in \mathcal{D}}counter(u)}(1)$$
式(1)分母是為了歸一化，Word2Vec中的具體做法是：記$l_0=0,l_k={\sum }_{j=1}^{k}len(w_j),k=1,2,\dots ,N$,其中，$w_j$是詞典$\mathcal{D}$中的第$j$個詞，則以$\{l_j{\}}_{j=0}^N$為點構成了一個在區間[0,1]非等距離的劃分。然后再加一個等距離劃分，Word2Vec中選取$M=10^8$，將M個點等距離的分布在區間[0,1]上，這樣就構成了M到I之間的一個映射，如下圖所示：

圖例參考：http://www.cnblogs.com/neopenx/p/4571996.html ，建議大家讀下這篇神作。

????選取負例樣本的時候，取$[M_0,M_{m?1}]$上的一個隨機數，對應到I上就可以了。如果對于詞$w_i$,正好選到它自己，則跳過。負例樣本集合$NEG(w)$的大小在Word2Vec源碼中默認選5.

二、CBOW

????假定關于詞$w$的負例樣本$NEG(w)$已經選出,定義標簽$L$如下,對于 $?w\in \mathcal{D}$：
$$L^w(w)=\{\begin{array}{ll}1,& w=w;\\ 0,& w=w;\end{array}$$
對于給定的一個正例樣本$(context(w),w)$, 要求：
$$\max g(w)=\max \prod _{u\in \{w\}\cup u\in NEG(w)}p(u|context(w))$$
其中，
$$p(u|context(w))=\{\begin{array}{ll}\sigma ({\mathbf{x}}_w^T{\theta }^u),& L^w(u)=1\\ 1?\sigma ({\mathbf{x}}_w^T{\theta }^u),& L^w(u)=0\end{array}$$
把它寫成一個式子：
$$p(u|context(w))=\sigma ({\mathbf{x}}_w^T{\theta }^u{)}^{L^w(u)}+(1?\sigma ({\mathbf{x}}_w^T{\theta }^u){)}^{1?L^w(u)}$$
下邊解釋為什么要最大化$g(w)$，
$$\begin{gathered} g(w)=\prod _{u\in \{w\}\cup u\in NEG(w)}p(u|context(w)) \\ =\prod _{u\in \{w\}\cup u\in NEG(w)}\sigma ({\mathbf{x}}_w^T{\theta }^u{)}^{L^w(u)}+(1?\sigma ({\mathbf{x}}_w^T{\theta }^u){)}^{1?L^w(u)} \\ =\sigma ({\mathbf{x}}_w^T{\theta }^w)\prod _{u\in NEG(w)}(1?\sigma ({\mathbf{x}}_w^T{\theta }^u)) \end{gathered}$$
上式中連乘號前邊的式子可以解釋為最大化正例樣本概率，連乘號后邊解釋為最小化負例樣本概率。

同樣的，針對于語料庫，令:
$$\mathcal{G}=\prod _{w\in \mathcal{C}}g(w)$$
可以將上式作為整體的優化目標函數，取上式的最大似然：
$$\begin{gathered} \mathcal{L}=\log \mathcal{G}=\sum _{w\in \mathcal{C}}\log g(w) \\ =\sum _{w\in \mathcal{C}}\sum _{u\in \{w\}\cup u\in NEG(w)}{L}^w(u)\log [\sigma ({\mathbf{x}}_w^T{\mathbf{\theta }}^u]+[1?L^w(u)]\log [1?\sigma ({\mathbf{x}}_w^T{\mathbf{\theta }}^u)] \end{gathered}$$
和之前的計算過程一樣，記
$$L(w,u)=L^w(u)\log [\sigma ({\mathbf{x}}_w^T{\theta }^u]+[1?L^w(u)]\log [1?\sigma ({\mathbf{x}}_w^T{\mathbf{\theta }}^u)]$$
然后分別求：$\frac{?L(w,u)}{?{\mathbf{X}}_w}$和$\frac{?L(w,u)}{?{\mathbf{\theta }}^u}$,求解過程略過:
$$\begin{gathered} \frac{?L(w,u)}{?{\mathbf{X}}_w}=[L^w(u)?\sigma ({\mathbf{x}}_w^T{\mathbf{\theta }}^u)]{\mathbf{\theta }}^u \\ \frac{?L(w,u)}{?{\mathbf{\theta }}^u}=[L^w(u)?\sigma ({\mathbf{x}}_w^T{\mathbf{\theta }}^u)]{\mathbf{X}}_w \end{gathered}$$
則，可得到如下更新公式：
$$\begin{gathered} {\mathbf{\theta }}^u:={\mathbf{\theta }}^u+\eta [L^w(u)?\sigma ({\mathbf{x}}_w^T{\mathbf{\theta }}^u)]{\mathbf{X}}_w \\ v(\mathbf{w}):=v(\mathbf{w})+\sum _{u\in \{w\}\cup u\in NEG(w)}[L^w(u)?\sigma ({\mathbf{x}}_w^T{\mathbf{\theta }}^u)]{\mathbf{\theta }}^u \end{gathered}$$
其中， $\mathbf{w}\in context(w)$.

總結

以上是生活随笔為你收集整理的Word2Vec学习笔记（四）——Negative Sampling 模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。