本來這部分內(nèi)容不多，是想寫在negative sampling 中和cbow一起的，但是寫了后不小心按了刪除鍵，瀏覽器直接回退，找不到了，所以重新寫新的，以免出現(xiàn)上述情況

(接上)

三、Negative Sampling 模型——Skip-gram

????這部分內(nèi)容并不多，與cbow相比，只是目標(biāo)函數(shù)有所變化，推導(dǎo)過程這里就略過。總的來說，就是將目標(biāo)函數(shù)取最大似然，然后利用SGD方法求出詞向量和最優(yōu)參數(shù)。
目標(biāo)函數(shù)如下所示：

G=∏w∈Cg(w)
其中， g(w)可以改寫成如下形式：
g(w)=∏u∈context(w)g(u)
g(u)表示如下：
g(u)=∏z∈{u}∪NEG(u)p(z|w)
其中， NEG(u)表示在處理詞 u時產(chǎn)生的負(fù)樣本集合。p(z|w)如下：
p(z|w)={σ(v(w)Tθz),1?σ(v(w)Tθz),Lu(z)=1Lu(z)=0
將以上式子合并之后就可以得到最終的目標(biāo)函數(shù)：
G=∏w∈C∏u∈context(w)∏z∈{u}∪NEG(u)σ(v(w)Tθz)Lu(z)(1?σ(v(w)Tθz))Lu(z)
然后取 G<script type="math/tex" id="MathJax-Element-11">G</script>的最大似然對數(shù)，求目標(biāo)函數(shù)的最優(yōu)化。

總結(jié)

以上是生活随笔為你收集整理的Word2Vec学习笔记（五）——Negative Sampling 模型(续)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。