本來這部分內容不多，是想寫在negative sampling 中和cbow一起的，但是寫了后不小心按了刪除鍵，瀏覽器直接回退，找不到了，所以重新寫新的，以免出現上述情況

(接上)

三、Negative Sampling 模型——Skip-gram

????這部分內容并不多，與cbow相比，只是目標函數有所變化，推導過程這里就略過。總的來說，就是將目標函數取最大似然，然后利用SGD方法求出詞向量和最優參數。
目標函數如下所示：

G=∏w∈Cg(w)
其中， g(w)可以改寫成如下形式：
g(w)=∏u∈context(w)g(u)
g(u)表示如下：
g(u)=∏z∈{u}∪NEG(u)p(z|w)
其中， NEG(u)表示在處理詞 u時產生的負樣本集合。p(z|w)如下：
p(z|w)={σ(v(w)Tθz),1?σ(v(w)Tθz),Lu(z)=1Lu(z)=0
將以上式子合并之后就可以得到最終的目標函數：
G=∏w∈C∏u∈context(w)∏z∈{u}∪NEG(u)σ(v(w)Tθz)Lu(z)(1?σ(v(w)Tθz))Lu(z)
然后取 G<script type="math/tex" id="MathJax-Element-11">G</script>的最大似然對數，求目標函數的最優化。

總結

以上是生活随笔為你收集整理的Word2Vec学习笔记（五）——Negative Sampling 模型(续)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。