1，目錄和前言

https://blog.csdn.net/itplus/article/details/37969519

2，預備知識：邏輯回歸、貝葉斯公式、霍夫曼樹

https://blog.csdn.net/itplus/article/details/37969635

3，背景知識：統計語言模型、假設及n-gram、神經概率語言模型、詞向量的意義、字向量句子向量文章向量

https://blog.csdn.net/itplus/article/details/37969817

4，基于Hierarchical Softmax方法的CBOW和Skip-gram

https://blog.csdn.net/itplus/article/details/37969979

5，基于 Negative Sampling方法的CBOW和Skip-gram

https://blog.csdn.net/itplus/article/details/37998797

6，源代碼以及細節：sigmoid近似、詞典的存儲、換行符、低頻詞和高頻詞、窗口和上下文、學習率、初始化和訓練、多線程并行、再思考

https://blog.csdn.net/itplus/article/details/37999613

?

word2vec 中的數學原理詳解

? ? ?word2vec 是 Google 于 2013 年開源推出的一個用于獲取 word vector 的工具包，它簡單、高效，因此引起了很多人的關注。由于 word2vec 的作者 Tomas Mikolov 在兩篇相關的論文 [3,4] 中并沒有談及太多算法細節，因而在一定程度上增加了這個工具包的神秘感。一些按捺不住的人于是選擇了通過解剖源代碼的方式來一窺究竟。

? ? ?第一次接觸 word2vec 是 2013 年的 10 月份，當時讀了復旦大學鄭驍慶老師發表的論文[7]，其主要工作是將 SENNA 的那套算法（[8]）搬到中文場景。覺得挺有意思，于是做了一個實現（可參見[20]），但苦于其中字向量的訓練時間太長，便選擇使用 word2vec 來提供字向量，沒想到中文分詞效果還不錯，立馬對 word2vec 刮目相看了一把，好奇心也隨之增長。

? ? ?后來，陸陸續續看到了 word2vec 的一些具體應用，而 Tomas Mikolov 團隊本身也將其推廣到了句子和文檔（[6]），因此覺得確實有必要對 word2vec 里的算法原理做個了解，以便對他們的后續研究進行追蹤。于是，沉下心來，仔細讀了一回代碼，算是基本搞明白里面的做法了。第一個感覺就是，“明明是個很簡單的淺層結構，為什么會被那么多人沸沸揚揚地說成是 Deep Learning 呢？”

? ? ?解剖 word2vec 源代碼的過程中，除了算法層面的收獲，其實編程技巧方面的收獲也頗多。既然花了功夫來讀代碼，還是把理解到的東西整理成文，給有需要的朋友提供點參考吧。

? ? ?在整理本文的過程中, 和深度學習群的群友@北流浪子（[15,16]）進行了多次有益的討論，在此表示感謝。另外，也參考了其他人的一些資料，都列在參考文獻了，在此對他們的工作也一并表示感謝。

?

?

?

?

?

作者：peghoty

出處:?http://blog.csdn.net/itplus/article/details/37969519

轉載于:https://www.cnblogs.com/augustone/p/10632753.html

新人創作打卡挑戰賽發博客就能抽獎！定制產品紅包拿不停！

總結

以上是生活随笔為你收集整理的转：word2vec 中的数学原理详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。