博文： 秒懂詞向量Word2Vec的本質

什么是Word2Vec？

詞性標注：是動詞還是名詞，樣本（x，y）中，x是詞語，y是它們的詞性

f（x）->y

中的f（神經網絡、SVM）只接受數值型輸入，而NLP里的詞語，必須轉換為數值型形式

語言模型： 把 x 看做一個句子里的一個詞語，y 是這個詞語的上下文詞語，那么這里的 f，便是 NLP 中經常出現的『語言模型』（language model），這個模型的目的，就是判斷 (x,y) 這個樣本，是否符合自然語言的法則，更通俗點說就是：詞語x和詞語y放在一起，是不是人話。

而Word2Vec就是集結了上面兩個特征，既要將詞語向量化，又能很好的保證上下文信息。 這里的f則是上面兩個的集合。 但是我們的結果不是為了得到它是什么詞性，它們符不符合語法，而是得到這之間的中間產物——模型參數，并用這些來得到輸入x的向量化表示！

Skip-gram 和 CBOW 模型

上面我們提到了語言模型

• 如果是用一個詞語作為輸入，來預測它周圍的上下文，那這個模型叫做『Skip-gram 模型』
• 而如果是拿一個詞語的上下文作為輸入，來預測這個詞語本身，則是 『CBOW 模型』

但是作為輸入的詞語該怎么表示呢？ 肯定不是Word2Vec，而是one-hot encoder。

這個詞向量的維度（與隱含層節點數一致）一般情況下要遠遠小于詞語總數 V 的大小，所以 Word2vec 本質上是一種降維操作——把詞語從 one-hot encoder 形式的表示降維到 Word2vec 形式的表示。

再具體的內容請看原博文，寫的很細

總結

以上是生活随笔為你收集整理的知识图谱入门知识（五）【转】秒懂词向量Word2Vec的本质的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。