GloVe 和 其他模型的關(guān)系

當(dāng)看到GloVe拍腦門找到loglog函數(shù)的時候，就覺得和word2vec中應(yīng)用language model有幾分類似。
其實確有千絲萬縷的聯(lián)系的，推一推，會發(fā)現(xiàn)兩者的相似性，不過我寫到這里懶得寫了，更多的細(xì)節(jié)有興趣可以自己琢磨下。

GloVe 使用

GloVe已經(jīng)在github開源，源碼以及binary可以在GloVe Github找到。
GloVe的代碼寫的比較糙，每一步是獨(dú)立的程序，因此要按照以下步驟進(jìn)行：

1. 運(yùn)行./vocab_count?進(jìn)行詞頻統(tǒng)計
2. 運(yùn)行./cooccur?進(jìn)行共現(xiàn)統(tǒng)計
3. 運(yùn)行./shuffle?進(jìn)行打散
4. 運(yùn)行./glove?進(jìn)行訓(xùn)練詞向量

具體參數(shù)和word2vec比較類似，具體用法可以見
https://github.com/stanfordnlp/GloVe/blob/master/demo.sh。

Reference

[1]?(Paper) GloVe: Global Vectors for Word Representation
[2]?CS224N Lecture 3 | GloVe: Global Vectors for Word Representation
[3]?GloVe Github
[4]?word co-occurrence and theory of meaning
[5]?Bag-of-words_model
[6]?奇異值分解(SVD)原理詳解及推導(dǎo)
[7]?強(qiáng)大的矩陣奇異值分解(SVD)及其應(yīng)用
[8]?We Recommend a Singular Value Decomposition

費(fèi)盡心思寫了一個自己不那么喜歡的模型感覺有些奇怪，不過這是一篇很勵志的paper和算法，它告訴我兩個道理：
1. 發(fā)吊文章不一定需要特別吊的算法，也可以在老算法上改進(jìn)一下，沒準(zhǔn)就很厲害
2. 斯坦福的厲害人物偶爾也會劃劃水
當(dāng)然GloVe本身很厲害，只是寫完了文章，調(diào)侃一下。

總結(jié)

以上是生活随笔為你收集整理的GloVe:另一种Word Embedding方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。