學(xué)習筆記，僅供參考，有錯必糾

---

文檔信息的向量化

Bi-gram和N-gram模型

由于詞袋模型完全無法利用語序信息，而Bi-gram模型考慮前后詞，可以保留順序信息.

為了考慮更多的前后詞，可以直接擴展至trigram、4-gram直至N-gram.

• 模型優(yōu)點：考慮了詞的順序，信息量更充分(長度達到5之后，效果有明顯提升)
• 模型缺點：詞表迅速膨脹，數(shù)據(jù)出現(xiàn)大量的稀疏化問題(每增加一個詞，模型參數(shù)增加40萬倍)

離散表示方式所面臨的問題總結(jié)

• 無法衡量詞向量之間的關(guān)系
• 詞表維度隨著語料庫增長膨脹
• N-gram詞序列隨語料庫膨脹更快
• 數(shù)據(jù)稀疏問題(導(dǎo)致分析性能成為嚴重瓶頸)

總結(jié)

以上是生活随笔為你收集整理的文本挖掘(part4)--N-gram模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。