學習筆記，僅供參考，有錯必糾

---

文檔信息的向量化

一個簡單模型在大數據量上的表現會比復雜模型在小數據量上的表現更好.

數據中蘊含的信息量決定一切

文本信息的分布式表示

如何將分布式表示用于NLP

• 不直接考慮詞與詞在原文中的相對位置、距離、語法結構等，先把每個詞看作一個單獨的向量
• 根據一個詞在上下文中的臨近詞的含義，應當可以歸納出詞本身的含義
• 單個詞的詞向量不足以表示整個文本，能表示的僅僅是這個詞本身

分布式表示的步驟

• 需要事先決定用多少維度的向量來表示詞條
  • 維度以50維和100維比較常見
  • 向量中每個維度的取值由模型訓練來決定，且不再是唯一的
• 所有的詞都在同一個高維空間中構成不同的向量
  • 從而詞與詞之間的關系就可以用空間中的距離來加以表述
• 所有訓練方法都是在訓練語言模型的同時，順便得到詞向量的
  • 語言模型其實就是看一句話是不是正常人說出來的，具體表現為詞條先后出現的的順序和距離所對應的概率是否最大化

總結

以上是生活随笔為你收集整理的文本挖掘(part5)--文本信息的分布式表示的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。