學習筆記，僅供參考，有錯必糾

---

文檔信息的向量化

共現矩陣(Co-currence matrix)

共現矩陣概述

I like deep learning.
I like NLP.
I enjoy modeling.

通過以上3個句子，我們取詞長度為1，并構造共現矩陣如下，矩陣考慮了單詞上下文信息：

當窗口長度越長，則信息量越豐富，但數據量也越大，一般我們設窗口大小為5-10；

共現矩陣的行/列數值自然就表示出各個詞匯的相似度.

存在的問題

如果將共現矩陣行(列)直接作為詞向量

• 向量維數隨著詞典大小線性增長，存儲整個詞典的空間消耗非常大

• 一些模型如文本分類模型會面臨稀疏性問題，高度的稀疏性導致模型欠穩定

解決辦法

構造低維稠密向量作為詞的分布式表示(提取主成分，用SVD做降維)

使用SVD需要面臨的問題：

• 計算量隨語料庫和詞典增長膨脹太快&

總結

以上是生活随笔為你收集整理的文本挖掘(part6)--共现矩阵的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。