下面針對《Spark高級數據分析》中的第六章的實驗
進行原理上的分析
先來個矩陣$M_{m?n}$

word1word2word3

doc1
doc2
doc3
doc4
doc5

$$M_{m?n}\approx U_{m?k}{S}_{k?k}(V^T{)}_{k?n}$$
P118有一句十分關鍵的話：
線性代數運算告訴我們重構矩陣中的兩個列的余弦相似度
正好等于$S{V}^T$的相應列的余弦相似度

這里的重構矩陣的意思就是$M_{m?n}$近似后的結果（就是上面等式的右側）。

表達式對應書本

特定詞語-每個詞語相關度	$V_{n?k}{S}_{k?k}(V^T{)}_{k?1}$	6.9節
特定文檔-每個文檔相關度	$U_{m?k}{S}_{k?k}{U}_{1?k}$	6.10節
特定詞語-每個文檔相關度	$U_{m?k}S{v}_t=U_{m?k}{S}_{k?k}(V^T{)}_{k?1}$	6.11節
特定文檔-每個詞語相關度	$u_d^{T}SV=U_{1?k}{S}_{k?k}(V^T{)}_{k?n}$	6.11節
多詞項查詢	$U_{m?k}{S}_{k?k}?多詞項構成的向量$	6.12節

$(V^T{)}_{k?1}$：表示從$V_{k?n}$中抽取一列,即特定詞語
$U_{1?k}$：表示從$U_{m?k}$中抽取一行,即特定文檔

其中多詞項查詢相當于：
查詢的多個關鍵詞做成詞向量，
最后計算該詞向量和每個文檔的相關度
也就是在模仿前面的“特定詞語-每個文檔相關度”，
計算的時候把特定詞語對應的V中的向量替換成“多個關鍵詞”構成的向量。

總結

以上是生活随笔為你收集整理的文档和词项之间的相关度计算汇总的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。