目錄

• 1 目的和思想
• 2 模型原理
• • 2.1 PV-DM（段落向量的分布式存儲模型）
  • 2.2 PV-DBOW （段落向量的分布式單詞包版本）
• 3 doc2vec 總結
• 4 應用任務

1 目的和思想

doc2vec 模型的目的：創建文檔向量表示
doc2vec 的整體思想：在word2vec的基礎上增加了可訓練句子的矩陣
doc2vec 是無監督學習
模型出自論文: Distributed Representations of Sentences and Documents

2 模型原理

模型實現（兩種方法）：

PV-DM + softmax

PV-DBOW + softmax

訓練階段：給出一組文檔，為每個單詞生成詞向量W，并為每個文檔生成文檔向量D，訓練 softmax 隱藏層的權重。
預測階段：固定 softmax 等權重以計算文檔向量，隨機初始化文檔向量，不斷迭代更新文檔向量，所有參數均不變，訓練使用時間少

2.1 PV-DM（段落向量的分布式存儲模型）

在CBOW基礎上，增加 Paragraph Vector表示文檔的向量D，在D中取矩陣中的一列作為輸入層的輸入，在詞向量W中取一列，將段落向量和詞向量進行運算得到 X 向量，用 X 向量來預測詞

2.2 PV-DBOW （段落向量的分布式單詞包版本）

在skip-gram基礎上，利用句子向量預測詞，該算法實際上更快，并且消耗更少的內存，因為不需要保存詞向量

3 doc2vec 總結

doc2vec 是在word2vec的基礎上進行了修改，在輸入層上增加了Paragraph vector，不僅能訓練出詞向量還能訓練出句子向量，咋子迭代更新的過程中，句子向量不斷的穩定，更能代表一句話的主旨。在預測新句子時，參數不變，用梯度下降求得句子向量，速度也非?？?/p>

通過學出來的向量可以通過計算距離來找 sentences/paragraphs/documents 之間的相似性， 或者進一步可以給文檔打標簽

4 應用任務

文中應用任務：

情感分析

信息檢索

總結

以上是生活随笔為你收集整理的doc2vec 文档向量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。