轉載公眾號 | AI機器學習與知識圖譜

---

本文介紹六篇有關知識圖譜預訓練的優秀論文，大致上可分為兩類，生成學習模型和對比學習模型。其中GPT-GNN模型是生成學習模型，模型靈感來源于自然語言處理中的GPT模型；GCC，GraphCL，DGI，InfoGraph和Multi-View這五篇屬于對比學習模型。30頁完整匯報ppt獲取請關注AI機器學習與知識圖譜公眾號回復關鍵字：知識圖譜預訓練

背景知識

圖譜預訓練作用：圖神經網絡(GNNs)已被證明是建模圖結構數據的強大工具。然而，訓練GNN模型通常需要大量的特定任務的標記數據，而獲取這些數據往往非常昂貴。利用自監督GNN模型對未標記圖譜數據進行預訓練是減少標記工作的一種有效方法，然后將預訓練學習到的模型可用在只有少量標簽圖譜數據的下游任務。

Contrastive Learning 對比學習：自監督學習方案常用的兩種方式，一種是生成式學習，另一種就是對比學習。對比學習主要利用了樣本間的約束信息構造輔助任務，通過構建正樣本和負樣本，然后度量正負樣本的距離進行自監督學習。對比學習的關鍵就在于如何合理定義正負樣本，也是難點所在。

Generative Learning 生成式學習：生成式方法以自編碼器為代表，在自編碼器中對數據樣本編碼成特征再解碼重構，以此來學習樣本的特征表達。

PAPER PPT

匯報完整版ppt可通過關注AI機器學習與知識圖譜公眾號后回復關鍵詞：知識圖譜預訓練?來獲得。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 | 六篇2020年知识图谱预训练论文综述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。