論文筆記整理：楊帆，浙江大學計算機學院。

---

? ? ? ? ? ? ?

?

動機

現有的用于圖結構的預訓練方法要么只關注node-level，導致在圖表示空間沒有區分度，要么只關注graph-level，導致在節點表示空間沒有區分度。一種優質的節點表示應該保證不僅在節點層面有良好的區分度，而且由這些節點表示生成的圖的表示在全圖層面也有良好的區分度，所以預訓練過程應同時考慮到node-level和graph-level。

?

? ? ? ? ? ? ?

?

模型

本文提出的模型主要包括node-level預訓練和graph-level預訓練兩部分，其中node-level預訓練包括context prediction和attribute masking兩種實現方法。

? ? ? ? ? ? ?

Node-level pre-training

Context prediction

該方法定義了Neighborhood和Context graph兩個概念，利用兩個GNN分別對每個節點的Neighborhood和Context graph進行編碼，然后通過負采樣技術，訓練一個二分類器判斷一個Neighborhood表示和一個Context graph表示是否對應相同的節點，以此聚合周圍節點的屬性信息和鄰近的圖結構信息。

Attribute masking

該方法首先隨機選取某些節點的屬性將其MASK（把原始屬性用特殊的標識符替換掉），然后使用GNN對節點編碼生成節點表示，最后通過線性模型預測被MASK的屬性值。

????2. Graph-level pre-training

? ? ? ? ? ? ?

首先將節點的表示聚合起來得到圖的表示，然后在圖上進行多個二分類任務的聯合訓練。

?

實驗

數據集

數據集包括生物和化學兩個領域，生物領域的任務是蛋白質功能預測，化學領域的任務是分子屬性預測。

實驗結果

ROC-AUC performance

? ? ? ? ? ? ?

Negative transfer

加入graph-level預訓練后，可以很好地防止Negative transfer（使用預訓練效果反而差于不使用預訓練的效果）的出現。

? ? ? ? ? ? ?

?????c. 收斂性

采用本文中的預訓練策略能夠有效加快收斂速度。

? ? ? ? ? ??

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | ICLR 2020 - 图神经网络的预训练策略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。