?作者 | 社媒派SMP

來源?| 社媒派SMP

本文是SIGKDD 2022入選論文“GPPT: Graph Pre-training and Prompt Tuning to Generalize Graph Neural Networks”的解讀。該論文由吉林大學計算機科學與技術學院王英教授課題組完成。

本文首次提出“Pre-training、Prompt、Fine-tuning”的概念將下游任務進行重構，使其具有與 Pretext 相似的任務目標，彌補 GNN 之間的任務差距，解決由傳統 GNN 預訓練中 Pretext 任務與下游任務之間內在訓練目標差距導致的難以引出預訓練的圖知識、負遷移的問題。實驗表明，該訓練策略優于其它所有訓練策略，包括監督學習、聯合訓練和傳統的遷移學習。

論文標題：

GPPT: Graph Pre-training and Prompt Tuning to Generalize Graph Neural Networks

研究背景

圖神經網絡 (GNNs) 已經成為許多現實世界系統中分析圖結構數據的技術，包括社交網絡、推薦系統和知識圖鋪譜。GNN 的一般方法將輸入視為一個底層的計算圖，通過跨邊緣傳遞消息學習節點表示。生成的節點表示可用于不同的下游任務，如鏈路預測、節點分類和節點屬性擬合等。

最近在遷移學習領域中通過讓 GNN 捕獲可遷移的圖模式以推廣到不同的下游任務中。具體來說，大多數遵循“預先訓練、微調”學習策略：使用容易獲取的信息作為 Pretext 任務（如邊緣預測）對 GNN 進行預訓練，以預先訓練的模型作為初始化對下游任務進行微調。

問題和挑戰

論文注意到傳統 GNN 預訓練中 Pretext 任務與下游任務之間內在訓練目標差距，不僅可能無法引出預訓練的圖知識，甚至會導致負遷移現象。此外，Pretext 任務既需要專業知識，也需要繁瑣的手工試驗。因此，論文首次提出“Pre-training、Prompt、Fine-tuning”的概念將下游任務進行重構，使其成為與 Pretext 任務相似的目標任務，以彌補預訓練目標與微調目標之間的任務差距。

為了克服傳統“Pre-training、Fine-tuning”的局限性，借鑒了自然語言處理中的“Prompt”技術。由于提示調優是NLP領域中特有的技術，因此很難設計適合 GNN 的 Prompt 模板。論文克服了兩個主要的挑戰：1）如何應用語義提示函數重構圖數據中各種圖機器學習任務；2）如何設計 Prompt 模板以更好地重新制定下游應用程序，提出圖預訓練和提示調優 (GPPT) 框架。

方法

首先，采用 Masked Edge Prediction 任務對 GNN 進行預訓練，將下游節點分類任務重構為鏈接預測任務。然后，為了縮小預訓練目標和下游任務目標之間的的差距，利用成對的令牌模板中 Graph Prompt 函數將獨立節點修改為標記對，其中每一個標記對包含代表下游問題的任務令牌（task token）和包含節點信息的結構令牌（structure token）。

任務令牌（表示節點標簽）和結構令牌（描述節點）可以直接用于微調預訓練模型且無需改變分類層。然后，利用節點鏈接預測得分重新制定節點分類方法，得分最高的任務標記被確定為節點標簽。最后，通過實驗驗證了論文所提出的 GPPT 在監督學習、聯合訓練和傳統遷移學習中的有效性，以及在小樣本設置下這種學習模式的優越性。

實驗

我們在 8 個流行的基準數據集上評估了提出的框架 GPPT，包括引文網絡 (Cora、Citeseer、Pubmed)、Reddit、CoraFull、Amazon-CoBuy（Computer 和 Photo）、Ogbn-arxiv。

基于提示的學習方法通常在基準測試上獲得最好的性能，其中利用圖聚類和鄰域結構信息是 Prompt 令牌設計的關鍵。

總結

我們創新性地提出了 GPPT，首個針對 GNN 進行“預訓練、提示、微調”的遷移學習范式。首次設計了適用于圖數據的圖提示函數，以重新制定與 Pretext 任務相似的下游任務，從而減少二者訓練目標差距。與此同時，我們還設計了任務和結構令牌生成方法，用于生成節點分類任務中的節點提示。此外，我們提出了平均提示初始化和正交正則化方法來提高提示調優性能。大量的實驗表明，GPPT 在基準圖數據集上優于傳統的訓練范式，同時提高了調優效率和對下游任務的更好的適應性。在未來的工作中，我們將在更具挑戰性的知識圖中探索圖的提示功能，并嘗試通過元學習來改進提示調優。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

·

總結

以上是生活随笔為你收集整理的KDD 2022 | 图“预训练、提示、微调”范式下的图神经网络泛化框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。