近年來，圖神經網絡的研究成為深度學習領域的熱點。近日，清華大學孫茂松組在 arXiv 上發布預印版綜述文章 Graph Neural Networks: A Review of Methods and Applications。

該文總結了近年來圖神經網絡領域的經典模型與典型應用，并提出了四個開放性問題。對于希望快速了解這一領域的讀者，不妨先從這篇文章看起。?

除了這篇綜述外，文章作者在 Github 中更新了該領域的參考文章列表（https://github.com/thunlp/GNNPapers），供各位讀者參考查看。

引言

圖是一種數據結構，它對一組對象（節點）及其關系（邊）進行建模。近年來，由于圖結構的強大表現力，用機器學習方法分析圖的研究越來越受到重視。圖神經網絡（GNN）是一類基于深度學習的處理圖域信息的方法。由于其較好的性能和可解釋性，GNN 最近已成為一種廣泛應用的圖分析方法。

GNN 的第一個動機源于卷積神經網絡（CNN）。CNN 的廣泛應用帶來了機器學習領域的突破并開啟了深度學習的新時代。然而 CNN 只能在規則的 Euclidean 數據上運行，如圖像（2 維網格）和文本（1 維序列）。如何將 CNN 應用于圖結構這一非歐幾里德空間，成為 GNN 模型重點解決的問題。

▲?圖1.?左：圖像（歐幾里得空間） 右：圖（非歐幾里德空間）

GNN 的另一個動機來自圖嵌入（Graph Embedding），它學習圖中節點、邊或子圖的低維向量空間表示。DeepWalk、LINE、SDNE 等方法在網絡表示學習領域取得了很大的成功。然而，這些方法在計算上較為復雜并且在大規模上的圖上并不是最優的，GNN 旨在解決這些問題。

這篇文章對圖神經網絡進行了廣泛的總結，并做出了以下貢獻：?

• 文章詳細介紹了圖神經網絡的經典模型。主要包括其原始模型，不同的變體和幾個通用框架。

• 文章將圖神經網絡的應用系統地歸類為結構化場景、非結構化場景和其他場景中，并介紹了不同場景中的主要應用。

• 本文為未來的研究提出四個未解決的問題。文章對每個問題進行了詳細分析，并提出未來的研究方向。

模型

在模型這一部分中，文章首先介紹了最經典的圖神經網絡模型 GNN，具體闡述了 GNN 的模型與計算方式，然而 GNN 模型仍然存在一定的限制，比如較高的計算復雜度以及表示能力不足等等。

后續的很多工作致力于解決 GNN 存在的種種問題，在 2.2 一節中文章詳細介紹了 GNN 的不同變體。具體來說，文章分別介紹了適應于不同圖類型、采用不同的信息傳遞方式以及采用了不同的訓練方法的變體。

▲?圖2.?不同的GNN變體

在 2.2.1 節中，文章介紹了處理不同圖類型的 GNN 變體，包括有向圖、異質圖和具有邊信息的圖。在 2.2.2 節中，文章對于采用不同信息傳遞方式的變體進行了總結與概括。主要分為以下四個類別：

卷積。Graph Convolutional Network（GCN）希望將卷積操作應用在圖結構數據上，主要分為Spectral Method和Spatial Method（Non-spectral Method）兩類。Spectral Method希望使用譜分解的方法，應用圖的拉普拉斯矩陣分解進行節點的信息收集。Spatial Method直接使用圖的拓撲結構，根據圖的鄰居信息進行信息收集。

注意力機制。Graph Attention Network 致力于將注意力機制應用在圖中的信息收集階段。

門機制。這些變體將門機制應用于節點更新階段。Gated graph neural network 將 GRU 機制應用于節點更新。很多工作致力于將 LSTM 應用于不同類型的圖上，根據具體情境的不同，可以分為 Tree LSTM、Graph LSTM 和 Sentence LSTM 等。

殘差連接。注意到堆疊多層圖神經網絡可能引起信息平滑的問題，很多工作將殘差機制應用于圖神經網絡中，文中介紹了 Highway GNN 和 Jump Knowledge Network 兩種不同的處理方式。

文章還對于不同的信息傳遞方式進行了公式化總結。簡單來說，信息傳遞函數主要包括信息收集（agggregation）和節點信息更新（update）兩個部分，在表格中列出了每種方法的不同配置。

▲?表1. 采用不同消息傳遞函數的GNN變體總結

在 2.2.3 節中，文章介紹了 GNN 的不同訓練方法。譬如 GraphSAGE 從附近的鄰居收集信息，并且能夠應用于 inductive learning 領域；FastGCN 使用了 importance sampling 的方法，使用采樣替代使用節點所有的鄰居信息，加快了訓練過程。?

在 2.3 節中，文章介紹了近年來文獻中提出的圖神經網絡通用框架 MPNN（Message Passing Neural Network）、NLNN（Non-local Neural Network）以及 Deepmind 的 GN（Graph Network）。

MPNN 將模型總結為信息傳遞階段和節點更新階段，概括了多種圖神經網絡和圖卷積神經網絡方法。NLNN 總結了很多種基于自注意力機制的方法。GN 提出了更加通用的模型，能夠總結概括幾乎所有文中提到的框架，并且擁有更加靈活的表示能力、易于配置的塊內結構以及易于組合的多模塊架構。

▲?圖3.?GN Block組合成復雜網絡結構

應用

GNN 被應用在眾多的領域，文章具體將應用分為了結構化場景、非結構化場景以及其他三個類別。

在結構化場景中，GNN 被廣泛應用在社交網絡、推薦系統、物理系統、化學分子預測、知識圖譜等領域。文章中主要介紹了其在物理、化學、生物和知識圖譜中的部分應用。在非結構領域，文章主要介紹了在圖像和文本中的應用。在其他領域，文章介紹了圖生成模型以及使用 GNN 來解決組合優化問題的場景。

▲?圖4. GNN的應用示例

▲?表2. 文章介紹的應用總結

開放問題

文章最后提出了圖神經網絡領域的四個開放問題：

1. 淺層結構。經驗上使用更多參數的神經網絡能夠得到更好的實驗效果，然而堆疊多層的 GNN 卻會產生 over-smoothing 的問題。具體來說，堆疊層數越多，節點考慮的鄰居個數也會越多，導致最終所有節點的表示會趨向于一致。

2. 動態圖。目前大部分方法關注于在靜態圖上的處理，對于如何處理節點信息和邊信息隨著時間步動態變化的圖仍是一個開放問題。

3. 非結構化場景。雖然很多工作應用于非結構化的場景（比如文本），然而并沒有通用的方法用于處理非結構化的數據。

4. 擴展性。雖然已經有一些方法嘗試解決這個問題，將圖神經網絡的方法應用于大規模數據上仍然是一個開放性問題。

截至發稿前，小編發現清華大學朱文武老師組也發布了一篇相關綜述 Deep Learning on Graphs: A Survey。

和本文不同，這篇文章聚焦于圖上的深度學習方法，將其分為半監督方法，無監督方法以及近期新的研究方法。兩個研究小組幾乎同時發文，足見近期該領域的火熱。

小編溫馨提示：兩篇配合食用，效果更佳。?

點擊以下標題查看更多往期內容：?

• 自動機器學習（AutoML）最新綜述

• 自然語言處理中的語言模型預訓練方法

• 從傅里葉分析角度解讀深度學習的泛化能力

• 兩行代碼玩轉Google BERT句向量詞向量

• 近期知識圖譜頂會論文推薦，你都讀過哪幾篇？

• TensorSpace：超酷炫3D神經網絡可視化框架

• 深度長文：NLP的巨人肩膀（上）

• NLP的巨人肩膀（下）：從CoVe到BERT

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？?答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 獲取最新論文推薦

總結

以上是生活随笔為你收集整理的图神经网络综述：模型与应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。