機(jī)器之心專欄

作者：?PaperWeekly

近年來，圖神經(jīng)網(wǎng)絡(luò)的研究成為深度學(xué)習(xí)領(lǐng)域的熱點(diǎn)，機(jī)器之心曾介紹過清華大學(xué)朱文武等人綜述的圖網(wǎng)絡(luò)。近日，清華大學(xué)孫茂松組在 arXiv 上發(fā)布預(yù)印版綜述文章?Graph Neural Networks: A Review of Methods and Applications。

該文總結(jié)了近年來圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域的經(jīng)典模型與典型應(yīng)用，并提出了四個(gè)開放性問題。對(duì)于希望快速了解這一領(lǐng)域的讀者，不妨先從這篇文章看起。?

除了這篇綜述外，文章作者在 Github 中更新了該領(lǐng)域的參考文章列表（https://github.com/thunlp/GNNPapers），供各位讀者參考查看。

引言

圖是一種數(shù)據(jù)結(jié)構(gòu)，它對(duì)一組對(duì)象（節(jié)點(diǎn)）及其關(guān)系（邊）進(jìn)行建模。近年來，由于圖結(jié)構(gòu)的強(qiáng)大表現(xiàn)力，用機(jī)器學(xué)習(xí)方法分析圖的研究越來越受到重視。圖神經(jīng)網(wǎng)絡(luò)（GNN）是一類基于深度學(xué)習(xí)的處理圖域信息的方法。由于其較好的性能和可解釋性，GNN 最近已成為一種廣泛應(yīng)用的圖分析方法。

GNN 的第一個(gè)動(dòng)機(jī)源于卷積神經(jīng)網(wǎng)絡(luò)（CNN）。CNN 的廣泛應(yīng)用帶來了機(jī)器學(xué)習(xí)領(lǐng)域的突破并開啟了深度學(xué)習(xí)的新時(shí)代。然而 CNN 只能在規(guī)則的 Euclidean 數(shù)據(jù)上運(yùn)行，如圖像（2 維網(wǎng)格）和文本（1 維序列）。如何將 CNN 應(yīng)用于圖結(jié)構(gòu)這一非歐幾里德空間，成為 GNN 模型重點(diǎn)解決的問題。

▲?圖1.?左：圖像（歐幾里得空間） 右：圖（非歐幾里德空間）

GNN 的另一個(gè)動(dòng)機(jī)來自圖嵌入（Graph Embedding），它學(xué)習(xí)圖中節(jié)點(diǎn)、邊或子圖的低維向量空間表示。DeepWalk、LINE、SDNE 等方法在網(wǎng)絡(luò)表示學(xué)習(xí)領(lǐng)域取得了很大的成功。然而，這些方法在計(jì)算上較為復(fù)雜并且在大規(guī)模上的圖上并不是最優(yōu)的，GNN 旨在解決這些問題。

這篇文章對(duì)圖神經(jīng)網(wǎng)絡(luò)進(jìn)行了廣泛的總結(jié)，并做出了以下貢獻(xiàn)：?

• 文章詳細(xì)介紹了圖神經(jīng)網(wǎng)絡(luò)的經(jīng)典模型。主要包括其原始模型，不同的變體和幾個(gè)通用框架。

  
  

• 文章將圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用系統(tǒng)地歸類為結(jié)構(gòu)化場景、非結(jié)構(gòu)化場景和其他場景中，并介紹了不同場景中的主要應(yīng)用。

  
  

• 本文為未來的研究提出四個(gè)未解決的問題。文章對(duì)每個(gè)問題進(jìn)行了詳細(xì)分析，并提出未來的研究方向。

模型

在模型這一部分中，文章首先介紹了最經(jīng)典的圖神經(jīng)網(wǎng)絡(luò)模型 GNN，具體闡述了 GNN 的模型與計(jì)算方式，然而 GNN 模型仍然存在一定的限制，比如較高的計(jì)算復(fù)雜度以及表示能力不足等等。

后續(xù)的很多工作致力于解決 GNN 存在的種種問題，在 2.2 一節(jié)中文章詳細(xì)介紹了 GNN 的不同變體。具體來說，文章分別介紹了適應(yīng)于不同圖類型、采用不同的信息傳遞方式以及采用了不同的訓(xùn)練方法的變體。

▲?圖2.?不同的GNN變體

在 2.2.1 節(jié)中，文章介紹了處理不同圖類型的 GNN 變體，包括有向圖、異質(zhì)圖和具有邊信息的圖。在 2.2.2 節(jié)中，文章對(duì)于采用不同信息傳遞方式的變體進(jìn)行了總結(jié)與概括。主要分為以下四個(gè)類別：

卷積。Graph Convolutional Network（GCN）希望將卷積操作應(yīng)用在圖結(jié)構(gòu)數(shù)據(jù)上，主要分為Spectral Method和Spatial Method（Non-spectral Method）兩類。Spectral Method希望使用譜分解的方法，應(yīng)用圖的拉普拉斯矩陣分解進(jìn)行節(jié)點(diǎn)的信息收集。Spatial Method直接使用圖的拓?fù)浣Y(jié)構(gòu)，根據(jù)圖的鄰居信息進(jìn)行信息收集。

注意力機(jī)制。Graph Attention Network 致力于將注意力機(jī)制應(yīng)用在圖中的信息收集階段。

門機(jī)制。這些變體將門機(jī)制應(yīng)用于節(jié)點(diǎn)更新階段。Gated graph neural network 將 GRU 機(jī)制應(yīng)用于節(jié)點(diǎn)更新。很多工作致力于將 LSTM 應(yīng)用于不同類型的圖上，根據(jù)具體情境的不同，可以分為 Tree LSTM、Graph LSTM 和 Sentence LSTM 等。

殘差連接。注意到堆疊多層圖神經(jīng)網(wǎng)絡(luò)可能引起信息平滑的問題，很多工作將殘差機(jī)制應(yīng)用于圖神經(jīng)網(wǎng)絡(luò)中，文中介紹了 Highway GNN 和 Jump Knowledge Network 兩種不同的處理方式。

文章還對(duì)于不同的信息傳遞方式進(jìn)行了公式化總結(jié)。簡單來說，信息傳遞函數(shù)主要包括信息收集（agggregation）和節(jié)點(diǎn)信息更新（update）兩個(gè)部分，在表格中列出了每種方法的不同配置。

▲?表1. 采用不同消息傳遞函數(shù)的GNN變體總結(jié)

在 2.2.3 節(jié)中，文章介紹了 GNN 的不同訓(xùn)練方法。譬如 GraphSAGE 從附近的鄰居收集信息，并且能夠應(yīng)用于 inductive learning 領(lǐng)域；FastGCN 使用了 importance sampling 的方法，使用采樣替代使用節(jié)點(diǎn)所有的鄰居信息，加快了訓(xùn)練過程。?

在 2.3 節(jié)中，文章介紹了近年來文獻(xiàn)中提出的圖神經(jīng)網(wǎng)絡(luò)通用框架 MPNN（Message Passing Neural Network）、NLNN（Non-local Neural Network）以及 Deepmind 的 GN（Graph Network）。

MPNN 將模型總結(jié)為信息傳遞階段和節(jié)點(diǎn)更新階段，概括了多種圖神經(jīng)網(wǎng)絡(luò)和圖卷積神經(jīng)網(wǎng)絡(luò)方法。NLNN 總結(jié)了很多種基于自注意力機(jī)制的方法。GN 提出了更加通用的模型，能夠總結(jié)概括幾乎所有文中提到的框架，并且擁有更加靈活的表示能力、易于配置的塊內(nèi)結(jié)構(gòu)以及易于組合的多模塊架構(gòu)。

▲?圖3.?GN Block組合成復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)

應(yīng)用

GNN 被應(yīng)用在眾多的領(lǐng)域，文章具體將應(yīng)用分為了結(jié)構(gòu)化場景、非結(jié)構(gòu)化場景以及其他三個(gè)類別。

在結(jié)構(gòu)化場景中，GNN 被廣泛應(yīng)用在社交網(wǎng)絡(luò)、推薦系統(tǒng)、物理系統(tǒng)、化學(xué)分子預(yù)測、知識(shí)圖譜等領(lǐng)域。文章中主要介紹了其在物理、化學(xué)、生物和知識(shí)圖譜中的部分應(yīng)用。在非結(jié)構(gòu)領(lǐng)域，文章主要介紹了在圖像和文本中的應(yīng)用。在其他領(lǐng)域，文章介紹了圖生成模型以及使用 GNN 來解決組合優(yōu)化問題的場景。

▲?圖4. GNN的應(yīng)用示例

▲?表2. 文章介紹的應(yīng)用總結(jié)

開放問題

文章最后提出了圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域的四個(gè)開放問題：

1. 淺層結(jié)構(gòu)。經(jīng)驗(yàn)上使用更多參數(shù)的神經(jīng)網(wǎng)絡(luò)能夠得到更好的實(shí)驗(yàn)效果，然而堆疊多層的 GNN 卻會(huì)產(chǎn)生 over-smoothing 的問題。具體來說，堆疊層數(shù)越多，節(jié)點(diǎn)考慮的鄰居個(gè)數(shù)也會(huì)越多，導(dǎo)致最終所有節(jié)點(diǎn)的表示會(huì)趨向于一致。

2. 動(dòng)態(tài)圖。目前大部分方法關(guān)注于在靜態(tài)圖上的處理，對(duì)于如何處理節(jié)點(diǎn)信息和邊信息隨著時(shí)間步動(dòng)態(tài)變化的圖仍是一個(gè)開放問題。

3. 非結(jié)構(gòu)化場景。雖然很多工作應(yīng)用于非結(jié)構(gòu)化的場景（比如文本），然而并沒有通用的方法用于處理非結(jié)構(gòu)化的數(shù)據(jù)。

4. 擴(kuò)展性。雖然已經(jīng)有一些方法嘗試解決這個(gè)問題，將圖神經(jīng)網(wǎng)絡(luò)的方法應(yīng)用于大規(guī)模數(shù)據(jù)上仍然是一個(gè)開放性問題。

本文為機(jī)器之心專欄，轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)。

?------------------------------------------------

加入機(jī)器之心（全職記者 / 實(shí)習(xí)生）：hr@jiqizhixin.com

投稿或?qū)で髨?bào)道：content@jiqizhixin.com

廣告 & 商務(wù)合作：bd@jiqizhixin.com

總結(jié)

以上是生活随笔為你收集整理的清华大学图神经网络综述：模型与应用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。