作者丨紀厚業

學校丨北京郵電大學博士生

研究方向丨異質圖神經網絡及其應用

引言

圖神經網絡（Graph Neural Network）已經成為深度學習領域最熱?的方向之一。作為經典的 Message-passing 模型，圖神經網絡通常包含兩步:從鄰居節點收集消息 message，然后利用神經網絡來更新節點表示。但是 Message-passing 模型有兩個基礎性的問題：

1. 丟失了節點與其鄰居間的結構信息：

• 主要指拓撲模式相關的信息；

• GNN 的結構捕獲能力已經有了相關論文，下圖來自 19 ICLR GIN How Powerful are Graph Neural Networks。

2. 無法捕獲節點之間的?距離依賴關系：

• 大多數 MPNNs 僅僅聚合 k 跳內的節點鄰居消息來更新節點表示。但是，圖上兩個節點可能具有相似的結構（社區中心、橋節點），即使他們的距離很遠；

• 可能的解法是將現有的 GNN 堆疊多層，但是這可能帶來過平滑問題。

針對上述問題，本文提出了一種 geometric aggregation scheme，其核心思想是：將節點映射為連續空間的一個向量（graph embedding），在隱空間查找鄰居并進行聚合。?

本文的主要貢獻：

• 提出了一種 geometric aggregation scheme，其可以同時在真實圖結構/隱空間來聚合信息來克服 MPNNs 兩個基礎性缺陷；

• 提出了一種基于 geometric aggregation scheme 的圖神經網絡 Geom-GCN；

• 實驗驗證了模型的效果。

模型

Geometric Aggregation Scheme?

如下圖所示，Geometric aggregation scheme 主要包含 3 個部分：node embedding (panel A1-A3)，structural neighborhood (panel B) 和 bi-level aggregation (panel C)。

A1->A2：利用 graph embedding 技術將圖上的節點（如節點 v）映射為隱空間一個向量表示?。?

A2->B1：針對某一個節點 v（參看 B2 中的紅色節點）周圍的一個子圖，我們可以找到該節點的一些鄰居?。

B2：圓形虛線（半徑為 ρ）內的節點代表了紅色節點在隱空間的鄰居：

圓形虛線外的節點代表了節點在原始圖上的真實鄰居?。既然節點已經表示為向量，那么不同節點之間就有相對關系。在 B2 的 3x3 網格內，不同節點相對于紅色節點有 9 種相對位置關系?，關系映射函數為?。

B3：基于 Bi-level aggregation 來聚合鄰居 N(v) 的信息并更新節點的表示。

Low-level aggregation p：聚合節點 v 在某個關系 r 下的鄰居的信息。這里用一個虛擬節點的概念來表示。

High-level aggregation q：聚合節點在多種關系 R 下的鄰居的信息。

Non-linear transform：非線性變化一下。

其中，?是節點 v 在第 l 層 GNN 的表示。

這里本質上：先針對一種關系 r 來學習節點表示，然后再對多個關系下的表示進行融合。

Geom-GCN: An implementation of the scheme

這里將上一節中很抽象的 Low-level aggregation p 和 High-level aggregation q 以及關系映射函數 τ。給出了具體的形式：

關系映射函數 τ 考慮了 4 種不同的位置關系。

Low-level aggregation p 其實就是 GCN 中的平均操作。

High-level aggregation q 本質就是拼接操作。

How to distinguish the non-isomorphic graphs once structural neighborhood

本文 argue 之前的工作沒能較好的對結構信息進行描述，這里給了一個 case study 來說明 Geom-GCN 的優越性。

假設所有節點的特征都是 a。針對節點??來說，其鄰居分別為??和?。假設采用 mean 或者 maximum 的 aggregator。

之前的映射函數 f：

則兩種結構無法區分。

本文的映射函數?：

可以區分。

更多關于 GNN 表示能力的論文參?：19 ICLR GIN How Powerful are Graph Neural Networks。

實驗

本文主要對比了 GCN 和 GAT，數據集?下表：

不同數據集的 homophily 可以用下式衡量。

本文為 Geom-GCN 選取了 3 種 graph embedding 方法：

• Isomap (Geom-GCN-I)

• Poincare embedding (Geom-GCN-P)?

• struc2vec (GeomGCN-S)

實驗結果?下表：

作者又進一步測試了兩個變種：

• 只用原始圖上鄰居，加上后綴 -g。如 Geom-GCN-I-g；

• 只用隱空間鄰居，加上后綴 -s。如 Geom-GCN-I-s。

結果?下圖：

可以看出：隱空間鄰居對 β 較小的圖貢獻更大。

然后，作者測試了不同 embedding 方法在選取鄰居上對實驗結果的影響。

可以看出：這里并沒有一個通用的較好 embedding 方法。需要根據數據集來設置，如何自動的找到最合適的 embedding 方法是一個 feature work。

最后是時間復雜度分析。本文考慮了多種不同的關系，因此，Geom-GCN 的時間復雜度是 GCN 的 2|R| 倍。另外，和 GAT 的實際運行時間相差無幾，因為 attention 的計算通常很耗時。

總結

本文針對 MPNNs 的兩個基礎性缺陷設計了Geom-GCN 來更好地捕獲結構信息和?距離依賴。實驗結果驗證了 Geom-GCN 的有效性。但是本文并不是一個 end-to-end 的框架，有很多地方需要手動選擇設計。

點擊以下標題查看更多期內容：?

• 2019年，異質圖神經網絡領域頂會論文盤點

• KDD 2019?| 基于異質圖神經網絡的用戶意圖推薦
  

• 圖神經網絡綜述：模型與應用
  

• SIGIR 2019?| 基于圖神經網絡的協同過濾算法
  

• IJCAI 2019?| 基于超圖網絡模型的圖網絡進化算法

• NeurIPS 2019 開源論文 | 萬能的GNN解釋器

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

???? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

總結

以上是生活随笔為你收集整理的ICLR 2020 开源论文 | 隐空间的图神经网络：Geom-GCN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。