?作者 |?薄德瑜、王嘯

單位 |?北郵GAMMA Lab

研究方向 |?圖神經網絡

前言

圖神經網絡（Graph Neural Networks, GNN）在諸多圖任務上的巨大潛力已經有目共睹。眾多學者也從不同的視角開始對GNN背后的機制開展探索，諸如 [1] 指出了GNN的低通濾波特性，[2] 證明了GNN等價于1-WL test，[3] 揭示了統(tǒng)一優(yōu)化目標下的GNN傳播機制。其中GNN的低通濾波特性引起了業(yè)界廣泛關注，因為這意味著GNN可以有效過濾數據中的噪聲，平滑鄰居節(jié)點的表示，達到鄰近節(jié)點具有相似表征的目的。故而，這使得GNN非常適用于同配圖（Assortative Graph / Homophily Graph），即網絡中有相同標簽的節(jié)點傾向于互相連接。

以廣泛使用的三個數據集，Cora, citeseer和pubmed為例，這三個數據集都屬于學術網絡，其特點是網絡有極強的同配性。由于GCN的消息傳遞方式是利用均值聚合所有鄰居的信息，所以可以很好地學習到學術網絡的歸納偏置（Inductive bias）。

但是，我們不禁要問，現實世界中的網絡是否都具有同配性這一特點呢？其實早在2003年，密歇根大學的物理學教授Mark Newman就已經在論文《Mixing patterns in networks》[4] 中對現實世界里的各種網絡的同配性做了分析，如下圖所示：

對于指標Assortativity (r)，其值越大，代表同配性越強，反之則異配性（Disassortativity / Heterophily）越強。從圖中我們可以看到一個不爭的事實，學術網絡的同配性是各種網絡中最強的，但是很多網絡并不具有同配性，反而有很強的異配性。所以GNN在學術網絡上的優(yōu)越性能難以佐證其在真實世界應用的良好泛化性。論文 [5] 的實驗中顯示，在異配性強的網絡中，GCN、GAT等在學術網絡中表現好的方法的性能，還不如不利用圖結構信息的多層感知機。我們需要認真審視這一現象，怎樣才能解決圖神經網絡在異配圖上效果不佳的問題？

如何解決異配圖節(jié)點分類問題

目前，已經有很多工作嘗試將圖神經網絡泛化到異配圖上，我們以較早開始對這一問題開展探索的三篇代表性論文出發(fā)，從三個不同的角度，來說明如何讓圖神經網絡在異配圖上也能取得很好的效果。

2.1?圖結構學習

解決異配圖問題最直接的一個方法就是，通過改變圖結構，使得原本的異配圖變?yōu)橥鋱D，這樣在同配圖上表現好的方法就可以繼續(xù)用在異配圖中。論文[6]中提出了一種利用利用結構信息為節(jié)點選擇鄰居的模型：Geom-GCN。其基本思想是，具有相似結構信息的節(jié)點（例如橋節(jié)點、中心節(jié)點等）可能屬于同一個類別，因此可以利用結構信息來為節(jié)點選擇新的鄰居，增加圖的同配性。其模型流程如下圖所示：

首先，Geom-GCN利用傳統(tǒng)的網絡嵌入方法學習到每個節(jié)點的低維向量表示；然后選擇向量相似的節(jié)點作為新的鄰居，顯示地捕獲了節(jié)點之間的結構相似性，增加了圖結構的同配性；然后再將原始鄰居和新鄰居的信息進行聚合，更新節(jié)點的表示。

類似的思想其實 [7] 也做了初步嘗試，除了原始的圖結構以外，他們基于節(jié)點特征顯式地構造了一個新的特征圖，這樣假如原始圖結構不具備同配性特點的時候，新的基于節(jié)點特征的特征圖或可以起到效果。進一步地，也可以直接拋棄掉顯式構造特征圖的步驟，直接學習出一個新的圖結構 [8]。

2.2 圖表征分離

除了圖結構學習外，還有一些方法嘗試通過改進圖神經網絡的消息傳遞機制來提升其表達能力。H2GNN [9] 從理論上證明了分離節(jié)點自身的表征和鄰居聚合的表征可以將圖神經網絡泛化到異配圖上。然后它設計了三個關鍵的消息傳遞機制，通過適當集成，可以幫助圖神經網絡提升在異配圖上的性能。

1. 自身表征和鄰居表征分離。H2GNN認為圖神經網絡通過層層堆疊的方式聚合鄰居信息，會使得節(jié)點的表示變得相似，導致模型不能很好地區(qū)分不同類別的節(jié)點，因此它的第一個設計是分離自身表征和鄰居表征：，其中 代表拼接操作， 是層數，AGG是聚合函數， 是節(jié)點 的鄰居集合。

2. 引入高階鄰居信息。除了分離表征以外，H2GNN還證明了高階鄰居對于異配圖的節(jié)點分類是有幫助的，通過引入高階鄰居，模型可以學習到異配性主導（heterophily-dominant）的信息，其消息傳遞機制為：

其中 代表了距離中心節(jié)點距離為的鄰居。

3. 中間層表征融合。在做完每一層的信息聚合后，H2GNN將所有中間層的表征拼接在一起，來捕獲圖中的局部和全局信息，這種設計更準確地模擬了異配圖中鄰居表示的分布：，其中K是消息傳遞的總層數。

H2GNN通過以上三個設計的集成，緩解了圖神經網絡隨著層數的增加難以區(qū)分不同類型的節(jié)點的問題，提升了圖神經網絡的表達能力。

2.3 圖信號處理

在自然界中，信息以不同的頻率進行傳輸，其中較高的頻率通常用來編碼細節(jié)信息，而較低的頻率則代表了全局結構。那么同配圖和異配圖是否具有不同頻率的信息呢？論文 [5] 設計了一個從圖信號處理角度來分析同配圖和異配圖的實驗，如下圖所示：

它利用隨機塊（Stochastic Blockmodel，SBM）模型生成了一系列圖數據集，其中類內連接概率固定為0.05，而類間連接概率從0.01逐漸增大到0.1，隨著類間連接概率的增大，圖結構逐漸顯現出異配性。同時它將輸入特征分為低頻特征和高頻特征，然后在生成數據集上進行性能測試。從圖中我們可以發(fā)現，低頻特征在同配圖上表現較好，而高頻特征在異配圖上表現較好。結合論文[1]中提到的GCN是一個低通濾波器，我們不難明白為什么大多數圖神經網絡都不能再異配圖上取得很好的效果，因為對于異配圖分類重要的高頻特征已經被過濾掉了！

所以，如果想讓圖神經網絡能夠在同配圖和異配圖上都有很好的表現，我們就需要模型能夠同時具有低通濾波和高通濾波的能力。為了達到這一目的，論文[5]提出了頻率自適應圖神經網絡（Frequency Adaptation Graph Convolutional Networks，FAGCN）。它首先設計了一個低通濾波器和一個高通濾波器，其頻率響應濾波函數如下：

通過這兩個濾波器，模型可以分別提取到模型的低頻和高頻特征，然后通過注意力機制進行信號融合：，其中為特征矩陣，為節(jié)點的特征。

為了更好地解釋信號融合背后的原理，我們可以對公式進行進一步的展開：。我們可以看到，其本質仍然是圖神經網絡的消息傳遞機制，對自身信息和鄰居信息進行融合。

在注意力機制中，注意力系數的和為1，即，所以的范圍就限制在之間。這與傳統(tǒng)的基于注意力的圖神經網絡（比如GAT）略有不同，FAGCN并不限制注意力系數一定為非負數，這一點是解決異配圖的核心關鍵。

但是該消息傳遞函數仍然存在很多不足，最大的問題是，在節(jié)點聚合鄰居消息時，其注意力系數對于每個鄰居是相同的（在很多論文中被稱為各向同性），這樣會極大程度地限制FAGCN的表達能力。所以，我們對該消息傳遞機制進行一些細微的修改，其消息傳遞函數變?yōu)?#xff0c;即每一個鄰居都有其獨有的系數，達到了各向異性的目的，增強了模型的表達能力。

對于系數的學習，FAGCN采用和GAT一樣設計，所不同的是，為了保證系數的范圍限制在之間，FAGCN利用tanh激活函數代替了GAT中的softmax，即。可以看到，FAGCN中關鍵步驟即學到一個可以區(qū)分正負的權重系數，這一步驟具有譜域濾波的理論基礎，自適應能力強，同時操作非常簡潔，因為普遍意義上看，tanh的激活函數可以即插即用到任何其他的圖神經網絡之中，使得其他圖神經網絡也具備這種區(qū)分能力。

最后FAGCN還提供了理論證明：低通濾波可以讓節(jié)點表征變得相似，而高通濾波會讓節(jié)點表征變得不同。通過正系數聚合鄰居可以模擬低通濾波，通過負系數聚合鄰居可以模擬高通濾波。所以FAGCN可以在同配圖和異配圖上都取得很好的效果。

思考與總結

以上三個思路從不同角度都對GNN如何泛化到異配圖上開展研究，但可以看到，本質上還是會落腳到圖結構本身來。他們或者是探索圖結構本身不同階數節(jié)點的不同影響，或者是直接修改圖結構，比如學習圖結構或者使得圖結構上具有正負判別性。

近段時間來，對于異配圖上的GNN的探索吸引了眾多的注意力。與此同時，也有學者關注到GNN并非在所有異配圖上都不適用。這一點，筆者也表示同意，可以試想這樣一張異配圖，具有A標簽節(jié)點的鄰居都是B，而具有B標簽節(jié)點的鄰居都是A，以GNN的信息傳播機制來講，A和B只是互換了一下信息而已，而A標簽節(jié)點，他們之間的表征還依然是相似的，也就是說對于A的分類，應該也依然會奏效。B節(jié)點同理。因此，如何更準確界定GNN的適用范圍，或者真正實現普適性，還需要進一步思考。

參考文獻

[1] Simplifying Graph Convolutional Networks. ICML 2019.

[2] How Powerful are Graph Neural Networks? ICLR 2019.

[3] Interpreting and Unifying Graph Neural Networks with An Optimization Framework. WWW 2021.

[4] Mixing patterns in networks. Physical review E, 2003

[5] Beyond Low-frequency Information in Graph Convolutional Networks. AAAI 2021.

[6] Geom-gcn: Geometric graph convolutional networks. ICLR 2020.

[7] AM-GCN: Adaptive Multi-channel Graph Convolutional Networks. KDD 2020.

[8] Graph Structure Estimation Neural Networks. WWW 2021.

[9] Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs. NeurIPS 2020.

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質內容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的异配图神经网络小结：突破同配性，拥抱异配性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。