作者丨紀厚業

學校丨北京郵電大學博士生

研究方向丨異質圖神經網絡及其應用

本文由斯坦福 Jure 組發表在 NeurIPS 2019 上，一作 Rex Ying 也是著名的 GraphSAGE 的作者。代碼和數據：

https://github.com/RexYing/gnn-model-explainer

引言

圖神經網絡（Graph Neural Network）， 作為深度學習領域最熱門的方向之一，相關論文在各大頂會層出不窮。但是，圖神經網絡的解釋性問題沒有得到較多的關注。圖神經網絡的解釋性是非常有必要的：1）提升了 GNN 的可信程度；2）在一些注重公平性，隱私性和安全性的決策應用，可以提升決策的透明度；3）可以更好的理解圖本身的特性。?

雖然一些基于 Attention 機制的模型（如 Graph Attention Network）可以一定程度上對 GNN 進行解釋。但是，作者認為它們有兩個問題：1）GAT 可以學習節點之間關系的權重，但是其只能實現對結構的進行解釋而無法通過特征的角度進行解釋；2）節點的 1-hop 鄰居和 2-hop 鄰居可能有重疊，GAT 會學習到同一對節點之間的不同權重。這時候到底該用那個無法抉擇。?

因此，本文提出了 GNNExplainer，可以從網絡結構和節點屬性的角度來對任意圖神經網絡和任意圖挖掘任務生成解釋。GNNExplainer 旨在探尋與預測結果最相關的子圖結構來實現對結果的解釋，其中 Graph Mask 和 Feature Mask 可以分別對實現對結構和特征的篩選。

上圖給了一個如何對 GNN 預測的節點分類（Basketball 和 Sailing）的結果進行解釋。針對節點及其 label 籃球，其鄰居中很多人都喜歡球類也有一些喜歡非球類, GNNExplainer 可以自動的找到鄰居中都喜歡球類的這些人。同樣的，針對節點，GNNExplainer 也可以發現其好友中同樣喜歡水上/沙灘類運動的好友。

模型

作者首先歸納了 GNN 的三個步驟：1）MSG，構建節點之間需要傳遞的消息；2）AGG，收集節點相關的消息；3）UPDATE，更新節點表示。下圖解釋了 GNNExplainer 要做的事情：自動發現重要的消息和特征。

Explanation via Structural Information?

假定被選擇的與模型預測結果 Y 最相關的的結構和特征分別為和，那么其重要性可以用互信息 MI 來衡量：

上式中的，H(Y) 是常數，因為 GNNExplainer 是在訓練好的 GNN 上模型上進行解釋。上式等價于最小化條件熵：

這樣新的優化目標就是，利用 Jensen 不等式和凸性假設，我們可以得到。注意，這里的神經網絡實際是不滿足凸假設的。但是，作者通過實驗發現上述目標函數 + 一定的正則可以實現高質量的解釋。

為了實現對的估計，這里用了平均場變分近似對 G 進行分解。這里代表邊存在的期望。上式中的可以用來代替，這里 M 是就是我們要學習的 Graph Mask。

很多任務只關心部分類的節點及其模型如何對該類進行預測。因此上式可以修正為：

在實際解釋的時候，只需要設定閾值將 M 中的部分低于閾值的邊移除就好。這樣就從結構的角度實現了對模型的解釋。

Explanation via Feature Information?

與結構方面的解釋類似，這里通過選擇與預測結果最相關的部分特征來實現對模型的解釋。

這里的特征選擇器可以將部分無關特征移除。聯合考慮結構和特征的選，本文最終的優化目標為：

其中，。這里作者利用了重采樣技術來優化模型。

Multi-instance explanations through graph prototypes?

上面都是對單個節點進行解釋，但是很多時候我們更關注：如何對一類節點的預測進行解釋？本文把這個叫做 multi-instance explanations，其主要包含兩步：

1. 給定節點類別 c，作者通過對該類的所有節點的 Embedding 進行平均得到了參考節點。然后將之前針對單節點解釋的優化目標換成。?

2. 聚集鄰居矩陣得到 Graph Prototype?，即：同類節點之間共享的圖模式。

實驗

作者在合成/真實數據集上驗證了 GNNExplainer 在多種任務上的解釋能力。

下圖是在合成數據集上的結果?？梢钥闯鱿鄬τ?Grad 和 Att，GNNExplainer 可以更好的抽取出與 Ground Truth 相似的結構。

作者隨后在真實數據集上，從結構和特征兩個方面對圖分類和節點分類任務進行了解釋。與合成數據集上類似，GNNExplainer 可以更好抽取出于 Ground Truth 相似的的結構。即使 Ground Truth 存在多個復雜結構的時候，GNNExplainer 依然可以抽取出最具有解釋性的結構。

除了從結構的角度對 GNN 進行解釋之外，GNNExplainer 也可以抽取出最重要的特征來實現更好的解釋。從下圖可以看出，在 molecule 中含有多種原子中，有部分原子對預測 mutagenicity 有重要作用，而 GNNExplainer 可以非常好的識別出來。Grad 的方法一定程度上可以識別特征的重要性，但是不夠明確。

總結

神經網絡包括圖神經網絡在很多領域都得到了應用也取得了很好的效果。但是如何對神經網絡的預測結果進行解釋是一個問題。很多工作嘗試利用注意力機制來對模型預測結果進行解釋。本文針對 GNN 的特點，從結構和特征的角度來對任意 GNN 在任意任務上的結果進行了解釋。

點擊以下標題查看更多期內容：?

• 2019年，異質圖神經網絡領域頂會論文盤點

• KDD 2019?| 基于異質圖神經網絡的用戶意圖推薦
  

• 圖神經網絡綜述：模型與應用
  

• SIGIR 2019?| 基于圖神經網絡的協同過濾算法
  

• IJCAI 2019?| 基于超圖網絡模型的圖網絡進化算法

• EMNLP 2019 | 針對短文本分類的異質圖注意力網絡

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

???? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

總結

以上是生活随笔為你收集整理的NeurIPS 2019 开源论文 | 万能的GNN解释器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。