图神经网络的二阶池化：从节点表示中学习图的表示
?
?PaperWeekly 原創 ·?作者｜石壯威
學校｜南開大學碩士生
研究方向｜機器學習、圖神經網絡
?
本文 [1] 提出圖神經網絡的二階池化方法，用以從節點表示中學習圖的表示。與現有的圖池化方法相比，二階池化能夠通過二階信息增強圖池化的性能。本文提出了兩種基于二階池化的全局圖池化方法：雙線性映射與注意力二階池化。此外，作者將注意力二階池化推廣到了層次圖池化方法。作者在圖分類任務進行了詳細的實驗，實驗結果表明，該方法在圖分類任務上表現優秀。
論文標題：
Second-Order Pooling for Graph Neural Networks
Arxiv地址：
https://arxiv.org/abs/2007.10467
IEEE官網地址：
https://ieeexplore.ieee.org/document/9104936
代碼地址：
https://github.com/divelab/sopool
圖池化
考慮一個圖 G=(A,X)，其中 A 和 X 分別表示鄰接矩陣和特征矩陣，假設圖的節點數為 n，節點特征維度為 d，那么 ，圖神經網絡（GNN）從通過圖的拓撲結構和特征矩陣，為每個節點學習一個 f 維的表示。
而圖池化，則是通過表示矩陣 H，為全圖學習一個 c 維的特征向量。
其中 g 是圖池化函數。池化函數 g 必須滿足以下兩個要求。
對于不同的圖，節點數 n 是不同的，但 g 輸出的向量維度應該固定，以適應分類器。
將 H 中不同行的順序調換，應輸出相同的 。
將 H 矩陣不同行的順序調換，等價于左乘一個置換矩陣 。
注記1（置換矩陣）例如，將一個三階矩陣的第 1, 2 行調換，等價于左乘置換矩陣
置換矩陣滿足 。
若 H1 是 H2 的一個置換排列，即存在置換矩陣 P 使得 ，那么 。
注記2（圖神經網絡三種基本的池化方法）均值池化（mean pooling 或 average pooling）、加和池化（sum pooling）和最大值池化（max pooling）是圖神經網絡中最常見、最簡易的兩種池化方法。定義如下。
容易驗證，這三種池化方法都滿足以上的兩個要求。
二階池化
定義1（二階池化）
容易證明，二階池化 SOPOOL 滿足上述的、圖池化的兩個性質。
通過 SOPOOL 得到的 f 階矩陣，可以拉伸為一個 維的向量。
作者提出了兩種進行二階池化的方式，即雙線性二階池化（SOPOOLbimap）和注意力二階池化（SOPOOLattn）。
定義2（雙線性二階池化）通過一個全連接層，將節點特征由 f 維降到 維，再進行 SOPOOL，即
定義3（注意力二階池化）
其中，μ 是一個 f 維的、可學習的向量。
注記3（注意力機制）回顧注意力機制的計算過程，考慮一個詞嵌入矩陣：
其中 表示單詞個數， 表示每個詞向量表示的維度。則注意力的計算可以表示為：
其中 是一個可學習的、 維的向量。（9）-（10）式寫成矩陣形式為 ，（11）式就是這一過程省略了 softmax 歸一化的形式。
雙線性二階池化和注意力二階池化的計算過程如圖 1 所示。
多頭注意力與層次圖二階池化
多頭注意力（multi-head attention），是使用注意力機制的一種常用方法 [2]，也被廣泛適用于圖神經網絡中 [3]。作者基于注意力二階池化，定義了多頭注意力二階池化（SOPOOLmattn）。
定義4（多頭注意力二階池化）
（16）式定義了一個 k 頭注意力二階池化，設 ，則（16）式等價于：
（15）式也可以從層次圖池化（hierarchical graph pooling）的角度加以解釋。所謂層次圖池化，是指將一個有 n 個節點的圖聚類為 k 個簇（即轉化為一個有 k 個節點的圖，其中 k<n），多次重復這一過程，直到 k=1，這個單節點圖的節點表示向量，就是圖的表示向量，這一思想已經在多種圖池化方法中得到應用 [4][5]。這一過程可以表示為：
在本文提出的多頭注意力二階池化中，H' 的計算如（15）式，而鄰接矩陣則可以這樣計算：令：
則：
實驗
作者在 10 個圖分類數據集上做了實驗，包括 3 個化合物分類數據集（MUTAG, PTC, NCI1），2 個蛋白質分類數據集（DD, PROTEINS）和 5 個社交網絡分類數據集（COLLAB, IMDB-BINARY, IMDB-MULTI, REDDIT-BINARY, REDDIT-MULTI5K）。這里，作者使用圖同構網絡（GIN）[6] 作為進行池化前的 GNN 模型。
在表 1 中，作者對比了 SOPOOLbimap, SOPOOLattn, SOPOOLmattn 與其他圖分類方法，包括基于圖核（graph kernel）[7] 的方法和基于 GNN 的方法。
在表 2 中，作者在都使用圖同構網絡（GIN）[6] 作為進行池化前的 GNN 模型的前提下，對比了SOPOOLbimap, SOPOOLattn, SOPOOLmattn 與其他圖池化方法。
在表 3 中，作者使用不同的 GNN 作為進行池化前的 GNN 模型，結果表明，使用GIN-0 [6] 的效果最好。
在表 4 中，作者對比了 SOPOOLmattn 和不同的基于層次圖的圖池化算法。在表 5 中，作者對比了 SOPOOLmattn 在不同層數下的表現。
表 1，表 2 和表 4 體現了本文所提出的 SOPOOL 在圖分類任務上超越了現有了 SOTA 方法，體現出卓越的性能，表 3 和表 5 則為優化 SOPOOL 的結構提供了參考。
參考文獻
[1]?Z. Wang and S. Ji, Second-Order Pooling for Graph Neural Networks, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.
[2]?A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, Attention is all you need, in Advances in Neural Information Processing Systems, 2017, pp. 5998–6008.
[3]?P. Velickovic, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio, Graph attention networks, in International Conference on Learning Representations, 2018.
[4]?Z. Ying, J. You, C. Morris, X. Ren, W. Hamilton, and J. Leskovec, Hierarchical graph representation learning with differentiable pooling, in Advances in Neural Information Processing Systems, 2018, pp. 4800–4810.
[5]?H. Gao and S. Ji, Graph U-Net, in International Conference on Machine Learning, 2019.
[6]?K. Xu, W. Hu, J. Leskovec, and S. Jegelka, How powerful are graph neural networks, in International Conference on Learning Representations, 2019.
[7]?N. Shervashidze, P. Schweitzer, E. J. v. Leeuwen, K. Mehlhorn, and K. M. Borgwardt, “Weisfeiler-Lehman graph kernels,” Journal of Machine Learning Research, vol. 12, no. Sep, pp. 2539–2561, 2011.
?
更多閱讀
?
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
與50位技術專家面對面20年技術見證，附贈技術全景圖總結
以上是生活随笔為你收集整理的图神经网络的二阶池化：从节点表示中学习图的表示的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 想在三环外租个300-500的房子，怎么
- 下一篇： 阐明性问题生成 (Clarificati