收藏！这 10 篇硬核论文，让你宅家也能更了解图神经网络
各位煉丹師，最近好嗎？
掐指一算，今天是宅在家里的第十天。這個春節(jié)，可能是很多人從出生以來過得最漫長的一個春節(jié)。
以往，吃吃喝喝走街串巷同學聚會的春節(jié)總是轉(zhuǎn)瞬即逝，還沒來得及打開寒假作業(yè)、還沒來得及倒時差、清清腸、看看書、刷刷劇，年就過去了。
而現(xiàn)在，我們呆在家里，憂心忡忡地時刻看著手機，也不禁想念起那些自由自在上街、上班、上課的忙碌生活。
總有百無聊賴的時候，需要些打發(fā)時間的好主意。有人開始學習做飯、有人把貓狗擼禿、有人躺在沙發(fā)上做白日夢、有人失眠、有人焦慮、有人思考。而我們整理了一份圖神經(jīng)網(wǎng)絡領域的論文清單，希望給大家的閉關生活多添一點靈感。
#ICLR 2020
@崔克楠
圖卷積網(wǎng)絡已經(jīng)成功被應用到圖表示學習的很多應用當中。但是目前的圖卷積網(wǎng)絡中仍有兩個缺陷限制了他們的表達學習能力，一是在節(jié)點信息匯聚的過程中，以往的 mean，max pooling 操作會丟失掉了節(jié)點的結(jié)構信息，無法區(qū)分一些特殊的非同構數(shù)據(jù)。二是對于一些 disassortative 的圖，以往的相鄰節(jié)點的定義方法無法利用上在圖結(jié)構上距離較遠的節(jié)點。
本文針對以上兩個限制，為圖卷積網(wǎng)絡提出了一種新的鄰居節(jié)點定義方法和匯聚方式。主要分為三步，節(jié)點嵌入，從圖結(jié)構和節(jié)點嵌入空間一起選取相鄰節(jié)點，兩階段的節(jié)點匯聚。最終作者在八個數(shù)據(jù)集，按照 6:2:2 的比例劃分數(shù)據(jù)集，超越了 GCN 和 GAT 的節(jié)點分類效果，并給出了對照試驗驗證了各個模塊的有效性。
* 論文鏈接：https://www.paperweekly.site/papers/3358
*?源碼鏈接：https://github.com/anonymous-conference-submission/geom-gcn/
#ICLR 2020
@崔克楠
該文章提出了一種基于圖卷積網(wǎng)絡的 inductive，并且不使用輔助信息的矩陣補全方法。矩陣補全作為一個經(jīng)典的問題，在許多領域有著應用，例如推薦系統(tǒng)。以往的方法比如低秩矩陣分解將矩陣分解成兩個向量的乘積，他們往往是 transductive 的，不能夠泛化到新的矩陣行和列上。
KDD 2018 的 GCMC 應用 node-level 的圖卷積網(wǎng)絡在 bipartie graph 上學習用戶和物品特征表達，但其仍屬于 transductive 的方法，而同為 KDD 2018 的 pinsage 雖然是 inductive 的模型，但是要依賴輔助信息如特征，并且特征的質(zhì)量往往會影響模型的效果。
本文提出一種基于圖卷積網(wǎng)絡的 inductive 矩陣補全方法，使得模型不依賴特征就可以泛化到新用戶和新物品的矩陣補全方法。該方法主要由三步構成，包括了：1）抽取包含目標用戶和物品的 sub-graph；2）為 subgraph 中不同的節(jié)點打上標簽；3）graph-level 的圖卷積網(wǎng)絡進行評分預測。
最終作者在 4 個數(shù)據(jù)集上取得最好的表現(xiàn)效果，值得一提的是在 movielens 數(shù)據(jù)集上訓練的模型在 Douban 數(shù)據(jù)集上進行測試，也能夠超越一大部分 baseline，顯出該方法有著良好的 transfer 能力。
* 論文鏈接：https://www.paperweekly.site/papers/3360
*?源碼鏈接：https://github.com/muhanzhang/IGMC
#ICLR 2020
@崔克楠
本文解釋了圖卷積網(wǎng)絡在 graph data 上的表征學習是如何受益于數(shù)據(jù)當中的拓撲信息和特征信息。圖卷積網(wǎng)絡在圖表征學習上已經(jīng)被廣泛使用，但是很少工作解釋為什么圖卷積網(wǎng)絡在這些數(shù)據(jù)集上增益的來源是什么。
這篇工作提出了兩個 smoothness metric 來衡量 graph data 中的特征相似度和標簽相似度。作者借助于兩個 metric，基于 GAT 的 attention 方式進行改進，將其融入圖卷積網(wǎng)絡的框架中，最終取得了在數(shù)據(jù)集上的不錯效果，更加重要的是作者利用上述兩個指標刨析了各個數(shù)據(jù)集的特點。
* 論文鏈接：https://www.paperweekly.site/papers/3357
*?源碼鏈接：https://github.com/yifan-h/CS-GNN
#ICLR 2020
@崔克楠
本文提出了一個針對超圖 hyper-graph 的圖卷積網(wǎng)絡框架。對于超圖的圖表示學習目的在于捕捉圖當中的 hyper-edge 中的 higher-order 關系。以往的 hyper-graph 表示學習方法往往基于兩點假設，一是 hyper-edge 是可分解的，例如 HEBE 模型；其二是 hyper-edge 中的節(jié)點個數(shù)為固定，例如 DHNE 模型。
本文所提出的基于 self-attention 的圖卷積網(wǎng)絡打破了上述兩點假設，并且第一次提出了 hyper-edge prediction 的任務，并在四個數(shù)據(jù)集上取得了最優(yōu)的效果。
* 論文鏈接：https://www.paperweekly.site/papers/3353
*?源碼鏈接：https://drive.google.com/drive/folders/1kIOc4SlAJllUJsrr2OnZ4izIQIw2JexU?usp=sharing
#NeurIPS 2019
@崔克楠
本文提出了一種基于貝葉斯的圖卷積網(wǎng)絡。圖卷積網(wǎng)絡的眾多方法都假設 graph 是可靠和干凈的，但是在實際中 graph 可能是充滿噪聲的。本文提出將 graph 視為變量，在訓練圖神經(jīng)網(wǎng)絡的同時，利用變分推斷去推斷 graph 的分布。
參考常見的變分推斷方法，該文為 graph 設置了伯努利的先驗分布形式，該伯努利分布的參數(shù)基于已經(jīng)觀測到的邊。對于變分分布的伯努利分布參數(shù)的重參，該文采用了低秩分解的方法。最終模型相比于普通的 GCN，在 noisy 的 graph 數(shù)據(jù)集上取得了最優(yōu)的效果，并且 graph 的 noise 越多，提升效果越明顯。
* 論文鏈接：https://www.paperweekly.site/papers/3347
#NeurIPS 2019
@崔克楠
本文提出了一個基于 graph 的半監(jiān)督學習框架。基于 graph 的半監(jiān)督學習算法在半監(jiān)督任務上效果出眾，例如 label propagation，他們基于的基本假設是一個節(jié)點的標簽可以通過周圍節(jié)點的類別來推測。但是在真實的世界中，許多的 graph 中節(jié)點之間存在邊并不代表兩個節(jié)點共屬于同一類。
本文基于 WSDM 2018 的工作，提出了 graph aggrement model，其引入輔助任務幫助判斷兩個節(jié)點之間的邊是否有助于當前的主任務，例如分類。并在主任務和輔助任務之間通過 co-training 的方式進行訓練，最終在半監(jiān)督任務上取得了優(yōu)異的效果，超越了 GAT。
* 論文鏈接：https://www.paperweekly.site/papers/3329
*?源碼鏈接：https://github.com/tensorflow/neural-structured-learning/tree/master/research/gam
#ICML 2019
@崔克楠
本文提出了新的框架能夠使得以往的 graph neural networks (GNN) 在學習 GNN 網(wǎng)絡的參數(shù)的同時學習圖的離散結(jié)構。在某些領域中，圖的結(jié)構信息通常是不完整的或者難以獲取的。針對這種問題，以往的做法是利用 K nearst neighbor (kNN) 先生成節(jié)點之間的關系，如何選擇K，以及利用節(jié)點的什么特征來作為 kNN 的輸入使得上述方法表現(xiàn)較差。
在本篇論文中，作者利用基于梯度的超參優(yōu)化方法來學習生成圖的離散結(jié)構信息，來同時學習 GNN 網(wǎng)絡對于某項任務（如節(jié)點分類）的參數(shù)。作者利用 GCN+Learnig structure 和 GCN 進行對比，在圖結(jié)構信息部分丟失或者完全丟失的情況下，在 7 個數(shù)據(jù)集上均取得優(yōu)勢。
* 論文鏈接：https://www.paperweekly.site/papers/3247
*?源碼鏈接：https://github.com/lucfra/LDS-GNN
#ICCV 2019
@崔克楠
本文提供了一個可微分的能夠端到端的圖匹配模型。圖匹配任務是找到兩個圖當中所對應的節(jié)點，以及邊與邊之間的近似關系，在許多計算機視覺任務當中都有著重要的作用。除了 NP completeness 的挑戰(zhàn)外，圖匹配任務的另外一個挑戰(zhàn)在于如何融合節(jié)點界別和結(jié)構級別的信息來幫助圖匹配任務。
以往的方法主要采用一個預先定義的近似函數(shù)，例如基于歐式距離的 guassian kernel。本文利用圖卷積網(wǎng)絡，在圖匹配任務中對 node 進行編碼，該卷積過程涉及到圖內(nèi)節(jié)點信息傳播和不同圖之間的節(jié)點信息傳播。最終作者的方法在人工生成的數(shù)據(jù)和 VOC 的數(shù)據(jù)集上都取得了優(yōu)異的效果。
* 論文鏈接：https://www.paperweekly.site/papers/3335
*?源碼鏈接：https://github.com/Thinklab-SJTU/PCA-GM
#ICLR 2019
@崔克楠
本文提出了一種基于貝葉斯的圖卷積網(wǎng)絡。盡管圖卷積網(wǎng)絡已經(jīng)成功應用到很多任務上，但是他們沒有考慮到所觀察到的 graph 具有一定的不確定性，graph 中部分節(jié)點之間的連接是噪聲。
之前的工作假設觀察到的 graph 是從 graph 參數(shù)模型中采樣而來的，其中涉及到的 graph 的后驗是基于已經(jīng)觀測到的 graph。本文進一步提出，對于 graph 的推斷應當考慮節(jié)點特征和節(jié)點標簽，這對于部分 graph 的任務來說尤其重要，最終本文提出模型在眾多數(shù)據(jù)集上取得 state-of-the-art 的效果，尤其是在當標簽較少的場景下，表現(xiàn)更為突出。
* 論文鏈接：https://www.paperweekly.site/papers/3346
#KDD 2019
@崔克楠
本文提供了一種新的在更大數(shù)據(jù)集上訓練更深 GCN 網(wǎng)絡的方法，該方法不僅訓練速度更快，并且占用內(nèi)存更少。
以往的 GCN 根據(jù)其訓練方法可以分為 full gradient descent 和 mini-batch gradient descent，前者代表性方法為 kipf GCN，其訓練時需要加載所有節(jié)點的 embedding，因此有較大的內(nèi)存開銷。后者代表方法為 graph sage，其訓練時因為需要在每層進行隨機采樣，導致許多節(jié)點 embedding 在不同 batch 的時候重復計算，因而計算時間開銷較大。
本文提出預先對 graph 數(shù)據(jù)集進行聚類預處理，使用預處理后的數(shù)據(jù)的圖結(jié)構信息來訓練模型。最終在 200 萬規(guī)模的數(shù)據(jù)上，達到了內(nèi)存比原來消耗少 3 倍，速度接近一倍，精度相持平的效果。
* 論文鏈接：https://www.paperweekly.site/papers/3251
*?源碼鏈接：https://github.com/benedekrozemberczki/ClusterGCN
點擊以下標題查看更多往期內(nèi)容：?
ICLR 2020?| 隱空間的圖神經(jīng)網(wǎng)絡：Geom-GCN
2019年，異質(zhì)圖神經(jīng)網(wǎng)絡領域有哪些值得讀的論文？
KDD 2019?| 基于異質(zhì)圖神經(jīng)網(wǎng)絡的用戶意圖推薦
圖神經(jīng)網(wǎng)絡綜述：模型與應用
EMNLP 2019 |?針對短文本分類的異質(zhì)圖注意力網(wǎng)絡
NeurIPS 2019 開源論文 | 萬能的GNN解釋器
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志
???? 投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發(fā)送?
? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通
????
現(xiàn)在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 獲取更多論文推薦
總結(jié)
以上是生活随笔為你收集整理的收藏！这 10 篇硬核论文，让你宅家也能更了解图神经网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 贝叶斯神经网络计算核裂变碎片产额
- 下一篇： 基于句子嵌入的无监督文本摘要（附代码实现