最近，人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的國(guó)際頂級(jí)會(huì)議 NeurIPS 2019 接收論文公布，共有 1428 篇論文被接收。為了帶大家搶先領(lǐng)略高質(zhì)量論文，本文整理了八篇 NeurIPS 2019 最新 GNN 相關(guān)論文，并附上 arXiv 論文鏈接供參考。

1.Approximation Ratios of Graph Neural Networks for Combinatorial Problems

作者：Ryoma Sato， Makoto Yamada， Hisashi Kashima;

摘要：本文從理論的角度研究了圖神經(jīng)網(wǎng)絡(luò) (GNNs) 在學(xué)習(xí)組合問題近似算法中的作用。為此，我們首先建立了一個(gè)新的 GNN 類，它可以嚴(yán)格地解決比現(xiàn)有 GNN 更廣泛的問題。然后，我們彌合了 GNN 理論和分布式局部算法理論之間的差距，從理論上證明了最強(qiáng)大的 GNN 可以學(xué)習(xí)最小支配集問題的近似算法和具有一些近似比的最小頂點(diǎn)覆蓋問題比率，并且沒有 GNN 可以執(zhí)行比這些比率更好。本文首次闡明了組合問題中 GNN 的近似比。此外，我們還證明了在每個(gè)節(jié)點(diǎn)特征上添加著色或弱著色可以提高這些近似比。這表明預(yù)處理和特征工程在理論上增強(qiáng)了模型的能力。

網(wǎng)址：

https://arxiv.org/abs/1905.10261

2. D-VAE: A Variational Autoencoder for Directed Acyclic Graphs

作者：Muhan Zhang, Shali Jiang, Zhicheng Cui, Roman Garnett, Yixin Chen;

摘要：圖結(jié)構(gòu)數(shù)據(jù)在現(xiàn)實(shí)世界中是豐富的。在不同的圖類型中，有向無(wú)環(huán)圖 (DAG) 是機(jī)器學(xué)習(xí)研究人員特別感興趣的，因?yàn)樵S多機(jī)器學(xué)習(xí)模型都是通過(guò) DAG 上的計(jì)算來(lái)實(shí)現(xiàn)的，包括神經(jīng)網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)。本文研究了 DAG 的深度生成模型，提出了一種新的 DAG 變分自編碼器 (D-VAE)。為了將 DAG 編碼到潛在空間中，我們利用了圖神經(jīng)網(wǎng)絡(luò)。我們提出了一個(gè)異步消息傳遞方案，它允許在 DAG 上編碼計(jì)算，而不是使用現(xiàn)有的同步消息傳遞方案來(lái)編碼局部圖結(jié)構(gòu)。通過(guò)神經(jīng)結(jié)構(gòu)搜索和貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)兩項(xiàng)任務(wù)驗(yàn)證了該方法的有效性。實(shí)驗(yàn)表明，該模型不僅生成了新穎有效的 DAG，還可以生成平滑的潛在空間，有助于通過(guò)貝葉斯優(yōu)化搜索具有更好性能的 DAG。

網(wǎng)址：

https://arxiv.org/abs/1904.11088

3. End to end learning and optimization on graphs

作者：Bryan Wilder, Eric Ewing, Bistra Dilkina, Milind Tambe;

摘要：在實(shí)際應(yīng)用中，圖的學(xué)習(xí)和優(yōu)化問題常常結(jié)合在一起。例如，我們的目標(biāo)可能是對(duì)圖進(jìn)行集群，以便檢測(cè)有意義的社區(qū) (或者解決其他常見的圖優(yōu)化問題，如 facility location、maxcut 等)。然而，圖或相關(guān)屬性往往只是部分觀察到，引入了一些學(xué)習(xí)問題，如鏈接預(yù)測(cè)，必須在優(yōu)化之前解決。我們提出了一種方法，將用于常見圖優(yōu)化問題的可微代理集成到用于鏈接預(yù)測(cè)等任務(wù)的機(jī)器學(xué)習(xí)模型的訓(xùn)練中。這允許模型特別關(guān)注下游任務(wù)，它的預(yù)測(cè)將用于該任務(wù)。實(shí)驗(yàn)結(jié)果表明，我們的端到端系統(tǒng)在實(shí)例優(yōu)化任務(wù)上的性能優(yōu)于將現(xiàn)有的鏈路預(yù)測(cè)方法與專家設(shè)計(jì)的圖優(yōu)化算法相結(jié)合的方法。

網(wǎng)址：

https://arxiv.org/abs/1905.13732

4. Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels

作者：Simon S. Du, Kangcheng Hou, Barnabás Póczos, Ruslan Salakhutdinov, Ruosong Wang, Keyulu Xu;

摘要：雖然圖內(nèi)核 (graph kernel，GK) 易于訓(xùn)練并享有可證明的理論保證，但其實(shí)際性能受其表達(dá)能力的限制，因?yàn)閮?nèi)核函數(shù)往往依賴于圖的手工組合特性。與圖內(nèi)核相比，圖神經(jīng)網(wǎng)絡(luò)通常具有更好的實(shí)用性能，因?yàn)閳D神經(jīng)網(wǎng)絡(luò)使用多層結(jié)構(gòu)和非線性激活函數(shù)來(lái)提取圖的高階信息作為特征。然而，由于訓(xùn)練過(guò)程中存在大量的超參數(shù)，且訓(xùn)練過(guò)程具有非凸性，使得 GNN 的訓(xùn)練更加困難。GNN 的理論保障也沒有得到很好的理解。此外，GNN 的表達(dá)能力隨參數(shù)的數(shù)量而變化，在計(jì)算資源有限的情況下，很難充分利用 GNN 的表達(dá)能力。本文提出了一類新的圖內(nèi)核，即圖神經(jīng)切線核 (GNTKs)，它對(duì)應(yīng)于通過(guò)梯度下降訓(xùn)練的無(wú)限寬的多層 GNN。GNTK 充分發(fā)揮了 GNN 的表現(xiàn)力，繼承了 GK 的優(yōu)勢(shì)。從理論上講，我們展示了 GNTK 可以在圖上學(xué)習(xí)一類平滑函數(shù)。根據(jù)經(jīng)驗(yàn)，我們?cè)趫D分類數(shù)據(jù)集上測(cè)試 GNTK 并展示它們實(shí)現(xiàn)了強(qiáng)大的性能。

網(wǎng)址：

https://arxiv.org/abs/1905.13192

5. HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs

作者：Naganand Yadati, Madhav Nimishakavi, Prateek Yadav, Vikram Nitin, Anand Louis, Partha Talukdar;

摘要：在許多真實(shí)世界的網(wǎng)絡(luò)數(shù)據(jù)集中，如 co-authorship、co-citation、email communication 等，關(guān)系是復(fù)雜的，并且超越了成對(duì)關(guān)聯(lián)。超圖（Hypergraph）提供了一個(gè)靈活而自然的建模工具來(lái)建模這種復(fù)雜的關(guān)系。在許多現(xiàn)實(shí)世界網(wǎng)絡(luò)中，這種復(fù)雜關(guān)系的明顯存在，自然會(huì)激發(fā)使用 Hypergraph 學(xué)習(xí)的問題。一種流行的學(xué)習(xí)范式是基于超圖的半監(jiān)督學(xué)習(xí) (SSL)，其目標(biāo)是將標(biāo)簽分配給超圖中最初未標(biāo)記的頂點(diǎn)。由于圖卷積網(wǎng)絡(luò) (GCN) 對(duì)基于圖的 SSL 是有效的，我們提出了 HyperGCN，這是一種在超圖上訓(xùn)練用于 SSL 的 GCN 的新方法。我們通過(guò)對(duì)真實(shí)世界超圖的詳細(xì)實(shí)驗(yàn)證明 HyperGCN 的有效性，并分析它何時(shí)比最先進(jìn)的 baseline 更有效。

網(wǎng)址：

https://arxiv.org/abs/1809.02589

6. Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks

作者：Vineet Kosaraju, Amir Sadeghian, Roberto Martín-Martín, Ian Reid, S. Hamid Rezatofighi, Silvio Savarese;

摘要：從自動(dòng)駕駛汽車和社交機(jī)器人的控制到安全監(jiān)控，預(yù)測(cè)場(chǎng)景中多個(gè)交互主體的未來(lái)軌跡已成為許多不同應(yīng)用領(lǐng)域中一個(gè)日益重要的問題。這個(gè)問題由于人類之間的社會(huì)互動(dòng)以及他們與場(chǎng)景的身體互動(dòng)而變得更加復(fù)雜。雖然現(xiàn)有的文獻(xiàn)探索了其中的一些線索，但它們主要忽略了每個(gè)人未來(lái)軌跡的多模態(tài)性質(zhì)。在本文中，我們提出了一個(gè)基于圖的生成式對(duì)抗網(wǎng)絡(luò) Social-BiGAT，它通過(guò)更好地建模場(chǎng)景中行人的社交互來(lái)生成真實(shí)的多模態(tài)軌跡預(yù)測(cè)。我們的方法是基于一個(gè)圖注意力網(wǎng)絡(luò) (GAT) 學(xué)習(xí)可靠的特征表示 (編碼場(chǎng)景中人類之間的社會(huì)交互)，以及一個(gè)反方向訓(xùn)練的循環(huán)編解碼器體系結(jié)構(gòu) (根據(jù)特征預(yù)測(cè)人類的路徑)。我們明確地解釋了預(yù)測(cè)問題的多模態(tài)性質(zhì)，通過(guò)在每個(gè)場(chǎng)景與其潛在噪聲向量之間形成一個(gè)可逆的變換，就像在 Bicycle-GAN 中一樣。我們表明了，與現(xiàn)有軌跡預(yù)測(cè)基準(zhǔn)的幾個(gè) baseline 的比較中，我們的框架達(dá)到了最先進(jìn)的性能。

網(wǎng)址：

https://arxiv.org/abs/1907.03395

7. Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

作者：Hongteng Xu, Dixin Luo, Lawrence Carin;

摘要：我們提出了一種可擴(kuò)展的 Gromov-Wasserstein learning (S-GWL) 方法，并建立了一種新的、理論支持的大規(guī)模圖分析范式。該方法基于 Gromov-Wasserstein discrepancy，是圖上的偽度量。給定兩個(gè)圖，與它們的 Gromov-Wasserstein discrepancy 相關(guān)聯(lián)的最優(yōu)傳輸提供了節(jié)點(diǎn)之間的對(duì)應(yīng)關(guān)系，從而實(shí)現(xiàn)了圖的匹配。當(dāng)其中一個(gè)圖具有獨(dú)立但自連接的節(jié)點(diǎn)時(shí)（即，一個(gè)斷開連接的圖），最優(yōu)傳輸表明了其他圖的聚類結(jié)構(gòu)，實(shí)現(xiàn)了圖的劃分。利用這一概念，通過(guò)學(xué)習(xí)多觀測(cè)圖的 Gromov-Wasserstein barycenter 圖，將該方法推廣到多圖的劃分與匹配；barycenter 圖起到斷開圖的作用，因?yàn)樗菍W(xué)習(xí)的，所以聚類也是如此。該方法將遞歸 K 分割機(jī)制與正則化近似梯度算法相結(jié)合，對(duì)于具有 V 個(gè)節(jié)點(diǎn)和 E 條邊的圖，其時(shí)間復(fù)雜度為 O (K (E+V) logk V)。據(jù)我們所知，我們的方法是第一次嘗試使 Gromov-Wasserstein discrepancy 適用于大規(guī)模的圖分析，并將圖的劃分和匹配統(tǒng)一到同一個(gè)框架中。它優(yōu)于最先進(jìn)的圖劃分和匹配方法，實(shí)現(xiàn)了精度和效率之間的平衡。

網(wǎng)址：

https://arxiv.org/abs/1905.07645

8. Universal Invariant and Equivariant Graph Neural Networks

作者：Nicolas Keriven, Gabriel Peyré;

摘要：圖神經(jīng)網(wǎng)絡(luò) (GNN) 有多種形式，但應(yīng)該始終是不變的 (輸入圖節(jié)點(diǎn)的排列不會(huì)影響輸出) 或等變的 (輸入的排列置換輸出)。本文考慮一類特殊的不變和等變網(wǎng)絡(luò)，證明了它的一些新的普適性定理。更確切地說(shuō)，我們考慮具有單個(gè)隱藏層的網(wǎng)絡(luò)，它是通過(guò)應(yīng)用等變線性算子、點(diǎn)態(tài)非線性算子和不變或等變線性算子形成的信道求和而得到的。最近，Maron et al. (2019b) 指出，通過(guò)允許網(wǎng)絡(luò)內(nèi)部的高階張量化，可以獲得通用不變的 GNN。作為第一個(gè)貢獻(xiàn)，我們提出了這個(gè)結(jié)果的另一種證明，它依賴于實(shí)值函數(shù)代數(shù)的 Stone-Weierstrass 定理。我們的主要貢獻(xiàn)是將這一結(jié)果推廣到等變情況，這種情況出現(xiàn)在許多實(shí)際應(yīng)用中，但從理論角度進(jìn)行的研究較少。證明依賴于一個(gè)新的具有獨(dú)立意義的廣義等變函數(shù)代數(shù) Stone-Weierstrass 定理。最后，與以往許多考慮固定節(jié)點(diǎn)數(shù)的設(shè)置不同，我們的結(jié)果表明，由一組參數(shù)定義的 GNN 可以很好地近似于在不同大小的圖上定義的函數(shù)。

網(wǎng)址：

https://arxiv.org/abs/1905.04943

總結(jié)

以上是生活随笔為你收集整理的八篇 NeurIPS 2019 最新图神经网络相关论文的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。