0 摘要

????????流行的圖神經(jīng)網(wǎng)絡(luò)基于多項式譜濾波器實現(xiàn)圖的卷積運算。

????????在本文中，我們提出了一種新的圖卷積層，其靈感來自自回歸移動平均(ARMA)濾波器.

????????與多項式濾波器相比，它提供了更靈活的頻率響應(yīng)，更魯棒的噪聲，并更好地捕捉全局圖結(jié)構(gòu)。

????????我們提出了一種用遞歸和分布式公式實現(xiàn)ARMA濾波器的圖神經(jīng)網(wǎng)絡(luò)，獲得了一個有效訓(xùn)練的卷積層，該卷積層位于節(jié)點空間，并可以在測試時轉(zhuǎn)移到新的圖中。

????????我們進行頻譜分析，研究提出的ARMA層的濾波效果，并報告了四個下游任務(wù)的實驗:半監(jiān)督節(jié)點分類、圖信號分類、圖分類和圖回歸。

????????結(jié)果表明，本文提出的ARMA層比基于多項式濾波器的圖神經(jīng)網(wǎng)絡(luò)有顯著的改進。

1 introduction

????????圖神經(jīng)網(wǎng)絡(luò)(gnn)是一類介于深度學(xué)習(xí)和結(jié)構(gòu)化數(shù)據(jù)方法之間的模型，它通過計算離散對象(節(jié)點)之間的任意關(guān)系(邊)，對離散對象(節(jié)點)進行推理。

????????GNN結(jié)合圖上本地鄰域的節(jié)點特征來學(xué)習(xí)。這可以直接映射到分類標(biāo)簽或?qū)嵵档墓?jié)點表示，或組合生成圖進行圖嵌入，來進行圖分類和回歸

????????這項工作的重點是，用gnn實現(xiàn)圖在譜域上的卷積，這是通過非線性可訓(xùn)練濾波器來完成的。

????????這種過濾器有選擇地縮小或放大圖信號的傅里葉系數(shù)(這可以看成節(jié)點特征的一個實例)，然后將節(jié)點特征映射到一個新的空間。

????????為了避免時間和空間都很昂貴的圖頻譜域分解和圖頻譜域投影，最近幾年的gnn將圖濾波器實現(xiàn)為低階多項式，直接在節(jié)點域?qū)W習(xí)。

????????多項式濾波器具有有限的脈沖響應(yīng)，并在局部節(jié)點鄰域上對圖信號進行加權(quán)移動平均濾波，允許基于切比雪夫多項式的快速分布式實現(xiàn)。

????????多項式濾波器具有有限的建模能力，由于其平滑性，不能對頻率響應(yīng)的急劇變化進行建模。

????????至關(guān)重要的是，高階多項式是到達高階鄰域所必需的，但它們往往在計算上更昂貴，以及最重要的是，它們會過度擬合訓(xùn)練數(shù)據(jù)，使模型對圖信號或底層圖結(jié)構(gòu)的變化敏感。

?????????更通用的一類濾波器是自回歸移動平均濾波器(ARMA)家族，它提供了更多的頻率響應(yīng)，與具有相同數(shù)量參數(shù)的多項式濾波器相比，它可以解釋更高階的鄰域。

?????????在本文中，我們受到多項式濾波器的啟發(fā)，解決了現(xiàn)有圖卷積層的局限性，提出了一種新的基于ARMA濾波器的GNN卷積層。

????????我們的ARMA層實現(xiàn)了一個非線性和可訓(xùn)練的圖濾波器，它基于多項式濾波器泛化卷積層，并通過靈活的濾波器頻率響應(yīng)設(shè)計，為GNN提供了增強的建模能力。

????????ARMA層以較少的參數(shù)捕獲全局圖結(jié)構(gòu)，克服了基于高階多項式濾波器的gnn的局限性。

????????ARMA濾波器不局限于節(jié)點空間，需要進行矩陣反演，這在gnn環(huán)境中是非常棘手的。

????????為了解決這個問題，本篇論文提出的ARMA層依賴于遞歸公式，這導(dǎo)致了可以利用張量上的高效稀疏操作，來快速和分布式的實現(xiàn)之。

????????得到的濾波器不是在由給定拉普拉斯算子導(dǎo)出的傅里葉空間中學(xué)習(xí)的，而是在節(jié)點空間中，并且獨立于底層圖結(jié)構(gòu)。

????????這使得GNN能夠在歸納推理任務(wù)的測試階段處理具有不可見拓?fù)涞膱D。

?2 背景知識

2.1 graph spectral filtering

總結(jié)

以上是生活随笔為你收集整理的GNN论文笔记： Graph Neural Networks with convolutional ARMA filters的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。