圖神經網絡（二）GCN的性質（3）GCN是一個低通濾波器

?在圖的半監督學習任務中，通常會在相應的損失函數里面增加一個正則項，該正則項需要保證相鄰節點之間的類別信息趨于一致，一般情況下，我們選用拉普拉斯矩陣的二次型作為正則約束：
$$L=L_0+L_{\text{reg}},L_{\text{reg}}=\sum _{e_{ij}\in E}{A}_{ij}\Vert f(x_i)?f(x_j){\Vert }^2=f(X{)}^{\text{T}}Lf(x)$$
?其中$L$表示模型的總損失，$L_0$表示監督損失，$L_{\text{reg}}$表示正則項，從學習的目標來看，這樣的正則項使得相鄰節點的分類標簽盡量一致，這種物以類聚的先驗知識，可以指導我們更加高效地對未標記的數據進行學習。從圖信號的角度來看，我們知道該正則項也表示圖信號的總變差，減小該項表示我們期望經過模型之后的圖信號更加平滑，根據前面所學的知識，從頻域上來看，相當于對圖信號做了低通濾波的處理[6]。

?在GCN的損失函數中，我們通常并不會設計這樣的正則項。但是有研究表明，論文[4]中將GCN視為一種低通濾波器，下面闡述具體的過程：

?回到GCN的核心計算式${\tilde{L}}_{\text{sym}}XW$上，體現圖濾波的方法就在于左乘了一個重歸一化形式的拉普拉斯矩陣${\tilde{L}}_{\text{sym}}XW$，根據上一章的相關內容可知，要確定是否為低通濾波，我們就必須去研究${\tilde{L}}_{\text{sym}}XW$對應的頻率響應函數$p(\lambda )$的性質。
$$\begin{array}{rl}{\tilde{L}}_{\text{sym}}& ={\tilde{D}}^{?1/2}\tilde{A}{\tilde{D}}^{?1/2}\\ & ={\tilde{D}}^{?1/2}(\tilde{D}?L){\tilde{D}}^{?1/2}\\ & =I?{\tilde{D}}^{?1/2}L{\tilde{D}}^{?1/2}\\ & =I?{\tilde{L}}_s\end{array}$$
?由于${\tilde{L}}_s$可以被正交對角化，我們設${\tilde{L}}_s=V\tilde{\Lambda }{V}^{\text{T}}$，${\tilde{\lambda }}_i$是${\tilde{L}}_s$的特征值，可以證明${\tilde{\lambda }}_i\in [0,2)$[5]。

?因此上式變為：
$${\tilde{L}}_{\text{sym}}=I?V\tilde{\Lambda }{V}^T=V(1?\tilde{\Lambda })V^{\text{T}}$$
?顯然，其頻率響應函數為$p(\lambda )=1?{\tilde{\lambda }}_i\in [?1,1)$，該函數是一個線性收縮的函數，因此能起到對圖信號進行低通濾波的作用。

?如果將信號矩陣$X$不斷左乘$K$次${\tilde{L}}_{\text{sym}}$，則對應頻率響應函數為$(1?{\tilde{\lambda }}_i{)}^K$，圖2-9所示為該函數的圖像：

圖2-9 響應函數圖像

?從圖中可以看到，隨著$K$的增大，頻率響應函數在低頻段上有著更強的縮放效果，因此是一種更強效應的低通濾波器。這種堆疊式的濾波操作，在一定程度上解釋了多層GCN模型對于信號的平滑能力。事實上，為了更好地突出這種能力、較少模型的參數量，在論文[1] [2] [6]中直接將多層GCN退化成 $\sigma ({\tilde{L}}_{\text{sym}}^{K}XW)$。

?為什么要突出對數據的低通濾波呢？或者說，多層GCN的這種濾波效果對于圖數據的任務學習會更加高效嗎？在論文[3]中，作者論證了一個關于圖數據的假設——輸入數據的特征信號包括低頻信號與高頻信號，低頻信號包含著對任務學習更加有效的信息。

?為此，作者Cora、Citeseer、Pubmed數據集上做了實驗，這3個數據集都是論文引用網絡。節點是論文，邊是論文之間的引用關系。作者設計了一個實驗，通過低通濾波截掉數據中的高頻信息，然后使用剩下的低頻信息進行分類學習，具體過程如下：

?（1）對數據集的${\tilde{L}}_s$進行正交對角化，得到傅里葉基$V$。

?（2）對輸入的信號矩陣增加高斯噪聲$X\leftarrow X+N(0,{\sigma }^2)$，其中$\sigma (0,0.01,0.05)$。

?（3）計算輸入的信號矩陣在前k個最小頻率上的傅里葉變換系數${\tilde{X}}_k=V[:,:k{]}^{\text{T}}{\tilde{D}}^{?1/2}X$。

?（4）利用逆傅里葉變換重構信號$X_k={\tilde{D}}^{?1/2}V[:,:k]{\tilde{X}}_k$。

?（5）將重構后的信號送到一個兩層的MLP網絡進行分類學習，并記錄準確率。

?圖2-10所示為重構信號用的頻率分量的比例（前$k$個最小頻率占總頻率數的比例）與分類準確率之間的關系圖。作為對比實驗，使用完整的原始信號矩陣在gfNN模型（論文[4]中的一種GCN的變體模型）與雙層MLP上的分類準確率（3組圖中的上部gfNN與中部MLP水平虛線）來進行對比。從該圖中可以看出，在3個數據集上，最高的分類準確率集中在僅用最小的前20%的頻段恢復信號的實驗中，增加高頻信息參與信號重構，模型的分類效果會下降。同時，增加高斯噪聲會造成分類準確率下降，這種效應隨著重構所用的頻率分量的比例的增加而增強，這說明了使用低通濾波對數據進行去噪的有效性。作為對比實驗，我們可以看到，即使在原始的輸入數據上，gfNN也能取得所有實驗中的最好效果，這說明gfNN本身就具有低通濾波的作用。

圖2-10 實驗結果[5]

?從本節的介紹中可以看到，從頻域去理解圖數據以及GCN都具有十分重要的價值。對數據有效頻率成分的分析可以指導我們發現數據的內在規律，從而更好地設計符合特定需求的濾波器，讓GCN對于任務的高效學習做到有的放矢。

參考文獻

[1] Maehara T.Revisiting Graph Neural Networks ： All We Have is Low-Pass Filters[J].arXiv preprint arXiv ： 1905.09550 ， 2019.

[2] Wu F ， Zhang T ， Souza Jr A H ， et al.Simplifying graph convolutional networks[J].arXiv preprint arXiv ： 1902.07153 ， 2019.

[3] Maehara T.Revisiting Graph Neural Networks ： All We Have is Low-Pass Filters[J].arXiv preprint arXiv ： 1905.09550 ， 2019.

[4] Maehara T.Revisiting Graph Neural Networks ： All We Have is Low-Pass Filters[J].arXiv preprint arXiv ： 1905.09550 ， 2019.

[5] Maehara T.Revisiting Graph Neural Networks ： All We Have is Low-Pass Filters[J].arXiv preprint arXiv ： 1905.09550 ， 2019.

[6] 劉忠雨, 李彥霖, 周洋.《深入淺出圖神經網絡: GNN原理解析》.機械工業出版社.

總結

以上是生活随笔為你收集整理的图神经网络（二）GCN的性质（3）GCN是一个低通滤波器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。