圖神經網絡（一）圖信號處理與圖卷積神經網絡（5）圖卷積神經網絡

• 0. 概述
• 1. 對頻率響應矩陣進行參數化
• 2. 對多項式系數進行參數化
• 3. 設計固定的圖濾波器

0. 概述

在學習了圖濾波器定義的基礎之上，本節我們來看看圖信號處理中的卷積操作是如何定義的¹。給定兩組$\text{G}$上的圖信號${\mathbf{x}}_1$、${\mathbf{x}}_2$，其圖卷積運算定義如下：
$${\mathbf{x}}_1?{\mathbf{x}}_2=\text{IGFT}(\text{GFT}({\mathbf{x}}_1)\odot \text{GFT}({\mathbf{x}}_2))$$其中$\odot$表示哈達瑪積。這里的定義與我們在離散時間信號處理中的卷積的定義是一樣的——時域中的卷積運算等價于頻域中的乘法運算。

?我們對上式繼續進行推導：
$$\begin{array}{rl}{\mathbf{x}}_1?{\mathbf{x}}_2& =V((V^{\text{T}}{\mathbf{x}}_1)\odot (V^{\text{T}}{\mathbf{x}}_2))\\ & =V({\tilde{\mathbf{x}}}_1\odot (V^{\text{T}}{\mathbf{x}}_2))\\ & =V(\text{diag}({\tilde{\mathbf{x}}}_1)(V^{\text{T}}{\mathbf{x}}_2))\\ & =(V\text{diag}({\tilde{\mathbf{x}}}_1)V^{\text{T}}){\mathbf{x}}_2\end{array}$$?令$H_{{\tilde{\mathbf{x}}}_1}=V\text{diag}({\tilde{\mathbf{x}}}_1)V^{\text{T}}$，顯然$H_{{\tilde{\mathbf{x}}}_1}$是一個圖位移算子，其頻率響應矩陣為${\mathbf{x}}_1$的頻譜，于是可得：
$${\mathbf{x}}_1?{\mathbf{x}}_2=H_{{\tilde{\mathbf{x}}}_1}{\mathbf{x}}_2$$?從上式可知，兩組圖信號的圖卷積運算總能夠轉化為對應形式的圖濾波運算，從這個層面上來看，圖卷積等價于圖濾波。后文中提到的圖卷積運算都是特指上式右邊的濾波形式，只與相對應的卷積信號，一般并不需要顯式地表達出來。

?需要特別說明的是，前面所有的圖信號處理的相關概念里的圖信號都能被拓展到矩陣形式。設矩陣$X\in R^{N\times d}$，我們可以將$X$視為$d$組定義在圖$\text{G}$上的圖信號，于是我們稱$X$為圖信號矩陣，$d$為圖信號的總通道數，$X_{:,j}$表示第$j$個通道上的圖信號。例如，對$Y=HX$，我們可以理解成用圖濾波器$H$對信號矩陣$X$每個通道的信號分別進行濾波操作，$X_{:,j}$對應的輸出為圖信號矩陣$Y$在第$j$個通道上的圖信號$Y_{:,j}$。

?借鑒卷積神經網絡在計算機視覺中的成功，將上述定義的圖卷積運算推廣到圖數據的學習中去就成了一種自然而然的想法。接下來，我們將介紹這其中具有代表性的一些工作。

1. 對頻率響應矩陣進行參數化

?既然圖卷積操作等價于圖濾波操作，而圖濾波算子的核心在于頻率響應矩陣，那么我們自然想到對頻率響應矩陣進行參數話²，這樣我們就可以定義如下神經網絡層：
$$\begin{array}{rl}{X}^{\prime }& =\sigma (V?\begin{array}{ccc}{\theta }_1& ?& 0\\ ?& ?& ?\\ 0& ?& {\theta }_N\end{array}?V^{\text{T}}X)\\ & =\sigma (V\text{diag}(\theta )V^{\text{T}}X)\\ & =\sigma (\Theta X)\end{array}$$
其中$\sigma (?)$是激活函數，$\theta =[{\theta }_1,{\theta }_2,\dots ,{\theta }_N]$是需要學習的參數，$\Theta$是對應的需要學習的圖濾波器，$X$是輸入的圖信號矩陣，$X^{\prime }$是輸出的圖信號矩陣。基本上這個思路可以按照圖濾波操作的空域視角與頻域視角去理解：

?(1) 從空域視角來看，蓋層引入了一個自適應的圖位移算子，通過學習的手段指導該算子的學習，從而完成對輸入圖信號的針對性變換操作。

?(2) 從頻域角度來看，該層在$X$與$X^{\prime }$之間訓練了一個可自適應的圖濾波器，圖濾波器的頻率響應函數時怎樣的，可以通過任務與數據之間的對應關系來進行監督學習。

?上述思路雖然簡單易懂，但是也存在一個較大的問題：引入的學習參數過多，需要學習的參數量與圖中的節點數一致，這在大規模圖數據，比如上億節點數規模的圖中，極易發生過擬合問題。

?另外，在真實的圖數據中，數據的有效信息通常都蘊含在低頻段中，因此為圖濾波器設置$N$個維度的自由度，且對每個頻率都進行學習是沒必要的。

2. 對多項式系數進行參數化

?同樣，為了擬合任意的頻率響應函數，我們也可以將拉普拉斯矩陣的多項式形式轉化為一種可學習的形式，該思路在參考文獻[3]³中被提出具體如下：
$$X^{\prime }=\sigma \left(V\right(\sum _{k=0}^K{\theta }_k{\Lambda }^k\left)V^{\text{T}}X\right)=\sigma (V\text{diag}(\Psi \theta )V^{\text{T}}X)$$
其中，$\theta =[{\theta }_1,{\theta }_2,\dots ,{\theta }_K]$是多項式系數向量，也是該網絡層真正需要學習的參數，與前述方法不同的是，這個方法的參數量$K$可以自由控制。$K$越大，可擬合的頻率響應函數的次數就越高，可以對應輸入圖信號矩陣與輸出圖信號矩陣之間復雜的類別關系；$K$越小，可擬合的頻率響應函數的次數就越低，可以對應輸入圖信號矩陣與輸出圖信號矩陣之間簡單的濾波關系。總的來說，一般設$K?N$，這將大大降低模型過擬合的風險。

3. 設計固定的圖濾波器

?前述方法雖然大大降低了參數量，但卻由于對矩陣特征扥接比較依賴而給計算帶來了極高的復雜度。為了解決這個問題，在論文《Semi-supervised classification with graph convolutional networks》⁴中，作者對上式進行了限制，設$K=1$，則：
$$X^{\prime }=\sigma ({\theta }_{0}X+{\theta }_{1}LX)$$ ?令${\theta }_0={\theta }_1=\theta$，則：
$$X^{\prime }=\sigma (\theta (I+L)X)=\sigma (\theta \tilde{L}X)$$ ?需要注意的是，這里的$\theta$是一個標量，相當于對$\tilde{L}$的頻率響應函數做了一個尺度變換，通常這種尺度變換在神經網絡模型中會被歸一化操作替代，因此，這個參數是不必要引入的，我們設$\theta =1$，然后就得到了一個固定的圖濾波器$\tilde{L}$。

?為了加強網絡學習時的數值穩定性，作者仿照正則拉普拉斯矩陣，對$\tilde{L}$也做了歸一化處理。令$${\tilde{L}}_{\text{sym}}={\tilde{D}}^{?1/2}\tilde{A}{\tilde{D}}^{?1/2}，\tilde{A}=A+I，{\tilde{D}}_{ii}=\sum _j{\tilde{A}}_{ij}，$$我們稱${\tilde{L}}_{\text{sym}}$為重新歸一化形式的拉普拉斯矩陣。${\tilde{L}}_{\text{sym}}$的特征值范圍為$(?1,1]$，可以有效防止多層網絡優化時出現的梯度消失或爆炸的現象。

?為了加強網絡的擬合能力，作者設計了一個參數化的權重矩陣$W$對輸入的圖信號矩陣進行放射變換，于是得到：
$$X^{\prime }=\sigma ({\tilde{L}}_{\text{sym}}XW)$$?如果沒有其他說明，我們稱上式為圖卷積層（GCN layer），以此為主體堆疊多層的神經網絡模型稱為圖卷積模型（GCN）。

?圖卷積層是對頻率響應函數擬合形式上的極大簡化，最后相應的圖濾波器退化成了${\tilde{L}}_{\text{sym}}$，圖卷積操作變成了${\tilde{L}}_{\text{sym}}X$。如果將$X$由信號矩陣的角色切換到特征矩陣上，由于${\tilde{L}}_{\text{sym}}$是一個圖位移算子，依據矩陣乘法的行向量視角，${\tilde{L}}_{\text{sym}}X$的計算等價于對鄰居節點的特征向量進行局和操作，于是圖卷積層在節點層面的計算公式如下：
$${\mathbf{x}}_i=\sigma (\sum _{v_j\in N(v_i)}{\tilde{L}}_{\text{sym}}[i,j](W{\mathbf{x}}_j))$$

圖1 空域視角濾波計算示意圖

?圖1即為這種聚合另據節點操作的示意圖。實際在工程上，${\tilde{L}}_{\text{sym}}$可以用稀疏矩陣來表示，這可以進一步降低圖卷積層的計算復雜度。相較于頻域圖卷積中矩陣分解時$O(N^3)$的時間復雜度，這種空域圖卷積計算的時間復雜度可以降至$O(|E|d)$。

?至于在實際任務中設計固定圖濾波器的做法是否有效，我們從以下兩點進行說明：

?(1) ${\tilde{L}}_{\text{sym}}$本身所具有的的濾波特性是比較符合真實數據的特有性質的，能對數據實現搞笑的濾波操作；

?(2) 雖然GCN層是由對頻率響應函數的線性近似推導得出來的，但是和深度學習中深度網絡給模型帶來的強大擬合能力一樣，堆疊多層GCN層，在某種程度上，可以達到高階多項式形式的頻率響應函數的濾波能力。這種簡化單層網絡的學習能力，通過增加深度來提升模型表達能力的做法，在CNN模型中表現出了極強的工程優越性。事實證明明，這種設計所帶來的優越性也在GCN后續的多項相關論文中得到了充分展示，以GCN為代表的模型儼然稱為各類圖數據學習任務的首選。

?總的來說，正式由于有了圖信號處理中對圖卷及操作的定義與理解，神經網絡模型中的圖卷積層才能得到非常直觀的設計。一般來說，對于只能從頻域出發進行矩陣分解特征從而執行圖卷積計算的模型，我們稱之為頻域圖卷積模型。相應地，對于圖卷積計算不需要進行矩陣特征分解，能在空域視角執行矩陣乘法計算的模型，我們稱之為空域圖卷積模型。需要特別說明的是，雖然空域圖卷積模型具有工程上的優越性，但是這類模型也都可以從頻域視角進行理解，從本書后續的相關章節中，我們也可以看到頻域視角對于圖卷積模型的設計也是十分重要的。

參考文獻

---

[1] 劉忠雨, 李彥霖, 周洋.《深入淺出圖神經網絡: GNN原理解析》.機械工業出版社. ??

[2] Bruna J, Zaremba W, Szlam A, et al. Spectral networks and locally connected networks on graphs[J]. arXiv preprint arXiv:1312.6203, 2013. ??

[3] Defferrard M, Bresson X, Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering[J]. Advances in neural information processing systems, 2016, 29. ??

[4] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016. ??

總結

以上是生活随笔為你收集整理的图神经网络（一）图信号处理与图卷积神经网络（5）图卷积神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。