圖神經網絡（一）圖信號處理與圖卷積神經網絡（3）圖傅里葉變換

傅里葉變換是數字信號處理的基石，傅里葉變換將信號從時域空間轉換到頻域空間，而頻域視角給信號的處理帶來了極大的遍歷。圍繞傅里葉變換，信號的濾波、卷積等操作都有了完備的理論定義，這為一些實際的工程應用，如信號的去噪、壓縮、重構等任務提供了理論指導。¹

?類比傅里葉變換，我們給出圖信號傅里葉變換的定義，即將圖信號由空域（spatial domain）視角轉換到頻域（frequency domain）視角，便于圖信號出爐理論體系的建立。

?假設圖G的拉普拉斯矩陣²為$L\in R^{\text{N×N}}$，由于$L$是一個實對稱矩陣，根據實對稱矩陣都可以被正交對角化³，可得：
$$L=V\Lambda V^{\text{T}}=?\begin{array}{cccc}?& ?& ?& ?\\ v_1& v_2& ?& v_N\\ ?& ?& ?& ?\end{array}??\begin{array}{ccc}{\lambda }_1& ?& 0\\ ?& ?& ?\\ 0& ?& {\lambda }_N\end{array}??\begin{array}{ccc}?& v_1& ?\\ ?& v_2& ?\\ ?& ?& ?\\ ?& v_N& ?\end{array}?$$

?$V\in R^{\text{N×N}}$是一個正交矩陣，即$V{V}^{\text{T}}=I$。$V=[v_1,v_2,\dots ,v_{\text{N}}]$表示$L$的$N$個特征向量，由于$V$是一個正交矩陣，這些特征向量都是彼此之間線性無關的單位向量。${\lambda }_k$表示第$k$個向量對應的特征值，我們對特征值進行生序排列，即${\lambda }_1\le {\lambda }_2\le ?\le {\lambda }_{\text{N}}$。

?對于任意給定的向量$\mathbf{x}$，拉普拉斯矩陣的二次型：${\mathbf{x}}^{\text{T}}L\mathbf{x}={\sum }_{e_{ij\in E}}(x_i?x_j{)}^2\ge 0$，因此拉普拉斯矩陣是一個半正定型矩陣，其所有的特征值均大于等于$0$。進一步，由式可知：$LI=0$，因此拉普拉斯矩陣具有最小的特征值$0$，即${\lambda }_1=0$。另外可以證明，對于$L_{\text{sym}}$，其特征值存在一個上限：${\lambda }_{\text{N}}\le 2$。

?圖傅里葉變換（GraphFourier Transform，GFT）：對于任意一個在圖G上的信號$\mathbf{x}$，其圖傅里葉變換為：
$${\tilde{\mathbf{x}}}_k=\sum _{i=1}^N{V}_{ki}^{\text{T}}{x}_i=?{\mathbf{v}}_k,\mathbf{x}?$$
?我們稱特征向量為傅里葉基，${\tilde{\mathbf{x}}}_k$是x在第k個傅里葉基上的傅里葉系數。從定義式上可以看到，傅里葉系數本質上是圖信號在傅里葉基上的投影，衡量了圖信號與傅里葉基之間的相似度。用矩陣形式可計算出所有的傅里葉系數：
$${\tilde{\mathbf{x}}}_k=V^{\text{T}}\mathbf{x},{\tilde{\mathbf{x}}}_k\in R^N$$
?由于$V$是一個正交矩陣，對上式左乘$V$，則：$$V\tilde{\mathbf{x}}=V{V}^{\text{T}}\mathbf{x}=I\mathbf{x}=\mathbf{x}$$，即：
$$\mathbf{x}=V\tilde{\mathbf{x}},\mathbf{x}\in R^N$$?于是我們可以將 逆圖傅里葉變換（Inverse Graph Fourier Transform，IGFT）定義為：
$$x_k=\sum _{i=1}^N{V}_{ki}?{\tilde{x}}_i$$
式$\mathbf{x}=V\tilde{\mathbf{x}}$是一種矩陣形式的逆圖傅里葉變換，如果將其展開成向量形式，則：
$$\begin{array}{rl}\mathbf{x}=V\tilde{\mathbf{x}}& =?\begin{array}{cccc}?& ?& ?& ?\\ {\mathbf{v}}_1& {\mathbf{v}}_2& ?& {\mathbf{v}}_N\\ ?& ?& ?& ?\end{array}??\begin{array}{c}{\tilde{x}}_1\\ {\tilde{x}}_2\\ ?\\ {\tilde{x}}_N\end{array}?\\ & ={\tilde{x}}_1{\mathbf{v}}_1+{\tilde{x}}_2{\mathbf{v}}_2+?+{\tilde{x}}_N{\mathbf{v}}_N\\ & =\sum _{k=1}^N{\tilde{x}}_k{\mathbf{v}}_k\end{array}$$?由此可知，從線性代數的角度來看，$v_1$，$v_2$，$\dots$，$v_N$組成了N維特征空間中的一組完備的基向量，圖G上的任意一個圖信號都可以被表征成這些基向量的線性加權。具體來說，權重就是圖信號在對應傅里葉基上的傅里葉系數，這種對圖信號的分解表示方法，給了我們一種全新的看待圖信號的視角。這樣的分解思路與離散信號處理中所定義的傅里葉變換如出一轍，如圖1所示：

圖1 傅里葉變換

?其中a圖為圖信號被分解到兩個傅里葉基上的示意圖，b圖為時域信號被分解成兩個正弦信號的加和示意圖。

?圖傅里葉變換與圖信號的頻率有什么關系呢？要理解這個問題，我們必須回到總變差的定義式上，有了圖傅里葉變換的定義之后，我們可以對總變差進行改寫：
$$\begin{array}{rl}\text{TV}(\mathbf{x})& ={\mathbf{x}}^{\text{T}}L\mathbf{x}={\mathbf{x}}^{\text{T}}V\Lambda V^{\text{T}}\mathbf{x}\\ & =(V\tilde{\mathbf{x}}{)}^{\text{T}}V\Lambda V^{\text{T}}(V\tilde{\mathbf{x}})\\ & ={\tilde{\mathbf{x}}}^{\text{T}}{V}^{\text{T}}V\Lambda V^{\text{T}}V\tilde{\mathbf{x}}\\ & ={\tilde{\mathbf{x}}}^{\text{T}}\Lambda \tilde{\mathbf{x}}\\ & =\sum _k^N{\lambda }_k{\tilde{x}}_k^2\end{array}$$?從上式中可以看出，圖信號的總變差與圖的特征值之間有著非常直接的線性對應關系，總變差是圖的所有特征值的一個線性組合，權重是圖信號相對應的傅里葉系數的平方。那么，我們需要思考以下問題：在一個給定的圖上，什么樣的圖信號具有最小的總變差？

?我們將圖信號限定在單位向量上來考慮。由于圖的各個特征向量是彼此正交的單位向量，且特征值${\lambda }_1$，${\lambda }_2$，$\dots$，${\lambda }_N$是從小到大依次排列的，因此總變差取最小值的條件是圖信號與最小的特征值${\lambda }_1$所對應的特征向量$v_1$完全吻合，此時僅有$x_1=0$，其他項傅里葉系數為$0$，總變差$\text{TV}(x_1)={\lambda }_1$。事實上，若$x=v_k$，則$\text{TV}(v_k)={\lambda }_k$，可以進一步詳細證明，如果要選擇一組彼此正交的圖信號，使得各自的總變差一次取得最小值，那么這組圖信號就是$v_1$，$v_2$，$\dots$，$v_N$，如下式所示：
$${\lambda }_k=\underset{x:\Vert x\Vert =1,x\perp x_1.x_2,...,x_{k?1}}{\min }{\mathbf{x}}^{\text{T}}L\mathbf{x}$$?結合總變差代表著圖信號整體平滑度的實際應用，我們可以發現，特征值依次排列在一起，對圖信號的平滑度作出了一種梯度刻畫，因此可以將特征值等價成頻率。特征值越低，頻率越低，對應的傅里葉基就變化得越劇烈，相近節點上的信號值則非常不一致。

?下面我們來看一個具體的計算實例：

圖2 圖G和拉普拉斯矩陣

?如圖2中的b圖所示，根據實對稱陣的正交對角化公式（本節第一個公式），計算得到該圖的拉普拉斯矩陣的特征矩陣與特征值：
$$\begin{array}{rl}& V=?\begin{array}{ccccc}?0.447& 0.438& ?0.703& 0& 0.338\\ ?0.447& 0.256& 0.242& 0.707& ?0.419\\ ?0.447& 0.256& 0.242& ?0.707& ?0.419\\ ?0.447& ?0.138& 0.536& 0& 0.702\\ ?0.447& ?0.811& ?0.318& 0& ?0.202\end{array}?\\ & \Lambda =\text{diag}(\left[\begin{array}{ccccc}0& 0.8299& 2.689& 4& 4.481\end{array}\right])\end{array}$$
$\text{diag}()$表示將向量對角化成矩陣形式。圖3為將$v_1$，$v_2$，$v_5$作為圖信號時的示意圖：

圖3 將特征向量作為圖信號的示意圖

?通過圖3我們可以直觀地看到，3組信號中$v_1$變化得最緩慢，事實上$v_1$的信號值處處相等，$v_5$變化得最劇烈，而$v_2$的效果居中。

?同時，我們也可以定義圖信號的能量：
$$E(x)=\Vert \mathbf{x}\Vert ={\mathbf{x}}^{\text{T}}\mathbf{x}=(V\tilde{\mathbf{x}}{)}^{\text{T}}(V\tilde{\mathbf{x}})={\tilde{\mathbf{x}}}^{\text{T}}\tilde{\mathbf{x}}$$?即圖信號的能量可以同時從空域和頻域進行等價定義。單位向量的圖信號能量為$1$。

?有了頻率的定義，傅里葉系數就可以等價成圖信號在對應頻率分量上的幅值，反映了圖信號在該頻率分量上的強度。圖信號在低頻分量上的強度越大，該信號的平滑度就越高；相反，圖信號在高頻分量上的強度越大，該信號平滑度就越低。

?定義好圖傅里葉變換之后，我們就可以從頻域視角去研究圖信號了。我們把圖信號所有的傅里葉系數合在一起稱為該信號的頻譜（spectrum）。在一個給定的圖中，圖信號的頻譜等價于一種身份ID，給定了頻譜，我們就可以運用逆圖傅里葉變換，完整地推導出空域中的圖信號。同時，頻譜完整地描述了圖信號的頻域特性，為接下來的圖信號的采樣、濾波、重構等信號處理工作創造了條件。

?當然，需要特別注意的是，頻域視角是一種全局視角，圖信號頻譜上的任意一個傅里葉系數，都是對圖信號的某種低頻或高頻特征的定量描述，這種描述既考慮了圖信號本身值的大小，也考慮了圖的結構信息。圖4給出了從空域和頻域視角看圖信號的示意圖⁴：

圖4 空域與頻域中的信號
?在圖4中，第一排畫出了在空域中的圖信號，3組圖信號的能量是一樣的，但是由于$G_1$、$G_2$、$G_3$的圖結構不同，使得信號在視覺上給人不同的平滑度感受。具體來講，$G_1$上圖信號在相近的節點上的信號值很相似；$G_3$上的圖信號在相近的節點上的信號值差異比較大；$G_2$上的圖信號的情況結語二者之間。
?第二排畫出了對應圖信號的頻譜圖，從圖4中可以看到，$G_1$上圖信號的傅里葉系數在小于$0.5$的低頻上取得最大值，且非常集中；$G_2$上圖信號的傅里葉系數在等于$1$的頻率上取得最大值；$G_3$上圖信號的傅里葉系數在大于$1$的頻率上取得最大值，且在中高頻分量上有著更高的強度。上下兩排圖分別從空域和頻域描述了3組信號的平滑度，當然這種比較也可以從總變差的計算中得出： $$\begin{aligned}&\boldsymbol x^\text{T} L_1 \boldsymbol x=0.14，\\&\boldsymbol x^\text{T} L_2 \boldsymbol x=1.31，\\&\boldsymbol x^\text{T} L_3 \boldsymbol x=1.81。\end{aligned}$$

參考文獻

---

[1] 劉忠雨, 李彥霖, 周洋.《深入淺出圖神經網絡: GNN原理解析》.機械工業出版社. ??

[2] 拉普拉斯矩講解:https://blog.csdn.net/qq_30159015/article/details/83271065 ??

[3] D. I. Shuman, S. K. Narang, P. Frossard, A. Ortega and P. Vandergheynst, “The emerging field of signal processing on graphs: Extending high-dimensional data analysis to networks and other irregular domains,” in IEEE Signal Processing Magazine, vol. 30, no. 3, pp. 83-98, May 2013, doi: 10.1109/MSP.2012.2235192. ??

[4] D. I. Shuman, S. K. Narang, P. Frossard, A. Ortega and P. Vandergheynst, “The emerging field of signal processing on graphs: Extending high-dimensional data analysis to networks and other irregular domains,” in IEEE Signal Processing Magazine, vol. 30, no. 3, pp. 83-98, May 2013, doi: 10.1109/MSP.2012.2235192. ??

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的图神经网络（一）图信号处理与图卷积神经网络（3）图傅里叶变换的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。