GNN（圖神經(jīng)網(wǎng)絡(luò)）

• 圖卷積的譜方法
• • 圖（Graph）
  • 圖拉普拉斯矩陣（Graph Laplacian）
  • 正則化的圖拉普拉斯矩陣（Normalized graph Laplacian）
  • 圖傅里葉基（Fourier basis of graph $G$）
  • 圖傅里葉變換（Graph Fourier transform）
  • 譜域的卷積定理（Convolution theorem）
  • 譜域的圖卷（Spectral Graph CNN）
  • 切比雪夫多項(xiàng)式近似圖卷積核（ChebyNet）
  • 圖小波神經(jīng)網(wǎng)絡(luò)（Graph wavelet neural network-GWNN）
• 圖卷積的空間方法
• • 初步的圖重構(gòu)的方法
  • GraphSAGE
  • Graph Convolution Network-GCN
  • Graph Attention Network-GAT
  • 普通的空間方法框架-MoNet
• 圖卷積譜方法和空間方法的關(guān)系
• • 譜方法是空間方法的特例
  • 圖的卷積核
  • 改進(jìn)切比雪夫方法
  • 方法對(duì)比
• 圖池化（Graph Pooling）
• • 圖粗化（Graph coarsening）
  • 節(jié)點(diǎn)選擇（Node selection）

拉普拉斯矩陣示例
視頻地址

圖卷積的譜方法

圖（Graph）

$$\mathbf{G}=(\mathbf{V},\mathbf{E},\mathbf{W})$$

• $\mathbf{V}?節(jié)點(diǎn)的集合$
• $\mathbf{E}?邊的集合$
• $\mathbf{W}?權(quán)重的集合,\mathbf{W}\in {\mathbf{R}}^{\mathbf{n}\times \mathbf{n}}$
• $\mathbf{X}?節(jié)點(diǎn)的特征矩陣,\mathbf{X}\in {\mathbf{R}}^{\mathbf{n}\times \mathbf{d}}$
  每個(gè)節(jié)點(diǎn)都有d維的特征，X為節(jié)點(diǎn)的特征矩陣，X的每一列可以看作定義在n個(gè)節(jié)點(diǎn)的圖上的信號(hào)。（信號(hào)處理）

圖拉普拉斯矩陣（Graph Laplacian）

定義了圖上的導(dǎo)數(shù)，刻畫了信號(hào)在圖上的平滑程度。
$$\mathbf{L}=\mathbf{D}?\mathbf{W}$$

• $\mathbf{D}?度矩陣，{\mathbf{D}}_{\mathbf{i}\mathbf{i}}={\sum }_{\mathbf{j}}{\mathbf{W}}_{\mathbf{i}\mathbf{j}}$
• $\mathbf{W}?權(quán)值矩陣$

正則化的圖拉普拉斯矩陣（Normalized graph Laplacian）

$$\mathbf{L}=\mathbf{I}?{\mathbf{D}}^{?\frac{1}{2}}\mathbf{W}{\mathbf{D}}^{?\frac{1}{2}}$$
$\mathbf{I}$為單位矩陣，$\mathbf{L}$的每個(gè)元素如下：
$${\mathbf{L}}_{\mathbf{i},\mathbf{j}}:=?\begin{array}{ll}1& \text{?if?}i=j\text{?and?}\mathrm{deg}\left(v_i\right)=0\\ ?\frac{1}{\sqrt{\mathrm{deg}\left(v_i\right)\mathrm{deg}\left(v_j\right)}}& \text{?if?}i=j\text{?and?}{v}_i\text{?is?adjacent?to?}{v}_j\\ 0& \text{?otherwise.?}\end{array}$$

圖傅里葉基（Fourier basis of graph $G$）

假如圖上有n個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)有一個(gè)取值，圖上的一個(gè)信號(hào)就是一個(gè)n維度的向量，我們需要把這個(gè)n維度的向量變換到新的域里邊去，那就需要一組基，這組基呢就是拉普拉斯矩陣的n個(gè)特征向量。它的n個(gè)特征向量就構(gòu)成了一個(gè)n維空間，且n個(gè)特征向量正交的，這是由拉普拉斯矩陣性質(zhì)決定的。我們所需要做的就是把這信號(hào)x投影在這n個(gè)基上，就相當(dāng)于$x在u_1的投影=x?u_1$，x在新的這組基下的投影$\mathbf{x}={\mathbf{U}}^T\mathbf{x}$，$\mathbf{x}$就是這個(gè)原始信號(hào)在譜域的表達(dá)。如何轉(zhuǎn)換回，需要對(duì)其進(jìn)行逆變換$x=Ux$。

• $U={\left\{{\mathbf{u}}_{\mathbf{l}}\right\}}_{\mathbf{l}=1}^{\mathbf{n}}?\mathbf{L}的正交特征向量的集合$
• ${\left\{{\mathbf{\lambda }}_{\mathbf{l}}\right\}}_{\mathbf{l}=1}^{\mathbf{n}}?\mathbf{L}的非負(fù)特征值的集合$
• 圖拉普拉斯L可對(duì)角化：$$\begin{array}{c}L=U\Lambda U^T\\ \text{?where?}U=\left[{\mathbf{u}}_1,?,{\mathbf{u}}_n\right],\text{?and?}\Lambda =\mathrm{diag}\left(\left[{\lambda }_1,?,{\lambda }_n\right]\right)\end{array}$$

圖傅里葉變換（Graph Fourier transform）

圖傅里葉變換：
$$\mathbf{x}={\mathbf{U}}^T\mathbf{x}$$
圖傅里葉逆變換：
$$\mathbf{x}=\mathbf{U}\mathbf{x}$$

譜域的卷積定理（Convolution theorem）

兩個(gè)信號(hào)的卷積，可以看成他們傅里葉變換后的點(diǎn)積。
根據(jù)卷積定理，給定一個(gè)x作為輸入，y作為卷積核，圖卷積${?}_G$可表示為
【對(duì)整體進(jìn)行傅里葉逆變換（（對(duì)x進(jìn)行傅里葉變換）點(diǎn)乘（對(duì)y進(jìn)行傅里葉變換））】

$$\mathbf{x}{?}_{\mathbf{G}}\mathbf{y}=\mathbf{U}\left(\left({\mathbf{U}}^{\mathbf{T}}\mathbf{x}\right)\odot \left({\mathbf{U}}^{\mathbf{T}}\mathbf{y}\right)\right)$$

• ${\mathbf{U}}^{\mathbf{T}}\mathbf{y}?在譜域上的卷積核$

所以可進(jìn)一步表示為：
$$\mathbf{x}{?}_{\mathbf{G}}\mathbf{y}=\mathbf{U}{\mathbf{g}}_{\theta }{\mathbf{U}}^{\mathbf{T}}\mathbf{x}$$

譜域的圖卷（Spectral Graph CNN）

h-非線性變換。

切比雪夫多項(xiàng)式近似圖卷積核（ChebyNet）

圖小波神經(jīng)網(wǎng)絡(luò)（Graph wavelet neural network-GWNN）

圖卷積的空間方法

初步的圖重構(gòu)的方法

GraphSAGE

Graph Convolution Network-GCN

Graph Attention Network-GAT

普通的空間方法框架-MoNet

圖卷積譜方法和空間方法的關(guān)系

譜方法是空間方法的特例

圖的卷積核

信號(hào)變換的過程

改進(jìn)切比雪夫方法

方法對(duì)比

圖池化（Graph Pooling）

圖粗化（Graph coarsening）

節(jié)點(diǎn)選擇（Node selection）

總結(jié)

以上是生活随笔為你收集整理的【论文知识点笔记】GNN概述（图神经网络概述）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。