Semi-Supervised Classification with Graph Convolutional Networks

1、四個問題

要解決什么問題？

• 半監督任務。給定一個圖，其中一部節點已知標簽，剩下的未知，要對整個圖上的節點進行分類。

用了什么方法解決？

• 提出了一種卷積神經網絡的變種，即提出了一種新的圖卷積方法。
• 使用譜圖卷積（spectral graph convolution）的局部一階近似，來確定卷積結構。
• 所提出的的網絡可以學習圖上局部結構的特征，并進行編碼。

效果如何？

• 在引文網絡（citation network）和知識圖譜（knowledge graph）等的數據集上比其之前的方法效果更好。

還存在什么問題？

• 最大的問題就是對GPU顯存的占用較大，要使用較大規模的圖來訓練網絡只能用CPU替代。
• 文中的模型只是為無向圖設計的，并不支持對邊特征的提取。盡管能夠將一個有向圖看做一個無向加權聯合圖，但這個模型對于有向圖的支持能力還是有限。

2、論文概述

1、簡介

• 使用神經網絡$f(X,A)$對圖的結構進行編碼，對所有帶標簽的節點進行有監督訓練。
• $X$是輸入數據，$A$是圖鄰接矩陣。
• 在圖的鄰接矩陣上調整$f(?)$能讓模型從監督損失$L_0$。

2、圖上的快速近似卷積

• 圖卷積的前向傳播公式：

$$H^{(l+1)}=\sigma ({\tilde{D}}^{?\frac{1}{2}}\tilde{A}{\tilde{D}}^{?\frac{1}{2}}{H}^{(l)}{W}^{(l)})\text{\hspace{1em}(1)}$$

• $ \tilde{A} = A + I_N $ 是無向圖$G$的自環鄰接矩陣。
• $I_N$是單位矩陣。
• $ \tilde{D}{ii} = \sum_j \tilde{A}{ij} $ 是$\tilde{A}$的度矩陣。
• $W^{(l)}$是可訓練的權重矩陣，即網絡的參數。
• $\sigma (?)$是激活函數，比如ReLU。
• $H^{(l)}\in {\mathbb{R}}^{N\times D}$是第$l$層的激活矩陣，即網絡的輸出。$H^{(0)}=X$，第一層為輸入。

2、譜圖卷積

2.1、原始GCN

• 將圖卷積通過傅里葉變換拓展到圖的頻域中。
• 對于一個輸入信號$x\in {\mathbb{R}}^N$，在傅里葉域中取一個$\theta \in {\mathbb{R}}^N$為參數的濾波器$g_{\theta }=diag(\theta )$：
• $$g_{\theta }?x=U{g}_{\theta }{U}^{?}x\text{\hspace{1em}(2)}$$
  • $U$是圖的拉普拉斯矩陣$L$的特征向量矩陣。
  • 拉普拉斯矩陣：$L=I_N?D^{?\frac{1}{2}}A{D}^{?\frac{1}{2}}=U\Lambda U^T$。
    • $\Lambda$是拉普拉斯矩陣$L$的特征值組成的對角矩陣。
    • $U^{T}x$就是圖上的傅里葉變換。
  • 也可以將$g_{\theta }$看成是拉普拉斯矩陣$L$的一系列特征值組成的對角矩陣$g_{\theta }(\Lambda )$。
  • 公式(2)中做的事就是，借助傅里葉變換，將原始信號$x$變換到頻域，在頻域乘上一個信號，再做傅里葉逆變換還原到空域。由傅里葉變換的特性有，在頻域相乘相當于空域卷積，這樣就回避了空域上對不確定結構的圖進行卷積的問題。
• 這是最原始的GCN，但是這套方法的缺點就是計算非常復雜，每次需要對矩陣進行分解，如果圖的規模非常大，這會帶來巨大的計算開銷。

2.2、加速版本的GCN

• 為了減少計算量，有人提出一個特殊的卷積核設計方法，即：將$g_{\theta }(\Lambda )$用切比雪夫多項式進行$K$階逼近。
• 切比雪夫多項式：
  • $T_0(x)=1$
  • $T_1(x)=x$
  • $T_k(x)=2x{T}_{k?1}(x)?T_{k?1}(x)$
• 改進的卷積核：
  • $$g_{{\theta }^{\prime }}(\Lambda )\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{\Lambda })\text{\hspace{1em}(3)}$$
    • $\tilde{\Lambda }=\frac{2}{{\lambda }_{\max }}\Lambda ?I_N$。${\lambda }_{max}$是拉普拉斯矩陣$L$中最大的特征值。
    • ${\theta }^{\prime }\in {\mathbb{R}}^K$是切比雪夫多項式的系數。
• 將該卷積核代入圖卷積的公式：
  • $$g_{{\theta }^{\prime }}?x\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{L})x\text{\hspace{1em}(4)}$$
    • $\tilde{L}=\frac{2}{{\lambda }_{\max }}L?I_N$。
    • 這個公式為拉普拉斯算子的$K$階切比雪夫多項式形式，即它受到距離中央節點$K$步以內的節點影響。
• 這里的加速版本的GCN，將參數減少到了$K$個，并且不再需要對拉普拉斯矩陣做特征分解，直接使用即可。

2.3、線性模型

• $K=1$時，模型有兩個參數，GCN公式：
• $$g_{{\theta }^{\prime }}?x\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{L})x\text{\hspace{1em}(4)}$$
• 這里的公式(4)就對應一個GCN層。
• 作者在論文中提到，通過使用這種形式的GCN，我們可以緩解模型在圖的局部結構上的過擬合。此外，很大程度上減小了計算開銷，使得我們可以堆疊多個GCN來獲得一個更深的模型，提取特征。
• 近似地認為${\lambda }_{max}\approx 2$，公式(5)可以簡化為下式：
• $$g_{{\theta }^{\prime }}?x\approx {\theta }_0^{\prime }x+{\theta }_1^{\prime }\left(L?I_N\right)x={\theta }_0^{\prime }x?{\theta }_1^{\prime }{D}^{?\frac{1}{2}}A{D}^{?\frac{1}{2}}x\text{\hspace{1em}(5)}$$
  • 這里有兩個自由參數：${\theta }_0^{\prime }$和${\theta }_1^{\prime }$。濾波器的參數在整個圖上共享。
  • 通過連續堆疊這種形式的濾波器，可以作用到卷積節點的$K$階領域上，其中$K$是卷積層的個數。
• 進一步簡化公式(5)中的模型，公式如下：
• $$g_{\theta }?x\approx \theta \left(I_N+D^{?\frac{1}{2}}A{D}^{?\frac{1}{2}}\right)x\text{\hspace{1em}(6)}$$
  • 這里令$\theta ={\theta }_0^{\prime }=?{\theta }_1^{\prime }$，將公式(5)中的兩個參數都替換成了$\theta$。
  • 但是，這里的$I_N+D^{?\frac{1}{2}}A{D}^{?\frac{1}{2}}$的特征值范圍為$[0,2]$，這可能會導致數值不穩定和梯度消失/爆炸。所以還需要增加一步歸一化操作。
  • 歸一化：
    • $$I_N+D^{?\frac{1}{2}}A{D}^{?\frac{1}{2}}\to {\tilde{D}}^{?\frac{1}{2}}\tilde{A}{\tilde{D}}^{?\frac{1}{2}}$$
    • $$\tilde{A}=A+I_N$$
    • $${\tilde{D}}_{ii}=\sum _j{\tilde{A}}_{ij}$$
• 現在可以將卷積操作推廣到信號$X\in {\mathbb{R}}^{C\times F}$，輸入通道數為$C$，有$F$個濾波器。推廣的圖卷積形式如下：
• $$Z={\tilde{D}}^{?\frac{1}{2}}\tilde{A}{\tilde{D}}^{?\frac{1}{2}}X\Theta \text{\hspace{1em}(7)}$$
  • $\Theta \in {\mathbb{R}}^{C\times F}$是濾波器的參數矩陣。
  • $Z\in {\mathbb{R}}^{N\times F}$是卷積后輸出的信號矩陣。

3、半監督節點分類

• 回到半監督任務上，前面介紹了優化后的圖卷積結構。在現在的半監督任務中，作者希望通過已知的數據$X$和鄰接矩陣$A$來訓練圖卷積網絡$f(X,A)$。 作者認為，在鄰接矩陣中包含了一些$X$中沒有的隱含的圖的結構信息，而我們可以利用這些信息進行推理。
• 下圖中，左圖是一個GCN網絡示意圖，輸入有$C$維特征，輸出有$F$維特征，中間有若干隱藏層，$X$是訓練數據，$Y$是標簽。右圖是使用一個兩層GCN在Cora數據集上（只是用了5%的標簽）得到的可視化結果。

3.1、實例

• 在預處理中，首先計算好：$\hat{A}={\tilde{D}}^{?\frac{1}{2}}\tilde{A}{\tilde{D}}^{?\frac{1}{2}}$。
• 然后，前向傳播的模型可以寫成下式：
• $$Z=f(X,A)=\mathrm{softmax}\left(\hat{A}\mathrm{ReLU}\left(\hat{A}X{W}^{(0)}\right)W^{(1)}\right)\text{\hspace{1em}(8)}$$
  • 這是一個很簡單的兩層GCN。
  • $W^{(0)}\in {\mathbb{R}}^{C\times H}$是輸入到隱藏層的權重矩陣，隱藏層上的特征維度是$H$。
  • $W^{(1)}\in {\mathbb{R}}^{H\times F}$是隱藏層到輸出的權重矩陣。
  • $softmax$就不多說了。
• 損失函數采用交叉熵，評估所有有標簽的數據：
• $$\mathcal{L}=?\sum _{l\in {\mathcal{Y}}_L}\sum _{f=1}^F{Y}_{lf}\ln Z_{lf}\text{\hspace{1em}(9)}$$
• ${\mathcal{Y}}_L$為帶標簽節點組成的集合。
• 訓練：SGD，引入了BN和Dropout。

4、實驗

• 數據集描述：
• 半監督分類準確率：

3、參考資料

• Semi-Supervised Classification with Graph Convolutional Networks

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的论文笔记：Semi-Supervised Classification with Graph Convolutional Networks的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。