MLP GCN GAT區別與聯系

在節點表征的學習中：

• MLP節點分類器只考慮了節點自身屬性，忽略了節點之間的連接關系，它的結果是最差的；
• 而GCN與GAT節點分類器，同時考慮了節點自身屬性與周圍鄰居節點的屬性，它們的結果優于MLP節點分類器。

從中可以看出鄰居節點的信息對于節點分類任務的重要性。

基于圖神經網絡的節點表征的學習遵循消息傳遞范式：

• 在鄰居節點信息變換階段，GCN與GAT都對鄰居節點做歸一化和線性變換（兩個操作不分前后）；
• 在鄰居節點信息聚合階段都將變換后的鄰居節點信息做求和聚合；
• 在中心節點信息變換階段只是簡單返回鄰居節點信息聚合階段的聚合結果。

GCN與GAT的區別在于鄰居節點信息聚合過程中的歸一化方法不同：

• 前者根據中心節點與鄰居節點的度計算歸一化系數；

• 后者根據中心節點與鄰居節點的相似度計算歸一化系數。

• 前者的歸一化方式依賴于圖的拓撲結構，不同節點其自身的度不同、其鄰居的度也不同，在一些應用中可能會影響泛化能力。

• 后者的歸一化方式依賴于中心節點與鄰居節點的相似度，相似度是訓練得到的，因此不受圖的拓撲結構的影響，在不同的任務中都會有較好的泛化表現。
  另外，GCN利用了拉普拉斯矩陣，GAT利用attention系數。一定程度上而言，GAT會更強，因為 頂點特征之間的相關性被更好地融入到模型中。

一些問題

GCN是一種全圖的計算方式，一次計算就更新全圖的節點特征。學習的參數很大程度與圖結構相關，這使得GCN在inductive任務上遇到困境。

為什么GAT適用于有向圖？

我認為最根本的原因是GAT的運算方式是逐頂點的運算（node-wise），這一點可從公式（1）—公式（3）中很明顯地看出。每一次運算都需要循環遍歷圖上的所有頂點來完成。逐頂點運算意味著，擺脫了拉普利矩陣的束縛，使得有向圖問題迎刃而解。

為什么GAT適用于inductive任務？

GAT中重要的學習參數是 W 與 a(·) ，因為上述的逐頂點運算方式，這兩個參數僅與頂點特征相關，與圖的結構毫無關系。所以測試任務中改變圖的結構，對于GAT影響并不大，只需要改變 Ni，重新計算即可。

與此相反的是，GCN是一種全圖的計算方式，一次計算就更新全圖的節點特征。學習的參數很大程度與圖結構相關，這使得GCN在inductive任務上遇到困境。

GCN GAT GraphSAGE

GraphSAGE的提出

前面說的GCN的缺點也是很顯然易見的，第一，GCN需要將整個圖放到內存和顯存，這將非常耗內存和顯存，處理不了大圖；第二，GCN在訓練時需要知道整個圖的結構信息(包括待預測的節點), 這在現實某些任務中也不能實現(比如用今天訓練的圖模型預測明天的數據，那么明天的節點是拿不到的)。

在介紹GraphSAGE之前，先介紹一下Inductive learning和Transductive learning。注意到圖數據和其他類型數據的不同，圖數據中的每一個節點可以通過邊的關系利用其他節點的信息。這就導致一個問題，GCN輸入了整個圖，訓練節點收集鄰居節點信息的時候，用到了測試和驗證集的樣本，我們把這個稱為Transductive learning。然而，我們所處理的大多數的機器學習問題都是Inductive learning，因為我們刻意的將樣本集分為訓練/驗證/測試，并且訓練的時候只用訓練樣本。這樣對圖來說有個好處，可以處理圖中新來的節點，可以利用已知節點的信息為未知節點生成embedding，GraphSAGE就是這么干的。

GraphSAGE是一個Inductive Learning框架，具體實現中，訓練時它僅僅保留訓練樣本到訓練樣本的邊，然后包含Sample和Aggregate兩大步驟，Sample是指如何對鄰居的個數進行采樣，Aggregate是指拿到鄰居節點的embedding之后如何匯聚這些embedding以更新自己的embedding信息。下圖展示了GraphSAGE學習的一個過程

第一步，對鄰居采樣（k=1，第一跳最多采樣3個；k=2，第二跳最多采樣兩個)
第二步，采樣后的鄰居embedding傳到節點上來，并使用一個聚合函數聚合這些鄰居信息以更新節點的embedding（從最內層開始更新，總共對紅色節點更新兩次）
第三步，根據更新后的embedding預測節點的標簽

GrapgSage優點

（1）利用采樣機制，很好的解決了GCN必須要知道全部圖的信息問題，克服了GCN訓練時內存和顯存的限制，即使對于未知的新節點，也能得到其表示
（2）聚合器和權重矩陣的參數對于所有的節點是共享的
（3）模型的參數的數量與圖的節點個數無關，這使得GraphSAGE能夠處理更大的圖
（4）既能處理有監督任務也能處理無監督任務

Graph Attention Networks(GAT)

為了解決GNN聚合鄰居節點的時候沒有考慮到不同的鄰居節點重要性不同的問題，GAT借鑒了Transformer的idea，引入masked self-attention機制，在計算圖中的每個節點的表示的時候，會根據鄰居節點特征的不同來為其分配不同的權值。

GAT優點

（1）訓練GCN無需了解整個圖結構，只需知道每個節點的鄰居節點即可
（2）計算速度快，可以在不同的節點上進行并行計算
（3）既可以用于Transductive Learning，又可以用于Inductive Learning，可以對未見過的圖結構進行處理

三者特點

GCN：訓練是 full-batch 的，難以擴展到大規模網絡，并且收斂較慢；

GAT：參數量比 GCN 多，也是 full-batch 訓練；只用到 1-hop 的鄰居，沒有利用高階鄰居，當利用 2 階以上鄰居，容易發生過度平滑（over-smoothing）；

GraphSAGE：雖然支持 mini-batch 方式訓練，但是訓練較慢，固定鄰居數目的 node-wise 采樣，精度和效率較低。

三者的缺點：

1.GCN 的缺點在于它靈活性差，transductive，并且擴展性非常差，除此之外這篇論文借助驗證集來早停幫助性能提升，跟它半監督學習的初衷有點相悖。

2.GraphSage 這篇論文旨在提升 gcn 擴展性和改進訓練方法缺陷。它將模型目標定于學習一個聚合器而不是為每個節點學習到一個表示，這中思想可以提升模型的靈活性和泛化能力。除此之外，得益于靈活性，它可以分批訓練，提升收斂速度。但是它的問題是因為節點采樣個數隨層數指數增長，會造成模型在 time per batch 上表現很差，弱于 GCN，這方面的詳細討論可以參考 Cluster-GCN 這篇論文。

3.GAT 這篇論文創新之處是加入 attention 機制，給節點之間的邊以重要性，幫助模型學習結構信息。相對的缺點就是訓練方式不是很好，其實這個模型可以進一步改，用 attention 做排序來選取采樣節點，這樣效果和效率方面應該會有提升。

共同缺點

這三種模型針對的圖結構都是 homogeneous 的，也就是只有同一種節點和連邊，如果是異質網絡（heterogeneous）則不能直接處理。能解決的任務目前來說主要是通過 embedding 做節點分類和連邊預測。

三者應用方面區別

GCN 和 GraphSAGE 均是各向同性的網絡結構，某些情況下學習表示的能力較差一些，只能用于無向圖。而 GAT 是各向異性的，考慮了各個鄰居節點的權重，可以用于有向圖。

GCN 和 GAT 在最開始被提出來的時候，是不考慮自身節點信息的，因此性能比較差，后來人們對圖矩陣增加自環的方式來一定程度上緩解這個問題。而 GraphSAGE 被設計出來就考慮了節點本身的信息。

BenchmarkGNN 文章在各個任務上對這幾種方法進行了比較，GCN 是性能最差的，GAT 性能介于中間，GraphSAGE 性能較好。另外 GCN 和 GAT 均可以使用殘差連接的方式來提升性能。

參考：

MLP GCN GAT
GCN與GAT之間的重要聯系和區別
GCN, GAT, GraphSAGE對比【整理】
圖神經網絡入門必讀: 一文帶你梳理GCN, GraphSAGE, GAT, GAE, Pooling, DiffPool

總結

以上是生活随笔為你收集整理的MLP，GCN，GAT，GraphSAGE， GAE， Pooling，DiffPool的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。