论文阅读：Graph Contrastive Learning with Augmentations
Abstract
圖結構數據上的廣義、可轉移和魯棒表示學習仍然是當前圖神經網絡(GNNs)面臨的一個挑戰。與用于圖像數據的卷積神經網絡(CNNs)不同，對gnn的自我監督學習和預訓練的探索較少。在本文中，我們提出了一個圖對比學習(GraphCL)框架來學習圖數據的無監督表示。首先，我們設計了四種圖增廣來包含各種先驗。然后，我們在四種不同的設置中系統地研究了圖增強的各種組合對多個數據集的影響:半監督、無監督、遷移學習以及對抗性攻擊。結果表明，即使不調優擴展范圍，也不使用復雜的GNN架構，我們的GraphCL框架可以產生與最先進的方法相比具有相似或更好的泛化性、可轉移性和魯棒性的圖表示。我們還研究了參數化圖擴展范圍和模式的影響，并在初步實驗中觀察進一步的性能提高。
Introduction
Methodology
Data Augmentation for Graphs
- Node dropping:?隨機從圖中去除掉部分比例的節點及其邊，每個節點丟棄的概率服從 i.i.d 的均勻分布
- Edge perturbation:?隨機增加或刪除一定比例的邊，每個邊的增加或者刪除的概率亦服從 i.i.d 的均勻分布
- Attribute masking:?隨機去除部分節點的屬性信息，迫使模型使用上下文信息來重新構建被屏蔽的頂點屬性。
- Subgraph:?使用隨機游走的方式從G中提取子圖的方法。
Graph Contrastive Learning
主要框架：
組成部分：
- 圖數據增強
- 基于 GNN 的編碼器
- 投影頭
- 對比損失
Graph data augmentation
? ?前面4 種數據增強方式，如
- Node dropping:
- Edge perturbation
- Attribute masking
- Subgraph
GNN-based encoder
GNNs 框架：
聚合步：即信息傳遞階段，該階段會多次執行信息傳遞過程。
? ? ? ?輸出：?
? 通過一個讀取函數 READOUT 得到兩個視圖的圖級表示向量?hi?和?hj?。
?Projection head
對上述生成的圖數據表示?hi和?hj?，使用一個非線性變換投影頭?g(?)?（即：雙層的 MLP）?將其潛在空間轉換到?zi，zj。
Contrastive loss function
在 GNN 預訓練過程中，對一小批??N? 個圖進行隨機采樣并通過對比學習處理，得到??2N? 個增廣圖和相應的對比損失進行優化，我們將小批圖中的第??n? 個圖重新注釋為? Zn,i，Zn,j? 。負對不是顯式采樣的，而是來自相同小批中的其他??N?1? 增廣圖。將第??n? 個圖的余弦相似函數表示 為?
?第??n? 個圖的 NT-Xent 定義為:
其中?τ 是 temperature parameter。
顯然上述過程是圖級對比損失。
損失函數可以重新寫為：
?
Experiment
文章的實驗分為兩部分，分別討論數據增強對GraphCL效果的影響以及比較GraphCL與SOTA圖標是學習方法的性能。
數據增強在圖對比學習中的作用
這部分實驗評估了采用之前提出的四種數據增強方法的圖對比學習框架在半監督圖分類任務上的效果。在半監督設定下，模型的訓練采用pre-training加finetuning的方法，采用的數據集包括Biochemical Molecules以及Social Networks兩類。通過實驗得到了文章所提出的預訓練方法相對于learn from scratch方法的性能提升(Fig 2)
?
實驗主要討論了三部分內容：
1. 數據增強對于圖對比學習的效果具有關鍵作用
A.加入數據增強有效提升了 GraphCL 的效果
- 通過觀察 Figure 2 中每個數據圖實驗結果中的最上一行與最右一列可以發現采用數據增強能有效提升 GraphCL 的分類準確度。這是由于應用適當的數據增強會對數據分布注入相應的先驗，通過最大化圖與其增強圖之間的一致性，使模型學習得到的表示對擾動具有不變性。
B.組合不同數據增強方式對算法效果提升更大
- 通過觀察 Figure 2 發現每個數據集上采用相同數據增強方式構建的樣本對所對應的結果均不是該數據集上的最優結果，而每個數據集上的最優結果均采用不同數據增強組合的方式。文章給出的解釋是，采用不同數據增強組合的方式避免了學習到的特征過于擬合低層次的“shortcut”，使特征更加具有泛化性。同時通過 Figure 3 發現當采用不同數據增強方式組合時，相比于單一數據增強時的對比誤差下降的更慢，說明不同數據增強組合的方式意味著”更難“的對比學習任務。
?2、數據增強的類型，強度以及模式對 GraphCL 效果的影響
我們注意到，增強類型的(最)有益組合可以是特定于數據集的，這與我們的直覺相匹配，因為圖結構數據具有高度異構的性質.
A、Edge perturbation 的方式對于 Social Network 有效但在部分 biochemical Molecules 數據集上反而有負面效果
? ? ? 通過 Figure 2 可以看出Edge perturbation的數據增強方式在除 NCI1 之外的三個數據集上均有較好的效果，但是在 NCI1 上的效果反而比 baseline 算法差。這是由于對 NCI1 中的網絡的語義對于邊的擾動更加敏感，對網絡中邊進行修改可能會改變分子的性質從而破壞網絡語義，進而影響下游任務。針對 Edge perturbation 的強度，從 Figure 4 中可以得出，在 COLLAB 數據集上，算法性能隨 Edge perturbation 的強度增加而提升，但在 NCI1 數據集上，Edge perturbation 強度對算法效果無明顯影響。
B、Attribute masking的方式在更“密集“的圖數據上能取得更好效果
? ? ?從 Figure 2 中可以發現Attribute masking的增強方式在平均度更高的數據集上具有更好的性能增益（例如COLLAB），而在平均度較低的數據集上增益明顯減小。文章對這個結果做出的假設是，當圖數據越密集時，意味著 Attribute masking 之后模型仍然有足夠的其他數據來重建被屏蔽的數據，而反之則難以重建。在強度方面，通過增加Attribute masking的強度可以在更“密集”的數據集上提升算法效果。
C、Node dropping 和 Subgraph 的方式對所有數據集都有效?
上述兩種方式，尤其是 Subgraph 的數據增強方式在實驗中的數據集上都能給圖對比學習算法帶來性能增益。Node dropping有效的原因是，在許多圖數據中去掉部分節點并不影響整圖的語義。而對于 Subgraph 的方式，之前的相關研究已經說明了采用 Local-Global 的對比學習方式訓練圖表示是有效的。
3、相對于“更難”的任務，過于簡單的對比任務對算法性能提升沒有幫助
“更難”的任務有利于提升GraphCL的效果，這里包含兩種情況，一種是將不同的數據增強方法進行組合，另一種是增加數據增強的強度或者提高增強模式的難度，例如采用更高的概率進行Node dropping，或者采用均勻分布之外的復雜分布進行 Node dropping。
GraphCL與SOTA算法的性能對比
在這部分實驗中，文章對比了 GraphCL 與 SOTA 的圖表示方法在四種setting下的圖分類任務中的性能，包括半監督、無監督、遷移學習以及對抗攻擊setting。具體實驗設置詳見原文。在半監督、無監督、遷移學習任務中，GraphCL 在大部分數據集上的分類準確率都達到了 SOTA ，在對抗攻擊setting下，實驗結果表明GraphCL增強了模型的魯棒性。
1.半監督任務
我們將兩種傳統的網絡嵌入方法作為預訓練任務進行比較:鄰接信息重建和局部和全局表示一致性強制。此外，報告了從無到有訓練和增強訓練(無對比)的表現。我們采用[63]中默認設置的圖卷積網絡(GCN)作為基于gnn的編碼器，在全監督設置下可以達到與SOTA性能相當的性能。表3顯示，GraphCL優于傳統的訓練前方案。
2.?無監督任務?
比較從圖核學習的圖表示、SOTA 表示學習方法和用 GraphCL 預訓練的 GIN 的分類精度。
?
3.??遷移學習任務?
不同人工設計預訓練方案的遷移學習比較
?
4.對抗魯棒性測試任務
GNN在三種不同深度對抗攻擊下的對抗性能
4 Conclusion
在本文中，我們探索針對GNN預訓練的對比學習，因為它面臨著圖結構化數據中的獨特挑戰。 首先，提出了幾種圖形數據擴充方法，并在介紹某些特定的人類數據分布先驗的基礎上進行了討論。 隨著新的擴充，我們為GNN預訓練提出了一種新穎的圖對比學習框架（GraphCL），以促進不變表示學習以及嚴格的理論分析。 我們系統地評估和分析了我們提出的框架中數據擴充的影響，揭示了其原理并指導了擴充的選擇。 實驗結果驗證了我們提出的框架在通用性和魯棒性方面的最新性能。
?
總結
以上是生活随笔為你收集整理的论文阅读：Graph Contrastive Learning with Augmentations的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 批量创建对象的四种模式
- 下一篇： 综合工具-DesignCompiler学