🚀 優質資源分享 🚀

學習路線指引（點擊解鎖）知識定位人群定位

🧡 Python實戰微信訂餐小程序 🧡	進階級	本課程是python flask+微信小程序的完美結合，從項目搭建到騰訊云部署上線，打造一個全棧訂餐系統。
💛Python量化交易實戰💛	入門級	手把手帶你打造一個易擴展、更安全、效率更高的量化交易系統

論文信息

論文標題：Label-invariant Augmentation for Semi-Supervised Graph Classification論文作者：Han Yue, Chunhui Zhang, Chuxu Zhang, Hongfu Liu論文來源：2022，NeurIPS論文地址：download論文代碼：download

1 Introduction

我們提出了一種圖對比學習的標簽不變增強策略，該策略涉及到下游任務中的標簽來指導對比增強。值得注意的是，我們不生成任何圖形數據。相反，我們在訓練階段直接生成標簽一致的表示作為增廣圖。

2 Methodology

2.1 Motivation

數據增強在神經網絡訓練中起著重要的作用。它不僅提高了學習表示的魯棒性，而且為訓練提供了豐富的數據。

例子：（使用 505050% 的標簽做監督信息。數據增強：node dropping, edge perturbation, attribute masking, subgraph sampling）

顯然有些數據增強策略（或組合）對于模型訓練又負面影響。本文進一步使用 MUTAG 中的 100100100% 標簽訓練模型，然后以每種數據增強抽樣概率 0.20.20.2 選擇數據增強圖，發現 80% 的數據增強圖和原始圖標簽一致，約 202020% 的數據增強圖和原始圖標簽不一致。

2.2 Label-invariant Augmentation

整體框架：

四個組成部分：

• • Graph Neural Network Encoder
    • Classifier
    • Label-invariant Augmentation
    • Projection Head

出發點：對于一個有標記的圖，我們期望由增強表示預測的標簽與地面真實標簽相同。

2.2.1 Graph Neural Network Encoder

GCN layer?:

G(l+1)=σ(D_?12AD_{?12G(l)θ(l)G)(1)G(l+1)=σ(D}?12A_D?12G(l)θG(l))(1)G^{{(l+1)}=\sigma\left(\tilde{D}}{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} G^{(l)} \theta_{G}^{(l)}\right)\quad\quad\quad\quad(1)
　　其中：

• • G(l)G(l)G^{(l)} denotes the matrix in the l -th layer, and G(0)=XG(0)=XG^{(0)}=X
    • σ(?)=ReLU(?)σ(?)=ReLU?(?)\sigma(\cdot)=\operatorname{ReLU}(\cdot)

池化 (sum)：

H=Pooling(G)(2)H=Pooling?(G)(2)H=\operatorname{Pooling}(G)\quad\quad\quad\quad(2)

2.2.2 Classifier

基于圖級表示，我們使用帶有參數 θCθC\theta_{C} 的全連接層進行預測：

C(l+1)=Softmax(σ(C(l)?θ(l)C))(3)C(l+1)=Softmax?(σ(C(l)?θC(l)))(3)C^{{(l+1)}=\operatorname{Softmax}\left(\sigma\left(C}{(l)} \cdot \theta_{C}^{(l)}\right)\right)\quad\quad\quad\quad(3)

其中，C(l)C(l)C^{(l)} 表示第 lll 層的嵌入，輸入層 C(0)=HOC(0)=HOC^{(0)}=H{O} 或 C(0)=HAC(0)=HAC^{(0)}=H{A} 分別表示原始表示和增強圖表示。實驗中，采用了一個 2 層多層感知器，得到了對原始表示 HOHOH^{O} 和增強表示 HAHAH^{A} 的預測 COCOC^{O} 和 CACAC^{A}。

2.2.3 Label-invariant Augmentation

不對圖級表示做數據增強，而是在原始圖級表示HOHOH^{O}上做微小擾動得到增強圖級表示。

在實驗中，首先計算所有圖的原始表示的質心，得到每個原始表示與質心之間的歐氏距離的平均值為 ddd，即：

d=1N∑Ni=1∥∥HOi?1N∑Nj=1HOj∥∥(4)d=1N∑i=1N‖HiO?1N∑j=1NHjO‖(4)d=\frac{1}{N} \sum_{i=1}^{{N}\left|H_{i}}{O}-\frac{1}{N} \sum_{j=1}^{N} H_{j}^{O}\right|\quad\quad\quad\quad(4)

然后計算增強圖表示 HAHAH^{A}：

HA=HO+ηdΔ(5)HA=HO+ηdΔ(5)H^{A}=H{O}+\eta d \Delta\quad\quad\quad\quad(5)

其中 ηη\eta 縮放擾動的大小，ΔΔ\Delta 是一個隨機單位向量。

為實現標簽不變增強，每次，隨機生成多個擾動，并選擇符合標簽不變屬性的合格候選增強。在這些合格的候選對象中，選擇了最困難的一個，即最接近分類器的決策邊界的一個，以提高模型的泛化能力。

2.2.4 Projection Head

使用帶有參數 θPθP\theta_{P} 的全連接層，從圖級表示中得到對比學習的投影，如下所示：

P(l+1)=σ(P(l)?θ(l)P)(6)P(l+1)=σ(P(l)?θP(l))(6)P^{{(l+1)}=\sigma\left(P}{(l)} \cdot \theta_{P}^{(l)}\right)?\quad\quad\quad\quad(6)

采用一個 2 層多層感知器，從原始表示 HOHOH^{O} 和增廣表示 HAHAH^{A} 中得到投影 POPOP^{O} 和 PAPAP^{A}。

2.2.5 Objective Function

目標函數包括對比損失和分類損失。對比損失采用 NT-Xent，但只保留正對部分如下：

LP=?(PO)?PA∥∥PO∥∥∥∥PA∥∥(7)LP=?(PO)?PA‖PO‖‖PA‖(7)\mathcal{L}_{P}=\frac{-\left(P^{O}\right){\top} P^{A}}{\left|P{O}\right|\left|P^{A}\right|}?\quad\quad\quad\quad(7)

對于分類損失，采用交叉熵，其定義為：

LC=?∑ci=1(YOilogPOi+YOilogPAi)(8)LC=?∑i=1c(YiOlog?PiO+YiOlog?PiA)(8)\mathcal{L}_{C}=-\sum_{i=1}^{{c}\left(Y_{i}}{O} \log P_{i}^{O}+Y_{i}{O} \log P_{i}^{A}\right)?\quad\quad\quad\quad(8)

其中，YOYOY^{O} 是輸入圖的標簽，ccc 是圖類別的數量。本文只計算帶標簽的圖的 LCLC\mathcal{L}_{C}。ClassifierClassifier\text{Classifier}? 的改進將有助于標簽不變的增強，反過來有利于分類器的訓練。

結合等式 Eq.7Eq.7\text{Eq.7} 和?Eq.8Eq.8\text{Eq.8}?，總體目標函數可以寫成如下：

minΘLP+αLC(9)minΘLP+αLC(9)\underset{\Theta}{\text{min}} \quad\mathcal{L}_{P}+\alpha \mathcal{L}_{C}\quad\quad\quad\quad(9)

3 Experiments

3.1 Datasets
　　

3.2 Semi-supervised graph classification results

3.3?Algorithmic Performance

3.4 In-depth Exploration

Negative Pairs

現有的圖對比學習方法將來自不同源樣本的增廣圖視為負對，并對這些負對采用實例級判別。由于這些方法分離了 pre-train 階段和 fine-tuning 階段，因此負對包含了來自不同源樣本的增強樣本，但在下游任務中具有相同的類別。

Figure?4(a) 顯示了我們在四個數據集上有負對和沒有負對的 GLA 的性能。可以看到，與沒有負對的默認設置相比，有負對的性能顯著下降，而負對在所有四個數據集上都表現一致。與現有的圖對比方法不同，GLA 集成了預訓練階段和微調階段，其中以自監督的方式設計的負對不利于下游任務。這一發現也與最近的[10,9]在視覺對比學習領域的研究結果相一致。

4 Conclusion

本文研究了圖的對比學習問題。從現有的方法和訓練前的方法不同，我們提出了一種新的圖標簽不變增強（GLA）算法，該算法集成了訓練前和微調階段，通過擾動在表示空間中進行標簽不變增強。具體來說，GLA首先檢查增廣表示是否服從標簽不變屬性，并從合格的樣本中選擇最困難的樣本。通過這種方法，GLA在不生成任何原始圖的情況下實現了對比增強，也增加了模型的泛化。在8個基準圖數據集上的半監督設置下的廣泛實驗證明了我們的GLA的有效性。此外，我們還提供了額外的實驗來驗證我們的動機，并深入探討了GLA在負對、增強空間和策略效應中的影響因素。

• 論文信息

• 1 Introduction

• 2 Methodology

• 2.1 Motivation

• 2.2 Label-invariant Augmentation

• 2.2.1 Graph Neural Network Encoder

• 2.2.2 Classifier

• 2.2.3 Label-invariant Augmentation

• 2.2.4 Projection Head

• 2.2.5 Objective Function

• 3 Experiments

• 3.3?Algorithmic Performance

• 3.4 In-depth Exploration

• 4 Conclusion

  __EOF__

  [外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-EVZe79Cv-1666458216680)(https://blog.csdn.net/BlairGrowing)]Blair - 本文鏈接： https://blog.csdn.net/BlairGrowing/p/16816493.html

• 關于博主： 評論和私信會在第一時間回復。或者直接私信我。
• 版權聲明： 本博客所有文章除特別聲明外，均采用 BY-NC-SA 許可協議。轉載請注明出處！
• 聲援博主： 如果您覺得文章對您有幫助，可以點擊文章右下角**【[推薦](javascript:void(0)😉】**一下。

總結

以上是生活随笔為你收集整理的论文解读（GLA）《Label-invariant Augmentation for Semi-Supervised Graph Classification》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。