文章目錄

• 1 摘要
• 2 引言
• 相關(guān)工作
• 3 方法
• • 3.1 特征圖產(chǎn)生器
  • • 3.1.1 特征相似圖
    • 3.1.2特征傳播圖
  • 3.2 語義圖生成器
• 4 實驗
• 5 結(jié)論

論文鏈接： http://shichuan.org/doc/100.pdf
代碼鏈接： https://github.com/Andy-Border/HGSL
作者：北京郵電大學(xué)趙建安等人
參考閱讀： https://mp.weixin.qq.com/s/hAmJdKItK8BljVGEtnU7AA
作者另一篇： NSHE
另一篇圖結(jié)構(gòu)學(xué)習(xí)方法 HGNN-AC

1 摘要

異構(gòu)圖神經(jīng)網(wǎng)絡(luò)（HGNNs）近年來受到越來越多的關(guān)注，并在許多任務(wù)中取得了優(yōu)異的性能。現(xiàn)有人類神經(jīng)網(wǎng)絡(luò)的成功依賴于一個基本假設(shè)，即原始的異構(gòu)圖結(jié)構(gòu)是可靠的。然而，這種假設(shè)通常是不現(xiàn)實的，因為現(xiàn)實中的異構(gòu)圖不可避免地會有噪聲或缺失的問題。因此，如何為異質(zhì)圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個合適的圖結(jié)構(gòu)而不是依賴于原始圖結(jié)構(gòu)是一個關(guān)鍵問題。為解決這一問題，本文首次研究了異質(zhì)圖結(jié)構(gòu)學(xué)習(xí)(Heterogeneous Graph Structure Learning)問題，并提出了HGSL框架來聯(lián)合學(xué)習(xí)適合分類的異質(zhì)圖結(jié)構(gòu)和圖神經(jīng)網(wǎng)絡(luò)參數(shù)。HGSL 通過挖掘特征相似性、特征與結(jié)構(gòu)之間的交互以及異質(zhì)圖中的高階語義結(jié)構(gòu)來生成適合下游任務(wù)的異質(zhì)圖結(jié)構(gòu)并聯(lián)合學(xué)習(xí) GNN參數(shù)。三個數(shù)據(jù)集上的實驗結(jié)果表明，HGSL 的性能優(yōu)于基線模型。

2 引言

許多真實世界的數(shù)據(jù)具有圖結(jié)構(gòu)，例如社交媒體圖、文獻(xiàn)引用圖。圖神經(jīng)網(wǎng)絡(luò)（GNN）作為一種處理圖數(shù)據(jù)的強(qiáng)大深度表示學(xué)習(xí)工具被廣泛地應(yīng)用于節(jié)點分類、圖分類以及推薦等下游任務(wù)中。最近，隨著真實世界中異質(zhì)圖應(yīng)用的激增，學(xué)者們提出了異質(zhì)圖神經(jīng)網(wǎng)絡(luò)（HGNN），并在一系列應(yīng)用上取得了優(yōu)越的效果。
大多數(shù)HGNN遵循一種消息傳遞（message passing）機(jī)制，其中節(jié)點的表示通過聚合和轉(zhuǎn)換其原始鄰居或基于元路徑鄰居的信息來學(xué)習(xí)。然而，這些方法依賴于一個基本假設(shè)，即原始異質(zhì)圖結(jié)構(gòu)良好且適合下游任務(wù)。然而，這種假設(shè)因為以下原因經(jīng)常不成立。首先，由于異質(zhì)圖通常是根據(jù)一些預(yù)先定義的規(guī)則從復(fù)雜的交互系統(tǒng)中提取得出，這些交互系統(tǒng)本身不可避免地包含了一些不確定的信息或錯誤。以推薦中的用戶-物品圖為例，用戶可能會誤點一些不需要的物品，給圖帶來噪聲信息。其次，異質(zhì)圖的提取通常要經(jīng)過數(shù)據(jù)清洗、特征提取和特征轉(zhuǎn)換等過程，這些過程通常與下游任務(wù)無關(guān)，導(dǎo)致提取的圖結(jié)構(gòu)與下游任務(wù)之間存在差距。因此，為GNN學(xué)習(xí)適合下游任務(wù)的異質(zhì)圖結(jié)構(gòu)是一個重要的問題。
最近，為了自適應(yīng)地學(xué)習(xí)gnn的圖結(jié)構(gòu)，圖結(jié)構(gòu)學(xué)習(xí)(GSL)方法(Franceschi et al. 2019;Jiang et al. 2019;Chen, Wu, and Zaki 2019;Jin等人2020)提出，其中大部分對鄰接矩陣進(jìn)行參數(shù)化，并將其與GNN參數(shù)一起對下游任務(wù)進(jìn)行優(yōu)化。然而，這些方法都是針對同構(gòu)圖設(shè)計的，不能直接應(yīng)用于異構(gòu)圖，面臨以下挑戰(zhàn):(1)異構(gòu)圖中的異構(gòu)性當(dāng)學(xué)習(xí)只有一種關(guān)系類型的同構(gòu)圖時，我們通常只需要參數(shù)化一個鄰接矩陣。然而，異構(gòu)圖由多個關(guān)系組成，每個關(guān)系反映異構(gòu)圖的一個方面。因為統(tǒng)一對待這些異質(zhì)關(guān)系必然會限制圖結(jié)構(gòu)學(xué)習(xí)的能力。如何處理這種異構(gòu)性是一個具有挑戰(zhàn)性的問題。(2)異構(gòu)圖中的復(fù)雜交互。不同的關(guān)系和節(jié)點特征具有復(fù)雜的交互作用，這推動了不同類型的底層圖結(jié)構(gòu)的形成(Zhang, Swami, and Chawla 2019)。此外，不同關(guān)系的組合進(jìn)一步形成了大量語義各異的高階關(guān)系，這也意味著不同的圖生成方式。這些因素都會影響異構(gòu)圖結(jié)構(gòu)，因此在異構(gòu)圖結(jié)構(gòu)學(xué)習(xí)中必須充分考慮這些復(fù)雜的交互作用。
在本文中，我們首次嘗試研究圖神經(jīng)網(wǎng)絡(luò)的異構(gòu)graphstructurelearning，并提出了一個新的框架HGSL。在HGSL中，聯(lián)合學(xué)習(xí)異構(gòu)圖和GNN參數(shù)，以提高節(jié)點分類性能。特別是在圖學(xué)習(xí)部分，為了捕獲不同關(guān)系生成的異構(gòu)度量，對每個關(guān)系子圖分別進(jìn)行學(xué)習(xí)。具體來說，對于每個關(guān)系，通過挖掘異構(gòu)節(jié)點特征和圖結(jié)構(gòu)中的復(fù)雜關(guān)聯(lián)，生成三種類型的候選圖，即特征相似圖、特征傳播圖和語義圖。學(xué)習(xí)到的圖進(jìn)一步融合為異構(gòu)圖并饋給GNN。對圖學(xué)習(xí)參數(shù)和GNN參數(shù)進(jìn)行聯(lián)合優(yōu)化，達(dá)到分類目標(biāo)。我們的主要貢獻(xiàn)如下:

• 合適的異構(gòu)圖結(jié)構(gòu)是HGNN成功的基本保證。據(jù)我們所知，我們第一次嘗試研究如何學(xué)習(xí)一個最優(yōu)的異構(gòu)圖結(jié)構(gòu)的GNN針對下游任務(wù)。
• 我們提出了一種具有異構(gòu)圖結(jié)構(gòu)學(xué)習(xí)的新型異構(gòu)圖神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)生成三種圖結(jié)構(gòu)(特征相似圖、特征傳播圖、語義圖)，從而全面融合最優(yōu)異構(gòu)圖用于GNN。
• 我們在三個真實世界的數(shù)據(jù)集上進(jìn)行了廣泛的實驗，以驗證HGSL與最先進(jìn)的方法的有效性。

本文首次對圖神經(jīng)網(wǎng)絡(luò)的異質(zhì)圖結(jié)構(gòu)學(xué)習(xí)進(jìn)行研究，并提出了一個異質(zhì)圖結(jié)構(gòu)學(xué)習(xí)框架HGSL。HGSL框架根據(jù)下游任務(wù)對異質(zhì)圖結(jié)構(gòu)和GNN參數(shù)進(jìn)行聯(lián)合學(xué)習(xí)。在圖結(jié)構(gòu)學(xué)習(xí)部分，HGSL分別對每個關(guān)系子圖進(jìn)行學(xué)習(xí)。具體來說，對于每一種關(guān)系，通過從異質(zhì)節(jié)點特征和圖結(jié)構(gòu)中挖掘復(fù)雜關(guān)聯(lián)，生成特征圖、和語義圖并與原始圖結(jié)構(gòu)進(jìn)一步融合成可學(xué)習(xí)的異質(zhì)圖結(jié)構(gòu)饋送給GNN。最終，圖結(jié)構(gòu)學(xué)習(xí)參數(shù)和GNN參數(shù)聯(lián)合優(yōu)化以完成節(jié)點分類任務(wù)。

相關(guān)工作

圖神經(jīng)網(wǎng)絡(luò)（GNN）
目前的GNNs一般可以分為兩類:光譜GNNs和空間GNNs(吳等2019b)。具體來說，譜GNNs基于圖譜理論學(xué)習(xí)節(jié)點表示。例如，(布魯納等人2014)通過圖拉普拉斯算子設(shè)計了傅立葉域中的圖卷積運算。然后，ChebNet (Defferrard，Bresson，and Vandergheynst 2016)利用切比雪夫多項式作為卷積濾波器來提高效率。GCN (Kipf和Welling 2017)通過使用其一階近似簡化了ChebNet。此外，(Wu等人，2019a)將圖形卷積簡化為線性模型，并且仍然獲得競爭性能。空間神經(jīng)網(wǎng)絡(luò)直接在圖上定義卷積運算，利用空間上的近鄰。例如，GAT (Velickovic等，2018)用注意機(jī)制聚集鄰域表示。GraphSAGE (Hamilton，Ying和Leskovec 2017)通過聚集來自采樣鄰居的信息來執(zhí)行歸納圖卷積。為了提高效率，FastGCN(陳、馬和肖2018)對每個卷積層執(zhí)行重要性采樣。讀者可以參考這些詳細(xì)的調(diào)查(張，崔，朱2018；吳等2019b)進(jìn)行了徹底的審查。
異構(gòu)圖神經(jīng)網(wǎng)絡(luò)（HGNN）
異構(gòu)圖神經(jīng)網(wǎng)絡(luò)是為處理無處不在的異構(gòu)數(shù)據(jù)而提出的。一些HGNNs直接在原始異構(gòu)圖上進(jìn)行圖卷積。HGAT用注意機(jī)制聚集節(jié)點和類型層次信息進(jìn)行短文本分類。HetGNN通過隨機(jī)游走對異構(gòu)鄰居進(jìn)行采樣，然后聚合節(jié)點和類型信息。為了解決元路徑選擇難題，HetSANN利用注意機(jī)制聚集投影節(jié)點的多關(guān)系信息。NSHE(趙等2020a)保留了兩兩和網(wǎng)絡(luò)模式結(jié)構(gòu)。HGT(胡等，2020)采用基于元關(guān)系的相互注意來實現(xiàn)信息傳遞的異源圖和元路徑。其他HGNN方法使用元路徑生成圖，然后應(yīng)用GNN。GraphInception(張等，2018)將圖卷積應(yīng)用于基于元路徑的同構(gòu)圖，以執(zhí)行集合分類。HAN(王等，2019b)將節(jié)點級和語義級注意力應(yīng)用于基于元路徑的圖。(云等，2019)通過堆疊多個圖形轉(zhuǎn)換器層來執(zhí)行元路徑生成，然后執(zhí)行圖形卷積。MAGNN (Fu等人，2020)對元路徑實例應(yīng)用元路徑內(nèi)和元路徑間聚合。
圖結(jié)構(gòu)學(xué)習(xí)（GSL）
為了減輕GNNs依賴于原始圖結(jié)構(gòu)的良好質(zhì)量的限制，已經(jīng)做了一些努力(張等2019b鄭等2020；楊毅、紀(jì)2019；趙等2020b王等. 2020cPei等人，2020年)。除了這些努力之外，最近還提出了圖結(jié)構(gòu)學(xué)習(xí)。GSL方法旨在聯(lián)合學(xué)習(xí)圖結(jié)構(gòu)和GNN參數(shù)。為了說明，LDS (Franceschi等人，2019)將鄰接矩陣內(nèi)的每條邊建模為一個參數(shù)，并以雙層方式將它們與GNN參數(shù)一起學(xué)習(xí)。(姜等，2019)從節(jié)點特征生成基于相似度的圖結(jié)構(gòu)。IDGL(陳，吳，扎基2019)迭代地學(xué)習(xí)這些度量以從節(jié)點特征和嵌入生成圖結(jié)構(gòu)。ProGNN(金等2020)聯(lián)合學(xué)習(xí)參數(shù)和具有圖性質(zhì)的魯棒圖結(jié)構(gòu)。然而，前面提到的這些GSL方法都是為同構(gòu)圖設(shè)計的。

3 方法

3.1 特征圖產(chǎn)生器

由于原始圖對于下游任務(wù)可能不是最優(yōu)的，自然的想法是通過充分利用異構(gòu)節(jié)點特征中的豐富信息來擴(kuò)充原始圖結(jié)構(gòu)。通常有兩個因素影響基于特征的圖結(jié)構(gòu)的形成。一個是節(jié)點特征之間的相似性，另一個是節(jié)點特征與拓?fù)溟g的關(guān)系(王等2020c)。如圖1 (b)所示，我們首先提出生成一個特征相似度圖，該圖通過異構(gòu)特征投影和度量學(xué)習(xí)捕捉節(jié)點特征生成的潛在關(guān)系。然后提出通過拓?fù)浣Y(jié)構(gòu)傳播特征相似矩陣，生成特征傳播圖。最后，通過通道關(guān)注層將生成的特征相似度圖和特征傳播圖聚合成最終的特征圖

3.1.1 特征相似圖

特征相似圖通過特征的相似性來生成圖結(jié)構(gòu)，即一對特征相似的節(jié)點對存在潛在的邊。

3.1.2特征傳播圖

特征相似圖通過特征與拓?fù)渲g的交互來生成圖結(jié)構(gòu)，我們通過一個例子來更好的理解。例如，考慮生成用戶和電影之間的潛在圖結(jié)構(gòu)，存在這樣一種圖結(jié)構(gòu)生成方式：如果用戶 看過電影，且 和相似，那么用戶 可能對感興趣即和節(jié)點存在潛在邊。上述潛在的圖結(jié)構(gòu)可以分兩步構(gòu)建：得到特征相似的節(jié)點對（找到相似的電影 和），隨后用拓?fù)浣Y(jié)構(gòu)傳播（通過 的觀影歷史得到可能感興趣的電影）。HGSL 也通過上述兩步過程來得到特征傳播圖。

3.2 語義圖生成器

根據(jù)HIN的高階拓?fù)浣Y(jié)構(gòu)生成語義圖，描述了兩個節(jié)點之間的多跳結(jié)構(gòu)交互。值得注意的是，在異構(gòu)圖中，這些高階關(guān)系因元路徑?jīng)Q定的不同語義而彼此不同。基于此，我們提出從不同的語義中學(xué)習(xí)語義圖結(jié)構(gòu)。

4 實驗

數(shù)據(jù)集：
DBLP
ACM
Yelp

Baseline
4個同構(gòu)圖嵌入方法：DeepWalk、GCN、GAT、GraphSage
4個異構(gòu)圖嵌入方法：MP2Vec、HAN、HeGAN、GTN
3個圖結(jié)構(gòu)學(xué)習(xí)相關(guān)方法：LDS、Pro-GNN、Geom-GCN

節(jié)點分類結(jié)果

消融實驗

參數(shù)分析

5 結(jié)論

在本文中，我們首次嘗試研究了面向神經(jīng)網(wǎng)絡(luò)的異構(gòu)圖結(jié)構(gòu)學(xué)習(xí)，并提出了一個名為HGSL的框架，該框架將異構(gòu)圖結(jié)構(gòu)和神經(jīng)網(wǎng)絡(luò)參數(shù)結(jié)合起來學(xué)習(xí)分類目標(biāo)。特別地，通過利用異構(gòu)圖內(nèi)部的復(fù)雜交互，生成并融合特征相似圖、特征傳播圖和語義圖，以學(xué)習(xí)用于分類的最優(yōu)異構(gòu)圖結(jié)構(gòu)。進(jìn)行了大量的實驗，包括節(jié)點分類、消融研究和模型分析，很好地證明了該框架的有效性。

---

總結(jié)

本文還是比較有創(chuàng)新性的，首次研究了異構(gòu)圖結(jié)構(gòu)學(xué)習(xí)

總結(jié)

以上是生活随笔為你收集整理的【论文解读|AAAI2021】HGSL - Heterogeneous Graph Structure Learning for Graph Neural Networks 图神经网络的异构图结构学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。