點(diǎn)擊藍(lán)字

關(guān)注我們

AI TIME歡迎每一位AI愛好者的加入！

圖是建模實(shí)體與實(shí)體之間關(guān)系的常用數(shù)據(jù)結(jié)構(gòu)。近年來，圖數(shù)據(jù)挖掘引起了學(xué)術(shù)界和工業(yè)界廣泛的關(guān)注，如分類、聚類等等。然而圖相似度學(xué)習(xí)這一任務(wù)卻未得到充分的研究，如何計算一對圖結(jié)構(gòu)數(shù)據(jù)之間的相似度？由于圖結(jié)構(gòu)數(shù)據(jù)的復(fù)雜、多樣性，使得圖相似度學(xué)習(xí)算法的設(shè)計充滿了挑戰(zhàn)性與特殊性。為此，本文基于圖神經(jīng)網(wǎng)絡(luò)、圖池化算子以及子圖匹配等模塊，設(shè)計了一種超圖匹配框架來高效的進(jìn)行圖相似度推理。具體來說，本文提出的H2MN框架從超圖的角度出發(fā)，將每條超邊作為一個子圖來進(jìn)行匹配，捕獲到了圖上豐富的子結(jié)構(gòu)相似性。為了降低匹配的時間復(fù)雜度，本文還設(shè)計了基于超邊的池化算子來將大的超圖轉(zhuǎn)化為較小的超圖。通過在多個公開數(shù)據(jù)集包括生物以及社交網(wǎng)絡(luò)等類型圖數(shù)據(jù)上進(jìn)行驗(yàn)證，本文提出的方法在圖回歸以及分類任務(wù)上均取得了最佳的效果。

AI TIME 特別邀請了新加坡國立大學(xué)博士后張震，給大家?guī)矸窒怼痘谏窠?jīng)網(wǎng)絡(luò)的多粒度圖表征學(xué)習(xí)》。

張震：

新加坡國立大學(xué)博士后，2021年畢業(yè)于浙江大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，博士期間主要研究方向?yàn)閿?shù)據(jù)挖掘、圖神經(jīng)網(wǎng)絡(luò)與推薦系統(tǒng)，目前已在KDD、WWW、IJCAI、TKDE等國際頂級會議和期刊中發(fā)表多篇論文。

01

研究背景與意義

• 傳統(tǒng)圖挖掘算法示例

（1） 如果節(jié)點(diǎn)0、3、6、8標(biāo)簽已知

（2） 如何預(yù)測剩余未知節(jié)點(diǎn)的標(biāo)簽

• 人工設(shè)計特征

（1） 統(tǒng)計每個節(jié)點(diǎn)的出入度信息

（2） 計算每個節(jié)點(diǎn)到其余節(jié)點(diǎn)的最短路徑均值信息

（3） 統(tǒng)計每個節(jié)點(diǎn)的子圖信息

• 缺點(diǎn)：需要相關(guān)領(lǐng)域知識人工設(shè)計特征、靈活度不高

如何同深度學(xué)習(xí)一樣去自動的提取圖數(shù)據(jù)上的特征呢？

• 給定圖G =（V,E)?其中|V|,|E|代表圖中節(jié)點(diǎn)和邊的個數(shù)，A表示的是圖中節(jié)點(diǎn)邊信息 構(gòu)建的鄰接矩陣

• 圖表征學(xué)習(xí)的目標(biāo)是通過映射函數(shù)學(xué)習(xí)出節(jié)點(diǎn)的表征向量，它可以捕獲到圖中的結(jié) 構(gòu)、節(jié)點(diǎn)的屬性以及標(biāo)簽等信息

• 圖表征學(xué)習(xí)任務(wù)的難易程度取決于其輸入以及輸出的設(shè)置

?（1） 圖數(shù)據(jù)類型紛繁復(fù)雜，如何捕獲不同類型圖數(shù)據(jù)中的關(guān)鍵信息進(jìn)行表征學(xué)習(xí)？（可能存在同構(gòu)圖和異構(gòu)圖，靜態(tài)圖和時序圖）

?（2） 圖挖掘任務(wù)錯綜復(fù)雜，如何針對相關(guān)任務(wù)設(shè)計不同的圖表征學(xué)習(xí)模型？（不同的任務(wù)，需要我們?nèi)ゲ蹲讲煌恼Z義信息；對于表征的好壞也有不同的標(biāo)準(zhǔn)）

• 為了解決上述挑戰(zhàn)，本文主要對輸入以及輸出四種不同粒度的表征學(xué)習(xí)問題展開了研究

橫軸：模型輸出的節(jié)點(diǎn)表征

縱軸：模型輸出的圖數(shù)據(jù)類型

02

?主要研究工作

屬性圖中節(jié)點(diǎn)級表征學(xué)習(xí)

• 屬性圖是一種節(jié)點(diǎn)富含屬性信息的圖結(jié)構(gòu)，例如社交網(wǎng)絡(luò)中往往包含用戶的年齡、 性別等資料信息

• 節(jié)點(diǎn)的屬性信息可以進(jìn)一步反映出圖中的潛在模式

• 給定圖G =（V,E,X)其中|V|,|E|代表圖中節(jié)點(diǎn)和邊的個數(shù)

?（1） A表示的是圖中節(jié)點(diǎn)邊信息構(gòu)建的鄰接矩陣,

?（2） X表示的是圖中節(jié)點(diǎn)的屬性信息

• 捕獲圖的結(jié)構(gòu)以及節(jié)點(diǎn)的屬性相似性

• 現(xiàn)有研究工作

（1） 將屬性信息構(gòu)建成圖中的節(jié)點(diǎn)來建模節(jié)點(diǎn)和屬性信息的共現(xiàn)關(guān)系

（2） 通過屬性信息計算出節(jié)點(diǎn)之間相似度來約束節(jié)點(diǎn)的表征

（3） 通過屬性信息計算出節(jié)點(diǎn)之間相似度來約束節(jié)點(diǎn)的表征

• 我們提出了一種新穎的無監(jiān)督節(jié)點(diǎn)表征學(xué)習(xí)框架ANRL

?（1） 該框架充分利用了節(jié)點(diǎn)與其鄰居節(jié)點(diǎn)信息的相關(guān)性和節(jié)點(diǎn)屬性信息與其上下文信 息的相關(guān)性來學(xué)習(xí)節(jié)點(diǎn)的表征

?（2） 在建模節(jié)點(diǎn)屬性信息的時候?qū)⒐?jié)點(diǎn)的結(jié)構(gòu)信息融入進(jìn)來；反之亦然，在建模節(jié)點(diǎn) 結(jié)構(gòu)信息時也巧妙地將節(jié)點(diǎn)的屬性信息融入了進(jìn)來

?（3） 設(shè)計了鄰居增強(qiáng)型自編碼器和屬性感知的Skip-gram模塊

?（4） 在6個數(shù)據(jù)集上進(jìn)行了鏈接預(yù)測和節(jié)點(diǎn)分類實(shí)驗(yàn)，驗(yàn)證了模型的有效性

主要由以前兩個模塊構(gòu)成：

• 鄰居增強(qiáng)型自編碼器模塊

?（1） 使用簡單的多層感知器來對節(jié)點(diǎn)的屬性信息進(jìn)行編碼和解碼

（2）優(yōu)化的損失函數(shù)

（3） 目標(biāo)鄰居節(jié)點(diǎn)計算過程

a. 加權(quán)平均鄰居

b. 元素中值鄰居

（1） 建模節(jié)點(diǎn)屬性信息的同時捕獲到節(jié)點(diǎn)的局部結(jié)構(gòu)信息

（2） 重構(gòu)節(jié)點(diǎn)的目標(biāo)鄰居節(jié)點(diǎn)屬性信息，而不是節(jié)點(diǎn)自己的屬性信息

左圖中，節(jié)點(diǎn)3和5之間雖然沒有邊相連接，但我們可以看出他們共享了許多鄰居節(jié)點(diǎn)，因此這兩個節(jié)點(diǎn)是有相似性的。

在重構(gòu)的時候，如果兩個節(jié)點(diǎn)具有相同的鄰居節(jié)點(diǎn)，那么他們重構(gòu)之后編碼的表征也會比較相似。

• 屬性感知的Skip-gram模塊

?（1） 采用隨機(jī)游走對圖結(jié)構(gòu)進(jìn)行線性化操作，對抽樣出的節(jié)點(diǎn)序列進(jìn)行建模

?（2） 具有相似上下文的節(jié)點(diǎn)在語義空間中也相似

?（3） 利用Skip-gram建模結(jié)構(gòu)信息的同時融入節(jié)點(diǎn)的屬性信息

• 模型整體框架優(yōu)化

整個模型框架，輸入先經(jīng)過一個編碼器模塊，這個模塊有兩個分支：左邊是解碼器模塊，右邊是一個預(yù)測context信息的過程；共享編碼器模塊參數(shù)，在優(yōu)化的過程中交替更新彼此的損失函數(shù)，以達(dá)到整體框架的優(yōu)化。

• 數(shù)據(jù)集統(tǒng)計信息

• 鏈接預(yù)測任務(wù)

我們從上圖可以看出，我們的模型相對現(xiàn)有模型是有評價指標(biāo)提升的。

• 節(jié)點(diǎn)分類任務(wù)

（1） 僅使用節(jié)點(diǎn)屬性信息（SVM）

（2） 僅使用圖結(jié)構(gòu)信息 （DeepWalk等）

（3）同時使用屬性和結(jié)構(gòu)信息

（4） ANRL模型變體

• ANRL模型總結(jié)

（1） 屬性圖中的無監(jiān)督表征學(xué)習(xí)框架

（2） 深度融合了圖的結(jié)構(gòu)信息和節(jié)點(diǎn)的屬性信息

（3） 在6個數(shù)據(jù)集上進(jìn)行了鏈接預(yù)測和節(jié)點(diǎn)分類實(shí)驗(yàn)，驗(yàn)證了模型的有效性

• 存在的問題

（1） 該模型僅局限于節(jié)點(diǎn)帶屬性信息的靜態(tài)圖數(shù)據(jù)

（2） 隨著時間的推移，圖數(shù)據(jù)中會有新的節(jié)點(diǎn)加入以及生成新的連邊，因此如何對動 態(tài)圖建模并捕獲其時序信息？

（3） 很多應(yīng)用往往涉及到包含多種類型節(jié)點(diǎn)的異構(gòu)圖，例如推薦系統(tǒng)中的``用戶-商品 "交互信息就可以構(gòu)建成一個異構(gòu)二部圖，那么如何捕獲異構(gòu)圖中不同節(jié)點(diǎn)的語 義信息

時序異構(gòu)圖中節(jié)點(diǎn)級表征學(xué)習(xí)

• 現(xiàn)有的大部分表征學(xué)習(xí)工作僅僅關(guān)注于靜態(tài)的同構(gòu)圖

• 時序異構(gòu)圖建模的是不同類型節(jié)點(diǎn)之間的時序交互信息，它是一種更加復(fù)雜、通用 的數(shù)據(jù)結(jié)構(gòu)

• 給定圖G =（U,V,E,T)?其中|U|,|V|代表圖中兩類異構(gòu)節(jié)點(diǎn)的個數(shù)，E表示的是圖中兩 類節(jié)點(diǎn)之間的交互信息,T表示的是圖中節(jié)點(diǎn)交互的時間信息

• 復(fù)雜的圖結(jié)構(gòu)不是一蹴而就形成的

• 特定時間段內(nèi)節(jié)點(diǎn)交互信息累積的結(jié)果

為了降低建模難度，只考慮了兩類節(jié)點(diǎn)——用戶節(jié)點(diǎn)和物品節(jié)點(diǎn)

• 現(xiàn)有研究工作

（1） 將時序圖劃分為一系列離散的子圖，它們由預(yù)定義的時間窗口切分而成，然后再 設(shè)計相關(guān)算法對該子圖序列進(jìn)行建模

（2） 無法區(qū)分異構(gòu)節(jié)點(diǎn)類型

（3） 無法利用邊上的屬性信息

（4） 模型復(fù)雜度與子圖個數(shù)及大小成正比

• 我們提出了基于記憶網(wǎng)絡(luò)的表征學(xué)習(xí)框架TigeCMN

?（1） 該框架利用記憶網(wǎng)絡(luò)進(jìn)行寫入和讀取操作以增強(qiáng)其跟蹤動態(tài)信息的能力

?（2） 為每個節(jié)點(diǎn)都引入了記憶矩陣來維護(hù)其時序交互信息而不是簡單的將其多面性的 交互信息壓縮到單個潛在向量中

?（3） 當(dāng)模型進(jìn)行推理時, 基于自注意力機(jī)制來動態(tài)的讀取記憶矩陣中的相關(guān)信息

?（4） 在5個常用公開數(shù)據(jù)集上進(jìn)行了三類實(shí)驗(yàn)包括節(jié)點(diǎn)分類、時序推薦以及可視化， 實(shí)驗(yàn)結(jié)果表明TigeCMN優(yōu)于一系列的對比算法

• TigeCMN整體架構(gòu)圖

我們由上圖可以看到，當(dāng)用戶發(fā)生交互行為之后，我們便可以通過這個交互信息來進(jìn)行建模，更新用戶節(jié)點(diǎn)和物品節(jié)點(diǎn)之間的一個表征。

（1） 邊特征編碼模塊（將用戶前后交互行為的時間差引入）

a. 該編碼模塊可以根據(jù)輸入的數(shù)據(jù)類型進(jìn)行針對性的設(shè)計

b. 為簡單起見，我們使用基于dropout模式的多層前向傳播網(wǎng)絡(luò)來對邊特征信息進(jìn)行編碼

c. 將邊屬性信息，商品表征向量以及距離上次交互的時間間隔拼接后作為輸入

（2） 記憶網(wǎng)絡(luò)動態(tài)寫模塊

a. 根據(jù)權(quán)重信息進(jìn)行擦除以及添加操作

主要分為兩部分：一部分為擦除信息。一部分為擦除后補(bǔ)充新信息

?（1） 記憶網(wǎng)絡(luò)動態(tài)讀模塊

a. 根據(jù)自注意力機(jī)制從記憶矩陣中動態(tài)的讀取信息

Q=Mut ·?WQ， K=Mut ·?WK， V=Mut ·?WV

• 數(shù)據(jù)集統(tǒng)計信息

• 節(jié)點(diǎn)分類任務(wù)

• Top-N推薦任務(wù)

• 表征可視化

可以看出圖(f)中，我們的模型比其他的分散程度更高，說明我們學(xué)習(xí)到了還不錯的表征。

• TigeCMN模型總結(jié)

?（1） 時序異構(gòu)圖中的節(jié)點(diǎn)表征學(xué)習(xí)框架

?（2） 利用讀寫操作顯示的存儲、更新節(jié)點(diǎn)表征

?（3） 在節(jié)點(diǎn)分類、Top-N推薦等任務(wù)中展現(xiàn)出有效性

• 存在的問題

?（1） 時序異構(gòu)二部圖僅僅涉及到兩種類型的節(jié)點(diǎn)

?（2） 設(shè)計一些自適應(yīng)采樣策略來促進(jìn)模型的優(yōu)化過程

?（3） 如何從節(jié)點(diǎn)表征生成整圖級的表征？

多視圖層級圖池化表征學(xué)習(xí)

場景：計劃進(jìn)行圖分類

• 現(xiàn)有的大部分工作僅僅關(guān)注于設(shè)計有效的圖卷積操作

• 忽略了圖池化模塊在層級表征學(xué)習(xí)中的重要性

• 通過引入池化操作，整個圖結(jié)構(gòu)信息將會逐步縮減為包含層級信息的子圖

• 給定圖的集合 G = {G1, G2, ?,Gn} 其中Gi=（Vi,Ei,Xi）代表第i個圖，Ai,Ei表示的是圖中節(jié)點(diǎn)與邊的信息, 集合中每個圖的節(jié)點(diǎn)和邊信息千變?nèi)f化。

• 現(xiàn)有研究工作

（1） 通過對節(jié)點(diǎn)聚類進(jìn)行池化操作

• 通過對節(jié)點(diǎn)采樣進(jìn)行池化操作

只去保留圖中比較重要的節(jié)點(diǎn)，刪掉其他節(jié)點(diǎn)；這樣最終，我么能從大圖得到一個小圖，而且不會丟掉太多重要信息

• 我們提出了一種通用的圖池化框架MVPool

?（1） 根據(jù)不同視圖中的上下文信息對節(jié)點(diǎn)的重要性進(jìn)行評估

?（2） 通過注意力機(jī)制來促進(jìn)不同視圖信息之間的融合

?（3） 根據(jù)節(jié)點(diǎn)的重要性排序來自適應(yīng)地保留相關(guān)節(jié)點(diǎn)子集以形成池化后的圖

?（4） 引入了結(jié)構(gòu)學(xué)習(xí)機(jī)制來對每一層池化后的圖結(jié)構(gòu)進(jìn)行微調(diào)

?（5） 在9個常用公開數(shù)據(jù)集上驗(yàn)證了模型的有效性，包括節(jié)點(diǎn)和整圖的分類、聚類以 及可視化任務(wù)

• 圖神經(jīng)網(wǎng)絡(luò)模型簡介

• 給定圖G的鄰接矩陣A和節(jié)點(diǎn)的表征矩陣H作為輸入，則下一層節(jié)點(diǎn)表征的計算過程 如下所示：

其中σ（·）是非線性激活函數(shù)，H0=X即節(jié)點(diǎn)的初始表征為節(jié)點(diǎn)的屬性，A~=A+I是添加自環(huán)后的鄰接矩陣，Wk∈Rdk×dk+1是一個可訓(xùn)練的參數(shù)矩。

圖采樣此時產(chǎn)生了問題：什么樣的節(jié)點(diǎn)才是重要的節(jié)點(diǎn)？在多視圖的情況下，不同視圖下對節(jié)點(diǎn)的標(biāo)準(zhǔn)也不一樣。于是我們提出了在不同視圖下計算節(jié)點(diǎn)的重要性。

• 多視圖池化算子

?（1） 視圖一，基于圖結(jié)構(gòu)的度量準(zhǔn)則

?（2） 視圖二，基于節(jié)點(diǎn)特征的度量準(zhǔn)則

（3） 視圖三，基于圖結(jié)構(gòu)和節(jié)點(diǎn)特征的度量準(zhǔn)

• 多視圖信息融合

?（1） 由于單個視圖通常會導(dǎo)致評估出現(xiàn)偏差，并且每個視圖的重要性可能會大不相同

?（2）通過促進(jìn)不同視圖之間的協(xié)作來生成更加魯棒的節(jié)點(diǎn)排序

• 節(jié)點(diǎn)采樣策略

?（1） 首先根據(jù)節(jié)點(diǎn)的重要性得分對其進(jìn)行排序

?（2）然后按照以下方式選擇排名較高的節(jié)點(diǎn)子集

每次排序只保留其中最重要的k個節(jié)點(diǎn)，其余的節(jié)點(diǎn)以及他們之間的連邊都會刪掉，這樣就可以從一個大圖慢慢變成小圖；

不過，也存在可能本來相連的節(jié)點(diǎn)因?yàn)椴粩嗟某闃硬僮鞫磺袛嗔寺?lián)系，導(dǎo)致會丟失一部分信息。為了解決這個問題，我們設(shè)計了下面這個結(jié)構(gòu)學(xué)習(xí)模塊。

• 結(jié)構(gòu)學(xué)習(xí)機(jī)制

?（1） 基于采樣的池化操作很有可能會導(dǎo)致高度相關(guān)的節(jié)點(diǎn)變得彼此無法訪問

?（2） 學(xué)習(xí)出微調(diào)過的圖結(jié)構(gòu)，可以編碼每對節(jié)點(diǎn)之間潛在的關(guān)系

其中sparsemax用來學(xué)習(xí)稀疏圖信息，可以使得我們在結(jié)構(gòu)信息上的損失達(dá)到最小化。

• 節(jié)點(diǎn)分類模型框架

?（1） 在池化過程中保留了節(jié)點(diǎn)的位置信息，然后在上采樣層中使用該位置信息將相應(yīng)的節(jié)點(diǎn)放回它們的原始位置

整個過程類似與一個graph auto encoding，我們首先對輸入的圖數(shù)據(jù)中節(jié)點(diǎn)進(jìn)行重要性排序，刪除那些不重要的節(jié)點(diǎn)；之后在進(jìn)行結(jié)構(gòu)化的學(xué)習(xí)，將他們之間可能存在的連接補(bǔ)上。緊接著是類似的解碼過程，也有類似的標(biāo)簽幫助我們訓(xùn)練。

• 整圖分類模型框架

?（1） 設(shè)計了一個簡單的讀出函數(shù)，它匯總了各層網(wǎng)絡(luò)中所有節(jié)點(diǎn)的表征

• 數(shù)據(jù)集統(tǒng)計信息

?（1） 節(jié)點(diǎn)分類數(shù)據(jù)集信息

（2） 圖分類數(shù)據(jù)集信息

• 實(shí)驗(yàn)結(jié)果

?（1） 節(jié)點(diǎn)分類實(shí)驗(yàn)結(jié)果

?（2） 圖分類實(shí)驗(yàn)結(jié)果

• 可視化實(shí)驗(yàn)結(jié)果

我們可以看到，池化操作的模型效果更佳。

• MVPool模型總結(jié)

?（1） 它是一種通用的圖池化框架

?（2） 通過多視圖的方式充分利用圖結(jié)構(gòu)信息以及節(jié)點(diǎn)屬性信息

?（3） 提出了結(jié)構(gòu)學(xué)習(xí)機(jī)制來微調(diào)池化后的圖結(jié)構(gòu)信息

?（4） 在9個公開數(shù)據(jù)集上驗(yàn)證了模型的有效性

• 存在的問題

?（1） 是否可以設(shè)計出無參數(shù)的圖池化算子？

?（2） 如何在一對圖數(shù)據(jù)上進(jìn)行推理和建模來捕獲其相似度信息？

目前模型僅用于單個圖，是否可以用于更加復(fù)雜的圖推理呢？

圖相似度學(xué)習(xí)

• 現(xiàn)有大部分工作研究的是單個圖數(shù)據(jù)上的有效節(jié)點(diǎn)表征或者整圖級別的表征

?（1） 該類模型不能很好的解決圖相似度計算問題

?（2） 因?yàn)樗枰谝粚D結(jié)構(gòu)數(shù)據(jù)上進(jìn)行推理和建模

• 給定一組圖數(shù)據(jù)對作為輸入 其中每個圖的節(jié)點(diǎn)和邊的數(shù)量可以是任意的。我們的目標(biāo)是利用圖神經(jīng)網(wǎng)絡(luò)端到端的學(xué)習(xí)出 任意一對圖數(shù)據(jù)之間的相似性，主要研究了兩類基于圖相似度的問題：graph-graph classification和graph-graph regression任務(wù)

• 現(xiàn)有研究工作

?（1） 傳統(tǒng)圖相似度計算方法如A* ，Beam等時間復(fù)雜度高

?（2） 很少有模型嘗試用GNN來探索圖相似度學(xué)習(xí)

?（3） 基于節(jié)點(diǎn)匹配的模型無法很好地捕獲其子圖的結(jié)構(gòu)信息

• 我們提出了一種新穎的圖相似度學(xué)習(xí)框架H2MN

?（1） 在圖相似度學(xué)習(xí)的過程中充分考慮兩個圖之間的子圖匹配信息

?（2） 將子圖的匹配問題轉(zhuǎn)換為超圖之間超邊的匹配問題

?（3） 首次提出了提出了基于超邊的池化算子

?（4） 在5個常用公開數(shù)據(jù)集上驗(yàn)證了模型的有效性，包括圖的分類以及回歸任務(wù)

• 超圖構(gòu)造模塊

?（1） 超圖可以定義為H=（V,ε,X,W）由節(jié)點(diǎn)集、超邊集、節(jié)點(diǎn)特征矩陣以及邊權(quán)對 角矩陣組成；每條超邊可以包含兩個或者更多節(jié)點(diǎn)，關(guān)聯(lián)矩陣H定義如下：(超圖中1條邊可以包含兩個以上的節(jié)點(diǎn)）

（2） 超圖構(gòu)建

a. 隨機(jī)游走：將采樣得到的節(jié)點(diǎn)序列作為超邊

b. K階鄰居：根據(jù)節(jié)點(diǎn)的K階鄰居來構(gòu)建超邊

• 超圖卷積神經(jīng)網(wǎng)絡(luò)

?（1） 超圖神經(jīng)網(wǎng)絡(luò)（或HGNN）是建模高階節(jié)點(diǎn)關(guān)系而非成對關(guān)系的通用框架

?（2） 以超圖關(guān)聯(lián)矩陣H和節(jié)點(diǎn)表征矩陣X作為輸入：

其中σ（·）是非線性激活函數(shù)，Dv，De，W分別表示的是節(jié)點(diǎn)的度對角矩陣、超邊的度對角矩陣以及超邊權(quán)重矩陣，∈Rdl×dl+1是一個可訓(xùn)練的參數(shù)矩陣。

• 超邊池化算子

?（1） 圖相似度學(xué)習(xí)任務(wù)中只有有限數(shù)量的關(guān)鍵子結(jié)構(gòu)在子圖匹配過程中起著重要作用

?（2） 根據(jù)重要性保留排名較高的超邊

• 子圖匹配模塊

?（1） 子圖匹配機(jī)制的主要步驟是計算超圖中超邊之間的注意力系數(shù)

（2） 對于Hi中每條超邊e1i，計算它與H2中所有超邊的余弦相似度

?（3） 利用這些注意力系數(shù)來計算H2基于e1i的全局表征

（4） 多角度匹配函數(shù)

• 模型整體框架

首先我們輸入兩個圖數(shù)據(jù)對，然后會根據(jù)之前定義的兩種方式去生成兩個超圖神經(jīng)網(wǎng)絡(luò)。緊接著我們會去進(jìn)行池化操作，僅僅保留圖中比較重要的一些信息，再去對這兩個信息進(jìn)行匹配計算相似度。實(shí)際上是對超邊進(jìn)行匹配，因?yàn)槌吰鋵?shí)融合了子圖的信息。子圖之間的比較，因?yàn)樽訄D數(shù)量少，建模比較省時；同時子圖之間的匹配，能幫助我們更好的捕獲圖的子結(jié)構(gòu)信息且能更好的計算相似度。

通過類似更新操作之后，我們便能生成一些新的表征。通過不同層次的疊加就能得到一個整圖的表征。兩個圖的表征拼接之后，最后去計算得到他們相似度的信息。

• 數(shù)據(jù)集統(tǒng)計信息

• Graph-Graph分類任務(wù)

現(xiàn)有的幾個做圖相似度計算的模型：

1）我們的模型取得了一定效果的提升

2）圖大小對模型效果的影響：我們的模型比較穩(wěn)定

• Graph-Graph回歸任務(wù)

回歸任務(wù)：

1）采用A*作為ground truth：可以看到相應(yīng)的mse為0

2）ρ為全局排序指標(biāo)

3）p@10為Top k排序指標(biāo)

• 圖相似度檢索任務(wù)

• H2MN模型總結(jié)

?（1） 將普通圖轉(zhuǎn)換為超圖以進(jìn)行子圖匹配

?（2） 通過執(zhí)行超圖卷積、超邊池化和多視角子圖匹配等一系列操作來捕獲圖數(shù)據(jù)對之 間的語義相似性

?（3） 在5個公開數(shù)據(jù)集上驗(yàn)證了模型的有效性

• 存在的問題

?（1） 動態(tài)構(gòu)建超圖子結(jié)構(gòu)信息

?（2） 對異構(gòu)的知識圖譜進(jìn)行建模，需要一對一的匹配兩個知識圖譜中共同的實(shí)體

03

總結(jié)與展望

• 本文主要從四個不同的粒度對圖表征學(xué)習(xí)展開了研究，具體包括：

?（1） 屬性圖中節(jié)點(diǎn)級表征學(xué)習(xí)

?（2） 時序異構(gòu)圖中節(jié)點(diǎn)級表征學(xué)習(xí)

?（3） 多視圖層級圖池化表征學(xué)習(xí)（節(jié)點(diǎn)&整圖）

?（4） 圖相似度學(xué)習(xí)

• 重點(diǎn)對不同粒度復(fù)雜圖數(shù)據(jù)以及挖掘任務(wù)進(jìn)行了探索，提出了一系列基于神經(jīng)網(wǎng)絡(luò) 的圖表征學(xué)習(xí)模型，研究了圖數(shù)據(jù)中知識的表征、融合以及推理

• 未來研究計劃

?（1） 在知識圖譜中利用神經(jīng)網(wǎng)絡(luò)進(jìn)行推理

a. 將模型擴(kuò)展到跨語言知識圖譜對齊任務(wù)中

?（2） 將強(qiáng)化學(xué)習(xí)融入到圖神經(jīng)網(wǎng)絡(luò)中

a. 通過強(qiáng)化學(xué)習(xí)模型來確定每層池化操作需要抽樣的節(jié)點(diǎn)個數(shù)

?（3）設(shè)計自監(jiān)督模型對圖神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練

a. 如何在結(jié)構(gòu)化圖數(shù)據(jù)中設(shè)計自監(jiān)督任務(wù)？

論文鏈接：

https://b23.tv/EWBsPTa

點(diǎn)擊“閱讀原文”，即可觀看本場回放

整理：林則

審核：張震

直播預(yù)告

3月9日? 14:00-17:40? ?NeurIPS專場六

11位華人學(xué)者帶來分享

記得關(guān)注直播信息哦！

3月9日? 19:30-20:30? ?青年科學(xué)家-23

參數(shù)高效遷移學(xué)習(xí)

期待馬學(xué)喆老師為大家?guī)砭史窒?#xff5e;

往期精彩文章推薦

記得關(guān)注我們呀！每天都有新知識！

?關(guān)于AI TIME?

2019年，清華大學(xué)人工智能研究院院長張鈸院士、唐杰教授和李涓子教授等人聯(lián)合發(fā)起“AI TIME science debate”，希望用辯論的形式，探討人工智能和人類未來之間的矛盾，探索人工智能領(lǐng)域的未來。

AI TIME是清華大學(xué)計算機(jī)系一群關(guān)注人工智能發(fā)展，并有思想情懷的青年學(xué)者創(chuàng)辦的圈子。AI TIME旨在發(fā)揚(yáng)科學(xué)思辨精神，邀請各界人士對人工智能理論、算法、場景、應(yīng)用的本質(zhì)問題進(jìn)行探索，加強(qiáng)思想碰撞，鏈接全球AI學(xué)者、行業(yè)專家與愛好者，打造成為全球AI交流與知識分享的聚集地。

我知道你

在看

哦

~

點(diǎn)擊 閱讀原文?查看回放！

總結(jié)

以上是生活随笔為你收集整理的干货！基于神经网络的多粒度图表征学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。