上一節(jié)的HAN表示異構(gòu)圖的Attention Network，通過手動設(shè)置Meta-path，然后聚合不同Meta-path下的節(jié)點(diǎn)attention，學(xué)到節(jié)點(diǎn)最終的表示。但是這個方法是手動選擇Meta-path的，因此可能無法捕獲每個問題的所有有意義的關(guān)系。同樣，元路徑的選擇也會顯著影響性能

而Graph Transformer Networks是自動聚合Meta-path，同時以端到端的學(xué)習(xí)方式轉(zhuǎn)換圖上的節(jié)點(diǎn)表示形式。

幾個概念

• ${\tau }^v$：節(jié)點(diǎn)的類型
• ${\tau }^e$：邊的類型
• ACM數(shù)據(jù)集包含：Paper(3025)，Author(5835)，Subject(56)個類型，${\tau }^v=3，{\tau }^e=\{PA,AP,PS,SP\}$，需要注意的是Author和Subject之間沒有邊的連接， 所以沒有AS和SA的關(guān)系。
• $\{A_k{\}}_k^K=1,K=|{\tau }^e|$：鄰接矩陣，例如Paper與Author的鄰接矩陣的大小是$3025\times 5835$，而Paper與Subject的鄰接矩陣的大小是$3025\times 56$，因此這兩個鄰接矩陣的shape大小不同。為了把shape統(tǒng)一到一起，需要將節(jié)點(diǎn)組合在一起，形成統(tǒng)一的一個鄰接矩陣。如下圖所示藍(lán)色的部分就是PA的鄰接矩陣，其余的地方數(shù)據(jù)為0，表示沒有邊的連接

• 特征矩陣： 每個Paper都有自己的特征，例如Paper1 = [1,0,0,0,1,1,0,....,0,0],Paper2=[1,1,0,1,0,1,0,.....,0,0]，而Author的特征是將對應(yīng)的Paper特征拼在一起，例如Author1 = [Paper1, Paper2]=[1,1,0,1,0,1,0,....,0,0]，同理Subject也是將對應(yīng)的Paper拼在一起，例如Subject1 = [Paper1, Paper3] = [1,1,0,1,1,1,0...,0,0]。需要注意的是，這里并不一定是要拼接在一起，可以做均值Pooling、或者max pooling、或者求和，可以根據(jù)自己的任務(wù)來選擇。

GTN如何組合多元的Meta-path的

已知${\tau }^e=\{PA,AP,PS,SP\}$，想得到PAP這個Meta-path下，所形成的Paper和Paper之間的鄰接矩陣，那么就可以做$Ad{j}_{PA}?Ad{j}_{AP}$，也就是meta-path=$\{PAP\}=\{PA,AP\}=Ad{j}_{PA}?Ad{j}_{AP}$，矩陣的相乘相當(dāng)于節(jié)點(diǎn)的轉(zhuǎn)移，通過A節(jié)點(diǎn)得到P節(jié)點(diǎn)之間的連接關(guān)系。

反之，如果meta-path=$\{PAP\}=\{PA,PA\}=Ad{j}_{PA}?Ad{j}_{PA}$，這樣是沒有一個具體的物理意義，同理$\{PA,PS\},\{AP,SP\}=Nan$，(在鄰接矩陣上相乘得到0矩陣)。

meta-path=$\{APA\}=\{AP,AP\}=Ad{j}_{AP}?Ad{j}_{AP}=AA$得到的和Paper無關(guān)，因為我們的任務(wù)是做Paper的分類，對結(jié)果沒有影響。

算法流程

矩陣A表示多種Meta-path下的鄰接矩陣，利用可學(xué)習(xí)的參數(shù)$w_{?}^1$做softmax，得到的向量，與矩陣A相乘

例如：${\tau }^e=\{t_1,t_2,t_3,t_4\}$，有四個鄰接矩陣$A=\{A_1,A_2,A_3,A_4\}$，創(chuàng)建四個可學(xué)習(xí)的參數(shù)$W_{?}^1=\{{\alpha }_1^1,{\alpha }_2^1,{\alpha }_3^1,{\alpha }_4^1\},W_{?}^2=\{{\alpha }_1^2,{\alpha }_2^2,{\alpha }_3^2,{\alpha }_4^2\}$，然后將$W_{?}^1$和$W_{?}^2$做一次softmax，然后與鄰接矩陣相乘，得到$Q_1={\alpha }_1^1?A_1+{\alpha }_2^1?A_2+{\alpha }_3^1?A_3+{\alpha }_4^1?A_4$相當(dāng)于對A矩陣進(jìn)行了一次加權(quán)求和，同理得到$Q_2$矩陣，然后將$Q_1$與$Q_2$相乘的到$A^1=Q_1?Q_2$，$A_1$相當(dāng)于聚合了一次Meta-path之后的到的鄰接矩陣，也就是上面講的meta-path=$\{PAP\}=\{PA,PA\}=Ad{j}_{PA}?Ad{j}_{PA}$

如果要學(xué)習(xí)任意長度的Meta-path，那么可以學(xué)習(xí)多個channel，這樣就學(xué)習(xí)出多個Meta-path下的聚合方式，

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的异构图-GTN（Graph Transformer Networks）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。