上一節的HAN表示異構圖的Attention Network，通過手動設置Meta-path，然后聚合不同Meta-path下的節點attention，學到節點最終的表示。但是這個方法是手動選擇Meta-path的，因此可能無法捕獲每個問題的所有有意義的關系。同樣，元路徑的選擇也會顯著影響性能

而Graph Transformer Networks是自動聚合Meta-path，同時以端到端的學習方式轉換圖上的節點表示形式。

幾個概念

• ${\tau }^v$：節點的類型
• ${\tau }^e$：邊的類型
• ACM數據集包含：Paper(3025)，Author(5835)，Subject(56)個類型，${\tau }^v=3，{\tau }^e=\{PA,AP,PS,SP\}$，需要注意的是Author和Subject之間沒有邊的連接， 所以沒有AS和SA的關系。
• $\{A_k{\}}_k^K=1,K=|{\tau }^e|$：鄰接矩陣，例如Paper與Author的鄰接矩陣的大小是$3025\times 5835$，而Paper與Subject的鄰接矩陣的大小是$3025\times 56$，因此這兩個鄰接矩陣的shape大小不同。為了把shape統一到一起，需要將節點組合在一起，形成統一的一個鄰接矩陣。如下圖所示藍色的部分就是PA的鄰接矩陣，其余的地方數據為0，表示沒有邊的連接

• 特征矩陣： 每個Paper都有自己的特征，例如Paper1 = [1,0,0,0,1,1,0,....,0,0],Paper2=[1,1,0,1,0,1,0,.....,0,0]，而Author的特征是將對應的Paper特征拼在一起，例如Author1 = [Paper1, Paper2]=[1,1,0,1,0,1,0,....,0,0]，同理Subject也是將對應的Paper拼在一起，例如Subject1 = [Paper1, Paper3] = [1,1,0,1,1,1,0...,0,0]。需要注意的是，這里并不一定是要拼接在一起，可以做均值Pooling、或者max pooling、或者求和，可以根據自己的任務來選擇。

GTN如何組合多元的Meta-path的

已知${\tau }^e=\{PA,AP,PS,SP\}$，想得到PAP這個Meta-path下，所形成的Paper和Paper之間的鄰接矩陣，那么就可以做$Ad{j}_{PA}?Ad{j}_{AP}$，也就是meta-path=$\{PAP\}=\{PA,AP\}=Ad{j}_{PA}?Ad{j}_{AP}$，矩陣的相乘相當于節點的轉移，通過A節點得到P節點之間的連接關系。

反之，如果meta-path=$\{PAP\}=\{PA,PA\}=Ad{j}_{PA}?Ad{j}_{PA}$，這樣是沒有一個具體的物理意義，同理$\{PA,PS\},\{AP,SP\}=Nan$，(在鄰接矩陣上相乘得到0矩陣)。

meta-path=$\{APA\}=\{AP,AP\}=Ad{j}_{AP}?Ad{j}_{AP}=AA$得到的和Paper無關，因為我們的任務是做Paper的分類，對結果沒有影響。

算法流程

矩陣A表示多種Meta-path下的鄰接矩陣，利用可學習的參數$w_{?}^1$做softmax，得到的向量，與矩陣A相乘

例如：${\tau }^e=\{t_1,t_2,t_3,t_4\}$，有四個鄰接矩陣$A=\{A_1,A_2,A_3,A_4\}$，創建四個可學習的參數$W_{?}^1=\{{\alpha }_1^1,{\alpha }_2^1,{\alpha }_3^1,{\alpha }_4^1\},W_{?}^2=\{{\alpha }_1^2,{\alpha }_2^2,{\alpha }_3^2,{\alpha }_4^2\}$，然后將$W_{?}^1$和$W_{?}^2$做一次softmax，然后與鄰接矩陣相乘，得到$Q_1={\alpha }_1^1?A_1+{\alpha }_2^1?A_2+{\alpha }_3^1?A_3+{\alpha }_4^1?A_4$相當于對A矩陣進行了一次加權求和，同理得到$Q_2$矩陣，然后將$Q_1$與$Q_2$相乘的到$A^1=Q_1?Q_2$，$A_1$相當于聚合了一次Meta-path之后的到的鄰接矩陣，也就是上面講的meta-path=$\{PAP\}=\{PA,PA\}=Ad{j}_{PA}?Ad{j}_{PA}$

如果要學習任意長度的Meta-path，那么可以學習多個channel，這樣就學習出多個Meta-path下的聚合方式，

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的异构图-GTN（Graph Transformer Networks）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。