「論文訪談間」是由 PaperWeekly 和中國中文信息學會社會媒體處理專委會（SMP）聯合發起的論文報道欄目，旨在讓國內優質論文得到更多關注和認可。

?

圖神經網絡是近年來圖數據挖掘領域的熱門研究方向之一，被譽為是新一代深度學習。圖神經網絡可以將端到端學習與歸納推理相結合，有望解決深度學習無法進行關系推理的問題。

以 Graph Convolutional Network，Graph Attention Network 為代表的圖神經網絡已經引起了學術界與工業界的廣泛關注。然而，目前的圖神經網絡主要針對同質圖（節點類型和邊類型單一）設計，但真實世界中的圖大部分都可以被自然地建模為異質圖（多種類型的節點和邊，如圖 1 所示，IMDB 數據中包含三種類型的節點 Actor、Movie 和 Director，兩種類型的邊 Actor-Movie 和 Movie-Director）。

相對于同質圖神經網絡，異質圖神經網絡具有更強的現實意義可以更好的滿足工業界需求。如阿里巴巴正在建設億級節點十億級邊的異質圖神經網絡平臺 AliGraph 來滿足整個阿里集團各種商業化場景需求。因此亟需展開面向異質圖的圖神經網絡模型研究，而異質圖的異質性卻又給設計圖神經網絡帶來了巨大的挑戰。

在設計異質圖神經網絡的時候，從異質圖的復雜結構出發，需要滿足下面三個要求：

1. 異質性：考慮不同節點和不同關系的差異。不同類型節點有其各自的特點，節點的屬性空間也不盡相同。如何處理不同類型節點并保留各自的特性是設計異質圖神經網絡時迫切需要解決的問題；

2. 語義級別注意力：學習元路徑重要性并進行融合。異質圖中的一個基本結構是元路徑結構，對于某個具體任務，不同元路徑表達的語義不同，因此對任務的貢獻也不同。如何設計針對元路徑的注意力機制是異質圖神經網絡中的一個基本問題；

3. 節點級別注意力：學習節點鄰居的重要性并進行融合。節點的鄰居多種多樣甚至還有一些噪聲鄰居。針對不同任務，鄰居的重要性也會有所差異。如何設計針對不同類型鄰居的注意力機制是異質圖神經網絡的一個基本問題。?

本文首次提出了基于注意力機制的異質圖神經網絡 Heterogeneous Graph Attention Network（HAN），可以廣泛地應用于異質圖分析。HAN 利用語義級別注意力和節點級別注意力來同時學習元路徑與節點鄰居的重要性，并通過相應地聚合操作得到最終的節點表示。

模型

模型整體架構如圖 2 所示。模型主要分為 3 個模塊：1）節點級別注意力模塊。2）語義級別注意力模塊。3）預測模塊。

首先，通過節點級別的注意力來學習鄰居的權重并聚合得到一條具體元路徑下的節點表示。然后，通過語義級別的注意力來學習多條元路徑的權重并對節點表示進行加權融合。最后根據特定任務來優化整個模型。

節點級別注意力

給定某條元路徑，我們可以利用節點級別注意力來學習特定語義下（Semantic-specific）的節點表示。我們首先將不同類型的節點屬性通過投影矩陣變換到統一的屬性空間。

其中，是投影矩陣，和分別是投影前后的節點特征。這里基于自注意力機制（self-attention）設計了節點級別注意力。具體來說，節點級別注意力將節點對的表示拼接起來并利用注意力向量來學習節點與其鄰居間的重要性。

其中，是節點對 (i, j) 的注意力權重。注意這里的注意力是非對稱的，這也符合圖數據的實際特性。最后，通過節點級別的聚合操作（如圖 3 (a) 所示）來學習 Semantic-specific 的節點表示。每個節點的表示都是由其鄰居表示加權融合得到。

其中，是節點在某條元路徑下的表示。給定某條元路徑，節點級別注意力可以學習到節點在某個語義下的表示。但是，在實際異質圖中往往存在多條不同語義的元路徑，單條元路徑只能反映節點某一方面的信息。為了全面的描述節點，我們需要融合多條元路徑的語義信息。

語義級別注意力

給定元路徑集合，節點級別注意力用來學習到不同語義下的節點表示。進一步，我們可以利用語義級別注意力來學習語義的重要性并融合多個語義下的節點表示。語義級別注意力的形式化描述如下：

?

其中，是各個元路徑的注意力權重。具體來說，我們利用單層神經網絡和語義級別注意力向量來學習各個語義（元路徑）的重要性并通過 softmax 來進行歸一化。

通過對多個語義進行加權融合（融合過程如圖 3 (b) 所示），可以得到最終的節點表示。需要注意的是，這里的元路徑權重是針對特定任務優化的。不同任務需要的語義信息不盡相同，元路徑的加權組合形式也會有所差異。

最后，我們基于半監督的分類 loss 來優化整個模型。

實驗結果

本文在三個數據集上做了大量充分的實驗（包括節點分類，節點聚類，可視化）來驗證模型的有效性。同時為了驗證節點級別和語義級別的作用，作者分別去除節點和語義級別助理并進行實驗。最后，作者通過對節點和語義級別的注意力機制進行了分析來說明 HAN 的可解釋性。

本文的代碼可見：

https://github.com/Jhy1993/HAN

表 3 和表 4 分別為節點分類和聚類實驗，可以看出：相對于當前最優算法，本文所提出的模型表現更好。同時，去除節點級別和語義級別注意力后，模型的效果有不同程度的降低。這驗證了節點級別注意力和語義級別注意力的有效性。

我們還進一步分析了層次注意力的合理性。節點級別和語義級別注意力分析分別如圖 4 和圖 5 所示。可以看出：節點級別注意力賦予了同類型的鄰居更高的權重。在語義級別，對較為重要的元路徑，也就是該條元路徑在聚類任務上具有較大的 NMI 值，HAN 會賦予他們相應較大的權重，因此 HAN 可以自動選取較為重要的節點鄰居及元路徑。

圖 6 展示了各個算法可視化結果。我們可以清楚地看到：HAN 所學習到的節點表示具有更強的表示能力，可以清晰的將不同領域的作者分為 4 類。

總結

異質圖在真實世界無處不在，異質圖的分析也是數據挖掘的熱門方向。作者設計了一種異質圖神經網絡，同時在節點和語義級別利用注意力機制來對鄰居信息和語義信息進行加權融合，進而學習到更加細致全面的節點表示。同時，通過對兩層的注意力機制進行分析，所提模型具有較好的可解釋性。

現實生活中，很多場景均可以被建模為異質圖，如淘寶網就可以建模為用戶，商品和商家交互的異質圖。本文所提出的異質圖注意力網絡 HAN 具有廣泛的適用性，可以根據不同場景（如商品推薦和異常賬戶檢測）的需求設計不同的損失函數來學習節點表示。

按照本文的思路，未來可以進一步嘗試利用 meta-graph 或者 motif 來抽取不同的結構信息或者針對不同場景的差異化需求設計相應的圖神經網絡。更多關于異質圖分析的論文及相關代碼數據見 www.shichuan.org。

關于作者

紀厚業，北京郵電大學計算機科學與技術專業博士研究生。目前研究方向為網絡表示學習和圖神經網絡。

王嘯，北京郵電大學計算機學院助理教授。2016年獲得天津大學計算機應用技術專業博士學位，美國圣路易斯華盛頓大學聯合培養博士，曾在清華大學計算機系任博士后。主要研究社會網絡分析、數據挖掘與機器學習。在WWW、AAAI、IJCAI、KDD、TKDE等國際頂級學術會議及期刊上發表論文30余篇，曾擔任KDD、AAAI、IJCAI等國際學術會議程序委員會成員。

石川，北京郵電大學計算機學院教授、博士研究生導師、智能通信軟件與多媒體北京市重點實驗室副主任。主要研究方向：數據挖掘、機器學習、人工智能和大數據分析。IEEE/ACM會員、中國計算機學會高級會員、人工智能學會高級會員、中國人工智能學會知識工程與分布智能專業委員會常務委員、中國計算機學會人工智能與模式識別專委會委員、中國中文信息學會社會媒體處理專委會委員。近五年來，以第一或者通訊作者發表高水平學術論文50余篇，包括數據挖掘領域的頂級期刊和會議IEEE TKDE、ACM TIST、KDD、AAAI、IJCAI、WWW、CIKM等。在Springer出版異質信息網絡方向第一部英文專著。申請國家發明專利十余項，國際專利1項，已授權4項，相關研究成果應用到阿里巴巴、騰訊和華為等知名企業。獲得ADMA2011和ADMA2018等國際會議最佳論文獎、CCF-騰訊犀牛鳥基金及項目優秀獎，并指導學生獲得頂尖國際數據挖掘競賽IJCAI Contest 2015 全球冠軍。獲得北京市高等學校青年英才計劃支持和北京市“師德先鋒”稱號。

主辦單位

點擊以下標題查看更多往期內容：?

• 目標檢測小tricks之樣本不均衡處理

• 圖神經網絡綜述：模型與應用

• DRr-Net：基于動態重讀機制的句子語義匹配方法

• 小樣本學習（Few-shot Learning）綜述
  

• 萬字綜述之生成對抗網絡（GAN）

• 可逆ResNet：極致的暴力美學
  

• 基于多任務學習的可解釋推薦系統

• AAAI 2019 | 基于分層強化學習的關系抽取

  
  

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文

總結

以上是生活随笔為你收集整理的HAN：基于双层注意力机制的异质图深度神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。