论文浅尝 | GraphSAINT—基于图采样的归纳学习方法
論文筆記整理：楊海宏，浙江大學博士生，研究方向為開放世界下的多語言知識問答。
? ? ?
?
1. 簡介
受顯存的因素限制，應用圖神經網絡于大規(guī)模圖學習任務上面臨“鄰居爆炸（Neighbor Explosion）”問題，導致網絡深度局限于少數(shù)幾層（否則指數(shù)爆炸），計算量過大等問題。前人工作提出了眾多基于采樣鄰居節(jié)點的方法，并利用多類型的聚合函數(shù)提高魔性的表達能力。
?
這篇文章提出一種全新的采樣方法，以改進圖卷積網絡（GCN）的訓練方式，從而提高模型的訓練效率和準確率。一言以蔽之，這篇文章從原圖中采樣子圖，在結果子圖上使用GCN學習。
?
? ? ? ? ? ? ?
圖1：GraphSAINT 訓練方案。來源：原論文
?
GraphSAINT 的算法流程如下圖所示。其中，變量SAMPLE主要有兩點要求。（1）相互影響較大的節(jié)點應在同一子圖中采樣。（2）每條邊的采樣概率均不可忽略。對于要求（1），理想的SAMPLE要求衡量節(jié)點連接的聯(lián)合信息以及屬性。但這種算法可能具有很高的復雜度，所以，為簡單起見，我們從圖連接性角度定義“影響力”，并設計基于拓撲的采樣器。要求（2）可使神經網絡能夠探索整個特征和標簽空間。
? ? ? ? ? ? ?
2. 子圖采樣
作者認為：保留圖連通性特征的采樣器幾乎不可避免地會在小批量估計中引入偏差。因此作者引入自行設計的歸一化技術，以消除偏差。其中的重點是估計每個節(jié)點、邊、子圖的采樣概率，
l? 節(jié)點的采樣概率分布為：
? ? ? ? ? ? ?
l? 邊的采樣概率分布為：
? ? ? ? ? ? ?
l? 子圖的采樣概率分布為：
? ? ? ? ? ? ??，其中 ? ? ? ? ? ? ?
3. 實驗結果
? ? ? ? ? ? ?
實驗部分作者展示了這篇文章提出的子圖采樣方式可以靈活地集成到圖神經網絡模型中，并取得超越前人的表現(xiàn)。這極大地刷新了學界對于圖神經網絡使用方式的認知，是一篇值得深入研究的論文。
?
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文，進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | GraphSAINT—基于图采样的归纳学习方法的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 美团大脑 | 知识图谱的建模方法及其应用
- 下一篇： 论文浅尝 - IJCAI2020 |