AI TIME歡迎每一位AI愛好者的加入！

近年來，圖神經網絡(GNN)在社交網絡、知識圖譜、推薦系統甚至生命科學等領域得到了越來越廣泛的應用。但在復雜的圖數據中，我們很難高效利用實體之間的相互依賴關系。本期AI Time PhD直播間，香港中文大學計算機系的碩士二年級研究生侯逸帆，分享了自己的團隊在被譽為“深度學習中的頂會”——ICLR (2020)中發表的研究成果。讓我們看看這位學霸是如何巧妙利用節點的“鄰里關系”，來選擇圖數據和改進圖神經網絡吧！

一、背景知識

a)

圖數據與數據分類

圖是一種強大的數據結構，能夠輕松地表示實體(即節點)之間的各種關系(即邊)。

實體可以是社交網絡中的用戶個體，或者分子結構圖中的原子。

關系可以是社交網絡中用戶之間的朋友關系、相似性關系等，或者分子結構圖中原子之間的相互關系。

一般在圖數據中，節點(實體)的選擇是固定的，但是邊的構建方法卻多種多樣。例如社交網絡中，既可以依據用戶的相似性，也可以將其交互行為、好友關系構建成邊，從而組成網絡。

因此，當分布相對均勻的原始數據分類較為困難時，如果能根據一些額外的關系信息、把同類點之間的距離“拉近”，從而有效地調整數據分布，那么分類的邊界選擇會更加容易，從而其任務表現也會獲得很好的性能提升。

b)

圖神經網絡

圖神經網絡(GNN)廣泛應用于圖數據的表示學習。它可以利用圖中的關系信息，捕捉到節點鄰居的豐富特征，從而提升下游基于圖數據的任務表現。

通用的GNN框架搭建方法如下：

Step 1: 使用聚合器(Aggregate)將鄰居的特征聚集起來。

不同節點的鄰居數量不同，因此這一步能將任意數目的鄰居點的特征向量整合為固定長度的向量。

聚合的方法：mean, sum, weighted sum…

從降噪的角度出發：mean(能抑制噪聲) >= weighted sum > pooling > sum(會放大噪聲)。

Step 2: 使用組合器(Combine)把聚合完的特征向量和節點自身的特征向量組合為一個新的特征向量。

組合的方法：concatenate, mean, weighted sum…

從保留信息的能力出發：concatenate(乘以參數矩陣來決定向量中的有用部分) > mean = weighted sum(對信息有一定失真)

實際上，并不是所有節點的鄰居都包含特定任務的相關信息。因此，數據關系既可能提供正面信息也可能造成負干擾！比如圖中，拉近不同類點之間的距離，反而會讓分類問題更加復雜。如此利用額外信息，會起到相反效果！

問題來了：什么樣的圖數據(關系)，是適合目前的圖神經網絡的？

答案：利用數據關系帶來的性能提升，和原始圖數據中節點從鄰居獲取的信息的“數量”和“質量”有關！為此，可以用兩種平滑度度量方法，來衡量這兩個方面！

二、兩個平滑度度量

a)

背景：KL散度(或信息增益)

已知S(surrounding)后對原系統C(context)的信息增益：通俗來講，C和S的歐式距離越大，其二者特征越不相似，鄰居節點能帶來的信息增益越大，導致對節點特征的改變越大。

b)

背景：圖信號處理后的平滑度

Lambda(傅里葉變換的頻率)很小時，表示信號頻率和很低，平滑程度很高。

Lambda很大時，表示信號頻率很高，表現為很不平滑(平滑度很低)。

c)

信息度量一：特征平滑度

對圖上所有節點，算出每個節點與鄰居節點的距離之和的平方，然后對所有節點進行加和，取曼哈頓距離，最后除以特征維度和邊的數目，得到特征平滑度。數學證明KL散度與特征平滑度成正比，即信息增益的大小與特征平滑度成正相關。

d)

信息度量二：標簽平滑度

針對圖中所有的邊，計算連接不同類別節點的邊的比例，得到取值范圍為0-1的值。直觀上，標簽平滑度為零時，只有同類數據會被“拉近“。

注意：現實中無法獲知測試集的標簽信息，因此可用訓練集已知的標簽平滑度來近似真實的位置的標簽平滑度。

三、神奇的CS-GNN模型

于是，侯逸帆提出了一種新的模型CS-GNN，該模型利用這兩個平滑度指標選擇性地聚集鄰居信息，以放大有用信息，減少負干擾！

注意這里存在一個tradeoff：盡可能地選同類別(保證信息增益的質量)的不相似的(提高信息增益的大小)鄰居。

實驗結果證明了的方法對于給定任務測量圖形的平滑度值的有效性，并且CS-GNN能夠獲得更多有用的信息，以實現優于現有方法的性能！

答疑互動

最后和大家分享直播后微信群里大家與兩位嘉賓的部分互動。

剛剛result部分的OOM是指什么？該程序跑起來，需要什么樣的服務器？

一般來說對于圖數據，會經常有OOM(Out of memory)的情況出現。一般一個16G的卡跑帶attention的GNN節點數不能超過10W。過大的話就只能通過鄰居采樣等方法優化，或者是持續用IO幾個batch讀一次。

有點好奇特征平滑度和標簽平滑度有特定閾值嗎？比如達到什么范圍時圖數據的效果最好？

因為這兩個值是信息增益的一個近似，很難去用他們得到一些精確的結論。不過還是可以用這兩個值幫助大家選擇圖數據或者理解改進圖神經網絡的

整理：鴿鴿

審稿：侯逸帆

AI Time歡迎AI領域學者投稿，期待大家剖析學科歷史發展和前沿技術。針對熱門話題，我們將邀請專家一起論道。同時，我們也長期招募優質的撰稿人，頂級的平臺需要頂級的你，請將簡歷等信息發至yun.he@aminer.cn！

微信聯系：AITIME_HY

?

AI Time是清華大學計算機系一群關注人工智能發展，并有思想情懷的青年學者們創辦的圈子,旨在發揚科學思辨精神，邀請各界人士對人工智能理論、算法、場景、應用的本質問題進行探索，加強思想碰撞，打造一個知識分享的聚集地。

更多資訊請掃碼關注

(點擊“閱讀原文”下載本次報告ppt)

(直播回放：https://b23.tv/BV1fV411k7n1)

總結

以上是生活随笔為你收集整理的kl散度度量分布_论“邻里关系”的学问：度量和改进图信息在图神经网络中的使用 | AI Time PhD ICLR...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。