在碎片化閱讀充斥眼球的時代，越來越少的人會去關(guān)注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第?100?篇文章

本期推薦的論文筆記來自 PaperWeekly 社區(qū)用戶 @xuehansheng。本文是斯坦福大學(xué)發(fā)表于 KDD ’18 的工作，論文提出了一種通過利用熱小波擴散模式、通過低維嵌入來表示每個節(jié)點的網(wǎng)絡(luò)鄰域的方法——GraphWave。?

GraphWave 不是在手工選擇的特征上進行訓(xùn)練，而是以無人監(jiān)督的方式學(xué)習(xí)這些嵌入。文章在數(shù)學(xué)上證明具有相似網(wǎng)絡(luò)鄰域的節(jié)點將具有類似的 GraphWave 嵌入，即使這些節(jié)點可能駐留在網(wǎng)絡(luò)的非常不同的部分中。

如果你對本文工作感興趣，點擊底部閱讀原文即可查看原論文。

關(guān)于作者：薛寒生，澳大利亞國立大學(xué)博士生，研究方向為人工智能與計算生物學(xué)。

■?論文 | Learning Structural Node Embeddings via Diffusion Wavelets

■ 鏈接 | https://www.paperweekly.site/papers/2204

■ 源碼 | https://github.com/snap-stanford/graphwave

論文動機

駐留在圖的不同部分中的節(jié)點可能在其本地網(wǎng)絡(luò)拓撲中具有類似的結(jié)構(gòu)角色。然而學(xué)習(xí)節(jié)點的結(jié)構(gòu)表示是一項具有挑戰(zhàn)性的無監(jiān)督學(xué)習(xí)任務(wù)，其通常涉及為每個節(jié)點人工指定和定制拓撲特征。?

GraphWave 是一種可擴展的無監(jiān)督方法，用于基于網(wǎng)絡(luò)中的結(jié)構(gòu)相似性來學(xué)習(xí)節(jié)點嵌入。 GraphWave 通過將小波視為概率分布，并使用經(jīng)驗特征函數(shù)表征分布來開發(fā)光譜圖小波的新用途。?

GraphWave 提供理論保證，具有相似本地網(wǎng)絡(luò)鄰域的節(jié)點將具有類似的 GraphWave 嵌入，即使這些節(jié)點可能駐留在網(wǎng)絡(luò)的非常不同的部分中。 GraphWave 與邊數(shù)成線性比例，不需要任何人工定制節(jié)點的拓撲特征。

GraphWave 模型介紹

GraphWave 基于以該節(jié)點為中心的譜圖小波的擴散，學(xué)習(xí)每個節(jié)點的結(jié)構(gòu)嵌入。直觀地，每個節(jié)點在圖上傳播能量單位，并基于網(wǎng)絡(luò)對該探測的響應(yīng)來表征其相鄰?fù)負洹?/span>

GraphWave 使用一種新穎的方法將小波視為圖上的概率分布。通過這種方式，結(jié)構(gòu)信息包含在擴散如何通過網(wǎng)絡(luò)傳播而不是傳播的位置。為了提供矢量值特征，然后可以將其用作任何機器學(xué)習(xí)算法的輸入，GraphWave 使用經(jīng)驗特征函數(shù)嵌入這些小波分布。

在上圖中，節(jié)點 a 和 b 具有相似的局部結(jié)構(gòu)角色，即使它們在圖中很遠。雖然 a 和 b 的原始光譜圖小波簽名/系數(shù) Ψ 可能非常不同，但 GraphWave 將它們視為概率分布，因此可以自動了解系數(shù)分布確實相似。Graphwave 利用這些新見解，基于以節(jié)點 a/b 為中心的譜圖小波的擴散，學(xué)習(xí)節(jié)點 a/b 的結(jié)構(gòu)嵌入。

GraphWave Algorithm?

實驗結(jié)果

Barbell Graph?

在這個例子中，文章考慮一個杠鈴圖，它由兩個由長鏈連接的密集團組成。 我們將 GraphWave 應(yīng)用于杠鈴圖并繪制學(xué)習(xí)結(jié)構(gòu)簽名的 2D PCA。?

從下圖中可以看出，該圖具有 8 個不同類別的結(jié)構(gòu)等效節(jié)點，如顏色（左）所示。 結(jié)構(gòu)簽名的 2D PCA 投影（右）包含與杠鈴圖中的節(jié)點相同數(shù)量的點。 這是因為相同的簽名具有相同的投影，導(dǎo)致重疊點。

GraphWave 正確地學(xué)習(xí)了結(jié)構(gòu)等效節(jié)點的相同表示，為 GraphWave 的理論保證提供了經(jīng)驗證據(jù)。這可以通過圖中的結(jié)構(gòu)等效節(jié)點（相同顏色的節(jié)點）在 PCA 圖中具有相同的投影來看出。

特別是，GraphWave 正確地將 clique 節(jié)點（紫色）組合在一起。GraphWave 還正確區(qū)分連接杠鈴圖中兩個密集團的節(jié)點。它以類似梯度的模式表示那些捕獲這些節(jié)點的結(jié)構(gòu)角色譜的節(jié)點（右）。?

A Cycle Graph with Attached House Shapes 在這個例子中，文中考慮一個圖形，其中“房屋”形狀沿循環(huán)圖定期放置。和以前一樣，我們使用 GraphWave 來學(xué)習(xí)圖中節(jié)點的結(jié)構(gòu)簽名，然后使用有關(guān)結(jié)構(gòu)角色的地面實況信息來評估 GraphWave 的性能。

圖形在下圖（左）中可視化，同時還有 GraphWave 結(jié)構(gòu)簽名的 2D PCA 投影（中間）。我們觀察到結(jié)構(gòu)等效節(jié)點的表示重疊，GraphWave 完美地恢復(fù)了 6 種不同的節(jié)點類型。

可以看到小波系數(shù)分布的最終特征函數(shù)（右）。在該圖中，不同形狀的特征函數(shù)捕獲不同的結(jié)構(gòu)角色。我們注意到這些曲線所攜帶的藍色，淺綠色和紅色節(jié)點的作用之間的視覺接近度，以及它們與核心深綠色和紫色節(jié)點的明顯差異。

總結(jié)

文中提出了一種全新的 NE 方法 GraphWave，該方法使用譜圖小波為每個節(jié)點生成結(jié)構(gòu)嵌入，我們通過將小波視為分布并評估結(jié)果特征函數(shù)來實現(xiàn)。為網(wǎng)絡(luò)嵌入提供了全新的思路。

本文由 AI 學(xué)術(shù)社區(qū) PaperWeekly 精選推薦，社區(qū)目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學(xué)習(xí)、數(shù)據(jù)挖掘和信息檢索等研究方向，點擊閱讀原文即刻加入社區(qū)！

點擊以下標(biāo)題查看更多論文解讀：?

• 網(wǎng)絡(luò)表示學(xué)習(xí)綜述：一文理解Network Embedding

• 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）綜述

• 從傅里葉分析角度解讀深度學(xué)習(xí)的泛化能力
  

• 哈佛NLP組論文解讀：基于隱變量的注意力模型

• ACL2018高分論文：混合高斯隱向量文法

• COLING 2018最佳論文：序列標(biāo)注經(jīng)典模型復(fù)現(xiàn)

• ECCV 2018 | 騰訊AI Lab提出視頻再定位任務(wù)

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？?答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

總結(jié)

以上是生活随笔為你收集整理的KDD 18论文解读 | 斯坦福大学提出全新网络嵌入方法 — GraphWave的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。