論文工作

在深度圖學習領域，構建具有表達性高效的模型來處理源圖和目標圖之間的全局和局部演化模式是一項具有挑戰性的工作，另一方面，但手工確定合適的指定譜模型需要大量的勞動，擬合它們的潛在組合和成分的難度很大。

為了解決這些問題，本文提出了利用廣義圖核組成的深度圖譜演化網絡（GSEN）來對圖拓撲演化問題進行建模。在理論保證和實驗驗證的前提下，GSEN 可以有效擬合范圍廣泛的現有圖核及其它們組合和構成。

論文標題：

Deep Graph Spectral Evolution Networks for Graph Topological Evolution

論文來源：

AAAI 2021

論文鏈接：

https://ojs.aaai.org/index.php/AAAI/article/view/16903

論文方法

2.1 基于譜進化的圖拓撲演化

問題描述

原圖定義為 ，為無向有權圖， 表示節點集， 表示邊集， 為定義邊權值的鄰接矩陣。歸一化后的鄰接矩陣定義為 ， 表示度矩陣。 定義為拉普拉斯矩陣，歸一化后的拉普拉斯矩陣表示為 ，目標圖定義為 。

定義1 基于譜進化的圖變換

譜圖變換問題是指源圖 到目標圖 的圖拓撲變換， 可以通過圖的譜的變化來建模，變化過程中圖的傅里葉基保持相似。

為了確定函數 ，可以利用基于圖小波現有研究的各種圖核，包括熱核 和許多其他圖核如表 1 所示。幾個圖核已經被經驗證明可以有效地建模一些特定的圖過程。

2.2 廣義圖核

本文提出了一種新的非參數核，它具有很強的表達能力，可以覆蓋各種圖核及其組成。我們首先將這種表達核的學習表述為一個優化問題如下：

引理 1：

用矩陣（如鄰接矩陣、圖拉普拉斯算子等） 和 表示圖拓撲結構 和 ，根據特征分解得到 和 。那么定義 1 中的譜圖變換問題可以通過解析函數 顯式表述為 ，該解析函數 可由下式學習，給定 ：

證明：

的訓練目的是最小化對真實目標圖的平方損失：

本文提出以下新的廣義圖核：

引理 2：

上式中的廣義圖核具有以下性質：

性質 1：表 1 中列出的各種現有圖核是廣義圖核操作的特殊情況。

性質 2：現有圖核的加法組合和組合是操作的特殊情況。

性質 1 證明：

經典的圖核有下面四種類型：拉普拉斯矩陣 ，鄰接矩陣 ，歸一化的拉普拉斯矩陣 ，歸一化的鄰接矩陣 。在不損失一般性的情況下，使用圖的拉普拉斯算子來表示圖并構造核，即 ?；谏鲜鰳嬙斓膱D核，可以轉化為：

拉普拉斯矩陣下的圖核：

鄰接矩陣下圖核：

歸一化的拉普拉斯矩陣下的圖核：

歸一化的鄰接矩陣下的圖核：

性質 2 證明：

假設有兩個廣義圖核 和 ，那么很容易看出，它們的相加和組合仍然可以被另一個廣義圖核擬合。對于求和，兩個圖核可以轉化為相應的廣義內核和，同時，也是一個廣義的內核（即方程 2）。

2.3 深度圖譜進化網絡

本文提出了一種基于廣義圖核的神經網絡模型，將多項式的階數從無窮大降至 K, K 與圖的大小無關，通常遠小于圖的大小。我們的神經網絡是將多個廣義圖核作為一種特殊的多階一維卷積運算疊加而成，如圖 1 所示。

每一層都可以表示如下：

是激活函數。如圖 1 所示，通過源圖到目標圖的 層卷積操作來實現神經網絡。具體來說，輸入 為 的圖譜。對于第 層，計算矩陣 的對角向量并拼接，如圖 1 中的橙色區域所示。

同理，計算矩陣的對角向量并 拼接，如圖 1 中的黃色區域所示。然后這兩個區域分別被 α 和 γ 核卷積，執行活化函數后得到 。反復進行卷積運算，直到第 層，輸出目標圖的預測圖譜 。

實驗

3.1 數據集

Synthetic Datasets

在 11 個合成數據集中，每個數據集中生成 1000 個源-目標圖對。具體來說，首先，使用 Erdos Renyi 模型（Erdos and Renyi 1960）生成 1000 個 50 個節點、200 條邊的未加權、無向隨機圖作為源圖，然后給源圖中的每條邊分配 0 到 1 之間的隨機權重。最后，通過應用表 1 中的一個內核生成 1000 個目標圖，其中每個合成數據集利用一個不同的內核。

Real-world HCP Dataset

數據集中，源圖和目標圖分別反映了同一受試者大腦網絡的結構連通性（SC）和功能連通性（FC）。FC 定義為從靜息狀態功能 MRI 數據中獲得的兩個 ROI 血氧水平依賴時間之間的 Pearson 相關性。所有 823 對 SC 和 FC 鄰接矩陣按照節中的定義進行了歸一化。

Real-world IoT Datasets

數據集中，節點代表物聯網（IoT）設備，邊緣表示兩個設備之間的通信鏈路。每個源圖都反映了網絡的通信狀態，網絡中的一些節點被某些類型的惡意軟件感染。為了限制被惡意軟件感染的設備向其他設備傳播，惡意軟件的限制是通過切斷部分鏈接來實現的，同時最大限度地發揮網絡的功能。將受限網絡視為源圖對應的目標圖。

3.2 實驗結果

Performance on synthetic datasets

對于合成數據集，文章比較了各種核生成的目標圖與各種方法預測的圖之間的皮爾遜相關性。表 2 總結了 11 個合成數據集的有效性比較。論文的方法在所有 11 個合成數據集中平均達到 0.90 的 Pearson 相關性，比第二好的方法 C-DGT 高出約 50%。此外，GSEN 在 14 種方法中的 11 個數據集中有 8 個取得了最好的性能。

Performance on real-world datasets

表 3 給出了預測圖與經驗目標圖的 Pearson 相關性（PR）和 R2 值。在 4 個數據集中，本文的方法在 3 個數據集上獲得了最高的 Pearson 系數和 R2，在 PR 和 R2 中顯著優于所有比較方法，分別超過 8% 和 0.20 以上。對于惡意軟件限制數據集，即物聯網數據集，GSEN 明顯優于 R2 和 PR 中的 C-DGT 方法，后者是這些數據集上最先進的方法。

圖 2（a）和 2（b）繪制了兩個被試的圖：1）結構連通性（左列為源圖的鄰接矩陣），2）經驗功能連通性（中列為目標圖的鄰接矩陣），3）預測功能連通性（右列為目標圖的鄰接矩陣）。如圖 2 所示，使用 Subject 121 的 SC 預測的 FC 與相同的受試者經驗 FC 非常接近。

圖 3 展示了源圖、經驗目標圖和 GSEN 方法從惡意軟件限制數據集預測目標圖的一個例子。為了防止網絡被惡意軟件中斷，在保持整個網絡最優功能的同時，切斷網絡中的部分鏈接，形成了比源圖稀疏的經驗目標圖。對比經驗目標圖和預測目標圖，GSEN 方法可以很明顯地預測出應該切斷哪個鏈接以防止惡意軟件的傳播。

Efficiency evaluation

表 4 中報告了 7 個數據集使用 CPU 訓練 100 個 epoch 的平均訓練時間，并將結果與兩種基于深度學習的圖翻譯方法進行了比較。對于 GSEN 網絡，作者把冪次 K 和層數都設為 5。對于其他兩種比較方法，將應用默認設置。

如表 4 所示，論文的方法平均比 GT-GAN 方法快 967 倍，比 C-DGT 方法快 72 倍。注意，由于內存不足錯誤，C-DGT 無法處理節點超過 400 個的圖。該方法的可擴展性是顯著的，在 1000 個節點的圖上，每 epoch 可以訓練 4.75 秒。

結論

本文針對頻譜圖拓撲演化問題，提出了一種新的深度圖譜演化網絡（GSEN），該網絡在模型表達性和效率之間實現了令人滿意的平衡。該模型解決了現有模型在圖拓撲演化領域存在的超線性時間復雜度和存儲復雜度問題。在多個綜合數據集和真實數據集上的實驗結果表明，該方法在圖形拓撲預測精度和運行時間方面具有良好的表達能力和高效精度，并對預測的圖形拓撲進行了定性分析。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的AAAI 2021 | 用于图拓扑演化的深度图谱进化网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。