文章目錄

• 論文信息
• 摘要
• 主要內(nèi)容
• 問題定義
• • 動(dòng)態(tài)網(wǎng)絡(luò)(Dynamic Networks)
  • 動(dòng)態(tài)網(wǎng)絡(luò)中的網(wǎng)絡(luò)鏈接預(yù)測(cè)
• GC-LSTM
• • 編碼器（Encoder）
  • 解碼器（Decoder）
  • 損失函數(shù)與模型訓(xùn)練

論文信息

GC-LSTM: graph convolution embedded LSTM for dynamic networklink prediction

原文地址：https://link.springer.com/article/10.1007/s10489-021-02518-9

摘要

Dynamic network link prediction is becoming a hot topic in network science, due to its wide applications in biology, sociology, economy and industry. However, it is a challenge since network structure evolves with time, making long-term prediction of adding/deleting links especially difficult. Inspired by the great success of deep learning frameworks, especially the convolution neural network (CNN) and long short-term memory (LSTM) network, we propose a novel end-to-end model with a Graph Convolution Network(GCN) embedded LSTM, named GC-LSTM, for dynamic network link prediction. Thereinto, LSTM is adopted as the main framework to learn the temporal features of all snapshots of a dynamic network. While for each snapshot, GCN is applied to capture the local structural properties of nodes as well as the relationship between them. One benefit is that our GC-LSTM can predict both added and removed links, making it more practical in reality, while most existing dynamic link prediction methods can only handle removed links. Extensive experiments demonstrated that GC-LSTM achieves outstanding performance and outperforms existing state-of-the-art methods.

動(dòng)態(tài)網(wǎng)絡(luò)鏈接預(yù)測(cè)由于其在生物學(xué)、社會(huì)學(xué)、經(jīng)濟(jì)學(xué)和工業(yè)界的廣泛應(yīng)用，正成為網(wǎng)絡(luò)科學(xué)的研究熱點(diǎn)。然而，這是一個(gè)挑戰(zhàn)，因?yàn)榫W(wǎng)絡(luò)結(jié)構(gòu)隨著時(shí)間的推移而演變，使得添加/刪除鏈接的長(zhǎng)期預(yù)測(cè)特別困難。受深度學(xué)習(xí)框架，特別是卷積神經(jīng)網(wǎng)絡(luò)( CNN )和長(zhǎng)短時(shí)記憶( LSTM )網(wǎng)絡(luò)的巨大成功的啟發(fā)，我們提出了一種新的端到端模型，將圖卷積網(wǎng)絡(luò)( GCN )嵌入LSTM，命名為GC - LSTM，用于動(dòng)態(tài)網(wǎng)絡(luò)鏈接預(yù)測(cè)。其中，LSTM被用作學(xué)習(xí)動(dòng)態(tài)網(wǎng)絡(luò)所有快照的時(shí)間特征的主要框架。而對(duì)于每個(gè)快照，GCN被用來捕獲節(jié)點(diǎn)的局部結(jié)構(gòu)屬性以及它們之間的關(guān)系。一個(gè)好處是我們的GC - LSTM可以同時(shí)預(yù)測(cè)添加和刪除的鏈接，使其在現(xiàn)實(shí)中更具實(shí)用性，而大多數(shù)現(xiàn)有的動(dòng)態(tài)鏈接預(yù)測(cè)方法只能處理刪除的鏈接。大量實(shí)驗(yàn)表明，GC-LSTM取得了出色的性能，并優(yōu)于現(xiàn)有的最先進(jìn)的方法。

主要內(nèi)容

對(duì)于動(dòng)態(tài)網(wǎng)絡(luò)鏈接預(yù)測(cè)，提出一種新穎的端到端深度學(xué)習(xí)模型，命名為GC - LSTM，通過圖卷積提取每個(gè)快照網(wǎng)絡(luò)的結(jié)構(gòu)特征，通過LSTM學(xué)習(xí)時(shí)序結(jié)構(gòu)。這個(gè)模型可以高效的學(xué)習(xí)時(shí)空特征，對(duì)動(dòng)態(tài)網(wǎng)絡(luò)進(jìn)行精確預(yù)測(cè)。

現(xiàn)有的大多數(shù)方法只能預(yù)測(cè)網(wǎng)絡(luò)中增加的鏈接，而該方法可以預(yù)測(cè)所有即將出現(xiàn)、消失或不變的鏈接，從而得到整個(gè)動(dòng)態(tài)網(wǎng)絡(luò)演化的準(zhǔn)確預(yù)測(cè)。

進(jìn)行了大量的實(shí)驗(yàn)來驗(yàn)證GC - LSTM在動(dòng)態(tài)網(wǎng)絡(luò)上的有效性，并與不同的基線方法進(jìn)行比較。

問題定義

動(dòng)態(tài)網(wǎng)絡(luò)(Dynamic Networks)

動(dòng)態(tài)網(wǎng)絡(luò)可以表示為一系列離散的快照 {G₁, G₂, …, G_T}，其中G_t = (V, E_t, A_t)( t ∈ [1, T])表示 t 時(shí)刻的網(wǎng)絡(luò)。設(shè)V為所有節(jié)點(diǎn)的集合，E_t為固定時(shí)間跨度[ t - τ , t]內(nèi)的時(shí)態(tài)鏈路。A_t表示G_t的鄰接矩陣，如果i和j之間存在鏈接A_t ( i , j) = 1，，否則A_t ( i , j) = 0。

在靜態(tài)網(wǎng)絡(luò)中，網(wǎng)絡(luò)鏈路預(yù)測(cè)問題一般旨在通過當(dāng)前網(wǎng)絡(luò)預(yù)測(cè)未被觀測(cè)到的或未來的鏈路。靜態(tài)鏈接預(yù)測(cè)方法主要關(guān)注網(wǎng)絡(luò)的結(jié)構(gòu)特征。與靜態(tài)網(wǎng)絡(luò)鏈接預(yù)測(cè)不同，動(dòng)態(tài)網(wǎng)絡(luò)鏈接預(yù)測(cè)還需要根據(jù)以往快照的動(dòng)態(tài)演化過程來學(xué)習(xí)網(wǎng)絡(luò)的時(shí)序特征。我們的目標(biāo)是通過圖卷積提取每個(gè)快照網(wǎng)絡(luò)的結(jié)構(gòu)特征，并通過LSTM學(xué)習(xí)時(shí)間結(jié)構(gòu)。

動(dòng)態(tài)網(wǎng)絡(luò)中的網(wǎng)絡(luò)鏈接預(yù)測(cè)

給定長(zhǎng)度為T的一系列圖。動(dòng)態(tài)網(wǎng)絡(luò)鏈接預(yù)測(cè)被作為結(jié)構(gòu)序列建模問題考慮。它旨在學(xué)習(xí)前T個(gè)snapshot的演化信息來預(yù)測(cè)t時(shí)刻所有鏈路的概率。定義如下：

其中，表示前T個(gè)快照的鄰接矩陣，和分別是t時(shí)刻快照的真實(shí)鄰接矩陣和預(yù)測(cè)鄰接矩陣。

GC-LSTM

GC - LSTM由編碼器和解碼器組成，如下圖所示：

編碼器模型為GCN嵌入LSTM，利用GCN學(xué)習(xí)每個(gè)時(shí)刻快照的cell狀態(tài)c和隱藏狀態(tài)h的網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)利用LSTM學(xué)習(xí)每個(gè)鏈路狀態(tài)的時(shí)序信息。解碼器是一個(gè)全連接層網(wǎng)絡(luò)，用于將提取的特征映射回原始空間。GC-LSTM將輸出預(yù)測(cè)網(wǎng)絡(luò)并以統(tǒng)一的方式實(shí)現(xiàn)網(wǎng)絡(luò)鏈路預(yù)測(cè)。

編碼器（Encoder）

使用提出的GC - LSTM模型作為編碼器，從結(jié)構(gòu)序列數(shù)據(jù)中提取相應(yīng)的時(shí)間和結(jié)構(gòu)信息，最后時(shí)刻的隱含層向量h_t將作為GC - LSTM的輸出。

在動(dòng)態(tài)網(wǎng)絡(luò)鏈接預(yù)測(cè)任務(wù)中，每個(gè)節(jié)點(diǎn)多次與其他節(jié)點(diǎn)的鏈接狀態(tài)(存在或不存在)可以看作一個(gè)時(shí)間序列，等價(jià)于鄰接矩陣中的行向量。

LSTM應(yīng)用于捕捉時(shí)序數(shù)據(jù)的時(shí)序特征。因此，在GC - LSTM中，利用LSTM來解決長(zhǎng)期依賴問題，并有效地學(xué)習(xí)動(dòng)態(tài)圖的時(shí)間特征。動(dòng)態(tài)網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)的鏈路狀態(tài)可以使用LSTM來實(shí)現(xiàn)時(shí)序預(yù)測(cè)，比如預(yù)測(cè)下一時(shí)刻的鏈路。另一方面，需要利用節(jié)點(diǎn)先前的鏈路狀態(tài)信息，并考慮鄰居節(jié)點(diǎn)鏈路狀態(tài)的影響，以及網(wǎng)絡(luò)結(jié)構(gòu)特性。GCN在網(wǎng)絡(luò)嵌入學(xué)習(xí)結(jié)構(gòu)特征方面已經(jīng)被證明是有效的。提出GC - LSTM模型，其中采用圖卷積( GCN )模型提取每一時(shí)刻快照的結(jié)構(gòu)特征，LSTM學(xué)習(xí)動(dòng)態(tài)網(wǎng)絡(luò)的時(shí)序特征。

在GC - LSTM模型中，第一步是決定哪些信息會(huì)從之前的cell狀態(tài)中丟棄。下一步是更新cell狀態(tài)。更新后的cell信息不僅可以保存長(zhǎng)期信息，還可以有選擇地過濾掉一些無用的信息。最后，通過輸出門來實(shí)現(xiàn)輸出什么信息。

解碼器（Decoder）

為了輸出最終的預(yù)測(cè)網(wǎng)絡(luò)，我們使用全連接層網(wǎng)絡(luò)作為解碼器，將序列數(shù)據(jù)中上一時(shí)刻的隱藏向量h_t轉(zhuǎn)化為最終的概率矩陣：

損失函數(shù)與模型訓(xùn)練

訓(xùn)練整個(gè)GC - LSTM模型的目的是為了提高動(dòng)態(tài)網(wǎng)絡(luò)鏈路預(yù)測(cè)的準(zhǔn)確性，所以訓(xùn)練的目的是使輸出概率矩陣在t時(shí)刻與鄰接矩陣更加相似。

在回歸預(yù)測(cè)問題中，L₂通常用來反映預(yù)測(cè)值與真實(shí)值之間的相似程度。

由于網(wǎng)絡(luò)的稀疏性，會(huì)導(dǎo)致預(yù)測(cè)結(jié)果偏向于零。為了在一定程度上避免這種過擬合，還使用了正則化項(xiàng)L_reg。

因此，訓(xùn)練過程中的總損失定義為：

其中，β是權(quán)衡L₂和L_reg重要性的參數(shù)，最佳β將在模型訓(xùn)練過程中找到。正則化損失L_reg通過計(jì)算GC - LSTM模型中所有權(quán)重的平方和來計(jì)算。并采用Adam作為我們模型的優(yōu)化器。

總結(jié)

以上是生活随笔為你收集整理的【论文导读】-GCLSTM graph convolution embedded LSTM for dynamic network link prediction用于动态网络边预测的图卷积嵌入LSTM的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。