文章目錄

• 1 intorduction
• 2. 相關(guān)工作
• 3. 準(zhǔn)備工作
• 4.model
• • 4.2 Micro-dynamics Preserved Embedding
  • • 4.2.1 分層時間關(guān)注
  • 4.3 Macro-dynamics Preserved Embedding
  • • 4.3.1鏈接速率
    • 4.3.2 宏觀約束
  • 聯(lián)合
• 5. 實驗

網(wǎng)絡(luò)嵌入的目的是將節(jié)點嵌入到低維空間中，同時捕獲網(wǎng)絡(luò)的結(jié)構(gòu)和屬性。雖然有很多很有前途的網(wǎng)絡(luò)嵌入方法被提出，但大多數(shù)都集中在靜態(tài)網(wǎng)絡(luò)上。實際上，時間網(wǎng)絡(luò)是普遍存在的，它通常是在微觀和宏觀動態(tài)方面隨時間演化的。微觀動力學(xué)詳細描述了網(wǎng)絡(luò)結(jié)構(gòu)的形成過程，宏觀動力學(xué)是指網(wǎng)絡(luò)規(guī)模的演化模式。微觀和宏觀動態(tài)是網(wǎng)絡(luò)演化的關(guān)鍵因素;然而，如何在時間網(wǎng)絡(luò)嵌入中優(yōu)雅地捕獲它們，特別是宏觀動態(tài)，還沒有得到很好的研究。在本文中，我們提出了一種新的時間網(wǎng)絡(luò)嵌入方法，稱為M2DNE。具體地說，對于微觀動力學(xué)，我們把邊緣的建立看作是時間事件的發(fā)生，并提出了一個時間注意點過程來精細地捕捉網(wǎng)絡(luò)結(jié)構(gòu)的形成過程。對于宏觀動力學(xué)，我們定義了一個用網(wǎng)絡(luò)嵌入?yún)?shù)化的一般動力學(xué)方程來捕獲內(nèi)在的演化模式，并在更高的結(jié)構(gòu)層次上對網(wǎng)絡(luò)嵌入施加約束。時間網(wǎng)絡(luò)中微觀和宏觀動態(tài)的相互演化交替影響學(xué)習(xí)節(jié)點嵌入的過程。在三個真實世界的時間網(wǎng)絡(luò)上進行的大量實驗表明，M2DNE不僅在傳統(tǒng)任務(wù)(如網(wǎng)絡(luò)重構(gòu))方面，而且在與時間趨勢相關(guān)的任務(wù)(如規(guī)模預(yù)測)方面，都顯著優(yōu)于最先進的時間網(wǎng)絡(luò)。

1 intorduction

• 時間網(wǎng)絡(luò)嵌入
• 基本要求：必須保持網(wǎng)絡(luò)結(jié)構(gòu)并反映網(wǎng)絡(luò)的時間演化
• 影響
  • 鄰居對邊的影響是雙向的（一個邊，有兩個點）
  • 不同鄰居影響不同
• 其他工作的缺點
  • 它們要么將演化過程簡化為一系列網(wǎng)絡(luò)快照，不能真正揭示邊緣的形成順序;
  • 或使用隨機過程對鄰近結(jié)構(gòu)建模，忽略細粒度結(jié)構(gòu)和時間特性
  • 沒有做到的：學(xué)習(xí)的嵌入空間能否在時態(tài)網(wǎng)絡(luò)中對宏觀動態(tài)進行編碼是時態(tài)網(wǎng)絡(luò)嵌入方法的關(guān)鍵要求。但以前的工作沒有
    • 原因：

更重要的是，在宏觀層面上，時間網(wǎng)絡(luò)的另一個顯著特征是網(wǎng)絡(luò)規(guī)模隨著時間的推移呈明顯的分布，如s形s形曲線[12]或冪律樣的模式[32]。如圖1所示，當(dāng)網(wǎng)絡(luò)隨時間演化時，邊緣不斷構(gòu)建，并在每個時間戳形成網(wǎng)絡(luò)結(jié)構(gòu)。因此，網(wǎng)絡(luò)規(guī)模，即。，邊的數(shù)量是隨時間增長的，并且遵循一定的基本原則，而不是隨機產(chǎn)生的。這種宏觀動態(tài)揭示了時間網(wǎng)絡(luò)的內(nèi)在演化規(guī)律，對網(wǎng)絡(luò)嵌入施加了更高結(jié)構(gòu)層次的約束，即，他們決定了隨著網(wǎng)絡(luò)的發(fā)展，應(yīng)該完全通過微動態(tài)嵌入來生成多少條邊。宏觀動力學(xué)的引入為提高網(wǎng)絡(luò)嵌入的能力、保持網(wǎng)絡(luò)結(jié)構(gòu)和進化模式提供了有價值和有效的進化信息，這將在很大程度上增強網(wǎng)絡(luò)嵌入的泛化能力。因此，學(xué)習(xí)的嵌入空間能否在時態(tài)網(wǎng)絡(luò)中對宏觀動態(tài)進行編碼是時態(tài)網(wǎng)絡(luò)嵌入方法的關(guān)鍵要求。遺憾的是，現(xiàn)有的時態(tài)網(wǎng)絡(luò)嵌入方法雖然宏觀動態(tài)與時態(tài)網(wǎng)絡(luò)密切相關(guān)，但都沒有考慮到這一點。

• 首次研究了時間網(wǎng)絡(luò)嵌入中包含微觀動力學(xué)和宏觀動力學(xué)的重要問題。
• 我們提出了一種新的時間網(wǎng)絡(luò)嵌入方法(M2DNE)，該方法在微觀上用時間注意點過程來模擬網(wǎng)絡(luò)結(jié)構(gòu)的形成過程，在宏觀上用動力學(xué)方程來約束網(wǎng)絡(luò)結(jié)構(gòu)服從一定的演化模式。
• ?我們進行了全面的實驗，以驗證M2DNE在傳統(tǒng)應(yīng)用(如網(wǎng)絡(luò)重建和時間鏈路預(yù)分配)上的優(yōu)勢，以及一些與時間網(wǎng)絡(luò)相關(guān)的新應(yīng)用(如規(guī)模預(yù)測)。

2. 相關(guān)工作

• 靜態(tài)網(wǎng)絡(luò)de

  • 受word2vec[18]的啟發(fā)，提出了利用skipgram模型學(xué)習(xí)節(jié)點嵌入的基于隨機游走的方法[9,21]。之后，
  • [22,30]被設(shè)計成更好地保存網(wǎng)絡(luò)屬性，例如高階鄰近性。
  • 也有一些基于深度神經(jīng)網(wǎng)絡(luò)的方法，如
    • 基于自編碼器的方法[28,29]和
    • 基于圖神經(jīng)網(wǎng)絡(luò)的方法[11,27]。此外，
  • 還有一些模型是針對異構(gòu)信息網(wǎng)絡(luò)[5,15,23]或
  • 屬性網(wǎng)絡(luò)[33]設(shè)計的。

• 時間網(wǎng)絡(luò)嵌入的工作：時間網(wǎng)絡(luò)嵌入有一些嘗試，大致可分為兩類:

  • 嵌入快照網(wǎng)絡(luò)[6,8,14,34,35]和
    • 基本思想是學(xué)習(xí)每個網(wǎng)絡(luò)快照的節(jié)點嵌入。具體來說，
    • DANE[14]和DHPE[35]提出了基于擾動理論的高效算法。
    • Song等人擴展了基于跳躍圖的模型，提出了動態(tài)網(wǎng)絡(luò)嵌入框架[6]。
    • DynamicTriad[34]對三元閉合過程進行建模，以捕獲動態(tài)并在每個時間步長學(xué)習(xí)節(jié)點嵌入。
  • 時間演化建模
    • 試圖捕獲潛在嵌入的網(wǎng)絡(luò)演化模式。[26]將圖數(shù)據(jù)上的時間演化描述為關(guān)聯(lián)和通信過程，提出了一種深度表示學(xué)習(xí)框架
    • TNE[37]提出了一種基于Hawkes過程的網(wǎng)絡(luò)嵌入方法，該方法通過對鄰域形成序列建模來學(xué)習(xí)節(jié)點嵌入。此外，
  • 還有一些特定于任務(wù)的時態(tài)網(wǎng)絡(luò)嵌入方法。
    • NetWalk[31]是一種基于動態(tài)聚類算法檢測網(wǎng)絡(luò)偏差的異常檢測框架。

• 與本文不同：它們都沒有將微觀和宏觀動態(tài)集成到時態(tài)網(wǎng)絡(luò)嵌入中。

3. 準(zhǔn)備工作

• 條件概率密度
  

4.model

• 將微觀和宏觀動態(tài)集成到時態(tài)網(wǎng)絡(luò)嵌入中。
  • 從微觀角度(即，圖2(a))中，我們將邊的建立視為時間事件，并提出了一個時間注意點流程來捕獲用于網(wǎng)絡(luò)嵌入的細粒度結(jié)構(gòu)和時間屬性。
    • 邊緣(如v3、v4、tj)的建立是由節(jié)點本身和它們的歷史鄰居(如{v1、v2、··}和{v5、v2、···})決定的，其中不同的影響通過分層的時間注意被捕獲。
  • 從宏觀的角度(即。，圖2(b)))，網(wǎng)絡(luò)規(guī)模的內(nèi)在演化模式在更高的層次上約束著網(wǎng)絡(luò)結(jié)構(gòu)，它被定義為一個用網(wǎng)絡(luò)嵌入來參數(shù)化的動力學(xué)方程U和時間戳t
  • 微觀和宏觀動態(tài)以一種相互的方式發(fā)展和派生節(jié)點嵌入(即節(jié)點嵌入)。圖2 ?)。從歷史結(jié)構(gòu)的微觀預(yù)測表明，節(jié)點v3可能與三個節(jié)點(即，三個新的時間邊緣將被建立)在時間tj，而宏觀動力學(xué)保留了嵌入，根據(jù)網(wǎng)絡(luò)規(guī)模的演化模式，新邊的數(shù)量限制為2條。
  • 因此，利用我們提出的M2DNE，網(wǎng)絡(luò)嵌入可以獲得更精確的結(jié)構(gòu)和時間特性。

4.2 Micro-dynamics Preserved Embedding

• 建立邊：
  • 當(dāng)前時間：i與j的相似度高更可能建立一個邊（i,j,t)
  • 另一方面，歷史鄰居與當(dāng)前節(jié)點之間的相似性表明了過去對事件(i, j,t)的影響程度，隨著時間的推移，其影響程度應(yīng)該逐漸減小，并且與不同的鄰居之間存在差異
    
• $$\begin{gathered} H^j(t):t之前的，j的鄰居。tq為他倆還是鄰居的時刻(i,q,tq) \\ \kappa =exp(?{\delta }_i(t?t_p)) \end{gathered}$$
• 過去對現(xiàn)在可能促進也可能抑制，所以用個函數(shù)保證他永正
  

4.2.1 分層時間關(guān)注

• 由于研究者的興趣會隨著研究熱點的變化而變化，所以他的鄰居的影響不是靜態(tài)的，而是動態(tài)的。因此，我們提出了一種時間層次的注意機制來捕捉歷史結(jié)構(gòu)的這種不一致和動態(tài)的影響。
• 每個鄰居的局部影響
  
• 全局所有鄰居對當(dāng)前事件的關(guān)注程度
  
  s-單層神經(jīng)網(wǎng)絡(luò)
• 由于注意本身是隨時間網(wǎng)絡(luò)的微觀動態(tài)演化的，將注意的這兩部分結(jié)合起來，可以耦合地保持注意的結(jié)構(gòu)和時間特性
• 有邊的概率
  
• 下面的是目標(biāo)函數(shù)

4.3 Macro-dynamics Preserved Embedding

• 它決定了現(xiàn)在總共應(yīng)該生成多少條邊
• 給定一個時間網(wǎng)絡(luò)G = (V, E, T),我們有累積的節(jié)點數(shù)n為每個節(jié)點通過時間T (T)。我,它鏈接其他節(jié)點(例如,節(jié)點j)連接率r (T)在時間T。根據(jù)致密化權(quán)力的法律網(wǎng)絡(luò)演化[12日32],我們平均訪問鄰居$\zeta (n(T)?1{)}^{\gamma }$與線性稀疏系數(shù)ζ和冪律指數(shù)γ稀疏。因此，我們將宏觀動力學(xué)定義為t時刻新邊的數(shù)量
• 宏觀動力學(xué)
  
  其中n (t)可以獲得由時間t隨著網(wǎng)絡(luò)的發(fā)展,ζ,γ與模型優(yōu)化可學(xué)的。

4.3.1鏈接速率

由于連接速率r(t)對網(wǎng)絡(luò)規(guī)模[12]的演化起著至關(guān)重要的作用，它不僅依賴于網(wǎng)絡(luò)的時間信息，還依賴于網(wǎng)絡(luò)的結(jié)構(gòu)特性。一方面，更多的邊是在網(wǎng)絡(luò)的初始階段形成的，而增長速度隨著網(wǎng)絡(luò)的致密化而衰減。因此，連接速率應(yīng)該隨時間項而衰減。另一方面，邊的建立促進了網(wǎng)絡(luò)結(jié)構(gòu)的演化，連接速率應(yīng)與網(wǎng)絡(luò)的結(jié)構(gòu)性質(zhì)有關(guān)。因此,為了捕捉時間和網(wǎng)絡(luò)嵌入結(jié)構(gòu)信息等我們參數(shù)化網(wǎng)絡(luò)的連接速度和時間終結(jié)的術(shù)語tθ和節(jié)點嵌入

4.3.2 宏觀約束

聯(lián)合

由于微觀和宏觀動態(tài)相互驅(qū)動時間網(wǎng)絡(luò)的演化，交替影響網(wǎng)絡(luò)嵌入的學(xué)習(xí)過程，我們有以下模型來統(tǒng)一捕捉拓撲結(jié)構(gòu)的形成過程和網(wǎng)絡(luò)規(guī)模的演化模式

• 第二項：最小二乘–》梯度下降
• 第一項：計算代價高
• 重寫第一項：（sigmoid
  
• 可用小批次梯度下降

5. 實驗

• 準(zhǔn)確度
• 能否抓住時間特性
• 能否預(yù)測網(wǎng)絡(luò)規(guī)模的發(fā)展趨勢

總結(jié)

以上是生活随笔為你收集整理的论文学习6-（M2DNE）Temporal Network Embedding with Micro- and Macro-dynamics的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。