文章目錄

• 1 intorduction
• 2. 相關工作
• 3. 準備工作
• 4.model
• • 4.2 Micro-dynamics Preserved Embedding
  • • 4.2.1 分層時間關注
  • 4.3 Macro-dynamics Preserved Embedding
  • • 4.3.1鏈接速率
    • 4.3.2 宏觀約束
  • 聯(lián)合
• 5. 實驗

網絡嵌入的目的是將節(jié)點嵌入到低維空間中，同時捕獲網絡的結構和屬性。雖然有很多很有前途的網絡嵌入方法被提出，但大多數(shù)都集中在靜態(tài)網絡上。實際上，時間網絡是普遍存在的，它通常是在微觀和宏觀動態(tài)方面隨時間演化的。微觀動力學詳細描述了網絡結構的形成過程，宏觀動力學是指網絡規(guī)模的演化模式。微觀和宏觀動態(tài)是網絡演化的關鍵因素;然而，如何在時間網絡嵌入中優(yōu)雅地捕獲它們，特別是宏觀動態(tài)，還沒有得到很好的研究。在本文中，我們提出了一種新的時間網絡嵌入方法，稱為M2DNE。具體地說，對于微觀動力學，我們把邊緣的建立看作是時間事件的發(fā)生，并提出了一個時間注意點過程來精細地捕捉網絡結構的形成過程。對于宏觀動力學，我們定義了一個用網絡嵌入參數(shù)化的一般動力學方程來捕獲內在的演化模式，并在更高的結構層次上對網絡嵌入施加約束。時間網絡中微觀和宏觀動態(tài)的相互演化交替影響學習節(jié)點嵌入的過程。在三個真實世界的時間網絡上進行的大量實驗表明，M2DNE不僅在傳統(tǒng)任務(如網絡重構)方面，而且在與時間趨勢相關的任務(如規(guī)模預測)方面，都顯著優(yōu)于最先進的時間網絡。

1 intorduction

• 時間網絡嵌入
• 基本要求：必須保持網絡結構并反映網絡的時間演化
• 影響
  • 鄰居對邊的影響是雙向的（一個邊，有兩個點）
  • 不同鄰居影響不同
• 其他工作的缺點
  • 它們要么將演化過程簡化為一系列網絡快照，不能真正揭示邊緣的形成順序;
  • 或使用隨機過程對鄰近結構建模，忽略細粒度結構和時間特性
  • 沒有做到的：學習的嵌入空間能否在時態(tài)網絡中對宏觀動態(tài)進行編碼是時態(tài)網絡嵌入方法的關鍵要求。但以前的工作沒有
    • 原因：

更重要的是，在宏觀層面上，時間網絡的另一個顯著特征是網絡規(guī)模隨著時間的推移呈明顯的分布，如s形s形曲線[12]或冪律樣的模式[32]。如圖1所示，當網絡隨時間演化時，邊緣不斷構建，并在每個時間戳形成網絡結構。因此，網絡規(guī)模，即。，邊的數(shù)量是隨時間增長的，并且遵循一定的基本原則，而不是隨機產生的。這種宏觀動態(tài)揭示了時間網絡的內在演化規(guī)律，對網絡嵌入施加了更高結構層次的約束，即，他們決定了隨著網絡的發(fā)展，應該完全通過微動態(tài)嵌入來生成多少條邊。宏觀動力學的引入為提高網絡嵌入的能力、保持網絡結構和進化模式提供了有價值和有效的進化信息，這將在很大程度上增強網絡嵌入的泛化能力。因此，學習的嵌入空間能否在時態(tài)網絡中對宏觀動態(tài)進行編碼是時態(tài)網絡嵌入方法的關鍵要求。遺憾的是，現(xiàn)有的時態(tài)網絡嵌入方法雖然宏觀動態(tài)與時態(tài)網絡密切相關，但都沒有考慮到這一點。

• 首次研究了時間網絡嵌入中包含微觀動力學和宏觀動力學的重要問題。
• 我們提出了一種新的時間網絡嵌入方法(M2DNE)，該方法在微觀上用時間注意點過程來模擬網絡結構的形成過程，在宏觀上用動力學方程來約束網絡結構服從一定的演化模式。
• ?我們進行了全面的實驗，以驗證M2DNE在傳統(tǒng)應用(如網絡重建和時間鏈路預分配)上的優(yōu)勢，以及一些與時間網絡相關的新應用(如規(guī)模預測)。

2. 相關工作

• 靜態(tài)網絡de

  • 受word2vec[18]的啟發(fā)，提出了利用skipgram模型學習節(jié)點嵌入的基于隨機游走的方法[9,21]。之后，
  • [22,30]被設計成更好地保存網絡屬性，例如高階鄰近性。
  • 也有一些基于深度神經網絡的方法，如
    • 基于自編碼器的方法[28,29]和
    • 基于圖神經網絡的方法[11,27]。此外，
  • 還有一些模型是針對異構信息網絡[5,15,23]或
  • 屬性網絡[33]設計的。

• 時間網絡嵌入的工作：時間網絡嵌入有一些嘗試，大致可分為兩類:

  • 嵌入快照網絡[6,8,14,34,35]和
    • 基本思想是學習每個網絡快照的節(jié)點嵌入。具體來說，
    • DANE[14]和DHPE[35]提出了基于擾動理論的高效算法。
    • Song等人擴展了基于跳躍圖的模型，提出了動態(tài)網絡嵌入框架[6]。
    • DynamicTriad[34]對三元閉合過程進行建模，以捕獲動態(tài)并在每個時間步長學習節(jié)點嵌入。
  • 時間演化建模
    • 試圖捕獲潛在嵌入的網絡演化模式。[26]將圖數(shù)據(jù)上的時間演化描述為關聯(lián)和通信過程，提出了一種深度表示學習框架
    • TNE[37]提出了一種基于Hawkes過程的網絡嵌入方法，該方法通過對鄰域形成序列建模來學習節(jié)點嵌入。此外，
  • 還有一些特定于任務的時態(tài)網絡嵌入方法。
    • NetWalk[31]是一種基于動態(tài)聚類算法檢測網絡偏差的異常檢測框架。

• 與本文不同：它們都沒有將微觀和宏觀動態(tài)集成到時態(tài)網絡嵌入中。

3. 準備工作

• 條件概率密度
  

4.model

• 將微觀和宏觀動態(tài)集成到時態(tài)網絡嵌入中。
  • 從微觀角度(即，圖2(a))中，我們將邊的建立視為時間事件，并提出了一個時間注意點流程來捕獲用于網絡嵌入的細粒度結構和時間屬性。
    • 邊緣(如v3、v4、tj)的建立是由節(jié)點本身和它們的歷史鄰居(如{v1、v2、··}和{v5、v2、···})決定的，其中不同的影響通過分層的時間注意被捕獲。
  • 從宏觀的角度(即。，圖2(b)))，網絡規(guī)模的內在演化模式在更高的層次上約束著網絡結構，它被定義為一個用網絡嵌入來參數(shù)化的動力學方程U和時間戳t
  • 微觀和宏觀動態(tài)以一種相互的方式發(fā)展和派生節(jié)點嵌入(即節(jié)點嵌入)。圖2 ?)。從歷史結構的微觀預測表明，節(jié)點v3可能與三個節(jié)點(即，三個新的時間邊緣將被建立)在時間tj，而宏觀動力學保留了嵌入，根據(jù)網絡規(guī)模的演化模式，新邊的數(shù)量限制為2條。
  • 因此，利用我們提出的M2DNE，網絡嵌入可以獲得更精確的結構和時間特性。

4.2 Micro-dynamics Preserved Embedding

• 建立邊：
  • 當前時間：i與j的相似度高更可能建立一個邊（i,j,t)
  • 另一方面，歷史鄰居與當前節(jié)點之間的相似性表明了過去對事件(i, j,t)的影響程度，隨著時間的推移，其影響程度應該逐漸減小，并且與不同的鄰居之間存在差異
    
• $$\begin{gathered} H^j(t):t之前的，j的鄰居。tq為他倆還是鄰居的時刻(i,q,tq) \\ \kappa =exp(?{\delta }_i(t?t_p)) \end{gathered}$$
• 過去對現(xiàn)在可能促進也可能抑制，所以用個函數(shù)保證他永正
  

4.2.1 分層時間關注

• 由于研究者的興趣會隨著研究熱點的變化而變化，所以他的鄰居的影響不是靜態(tài)的，而是動態(tài)的。因此，我們提出了一種時間層次的注意機制來捕捉歷史結構的這種不一致和動態(tài)的影響。
• 每個鄰居的局部影響
  
• 全局所有鄰居對當前事件的關注程度
  
  s-單層神經網絡
• 由于注意本身是隨時間網絡的微觀動態(tài)演化的，將注意的這兩部分結合起來，可以耦合地保持注意的結構和時間特性
• 有邊的概率
  
• 下面的是目標函數(shù)

4.3 Macro-dynamics Preserved Embedding

• 它決定了現(xiàn)在總共應該生成多少條邊
• 給定一個時間網絡G = (V, E, T),我們有累積的節(jié)點數(shù)n為每個節(jié)點通過時間T (T)。我,它鏈接其他節(jié)點(例如,節(jié)點j)連接率r (T)在時間T。根據(jù)致密化權力的法律網絡演化[12日32],我們平均訪問鄰居$\zeta (n(T)?1{)}^{\gamma }$與線性稀疏系數(shù)ζ和冪律指數(shù)γ稀疏。因此，我們將宏觀動力學定義為t時刻新邊的數(shù)量
• 宏觀動力學
  
  其中n (t)可以獲得由時間t隨著網絡的發(fā)展,ζ,γ與模型優(yōu)化可學的。

4.3.1鏈接速率

由于連接速率r(t)對網絡規(guī)模[12]的演化起著至關重要的作用，它不僅依賴于網絡的時間信息，還依賴于網絡的結構特性。一方面，更多的邊是在網絡的初始階段形成的，而增長速度隨著網絡的致密化而衰減。因此，連接速率應該隨時間項而衰減。另一方面，邊的建立促進了網絡結構的演化，連接速率應與網絡的結構性質有關。因此,為了捕捉時間和網絡嵌入結構信息等我們參數(shù)化網絡的連接速度和時間終結的術語tθ和節(jié)點嵌入

4.3.2 宏觀約束

聯(lián)合

由于微觀和宏觀動態(tài)相互驅動時間網絡的演化，交替影響網絡嵌入的學習過程，我們有以下模型來統(tǒng)一捕捉拓撲結構的形成過程和網絡規(guī)模的演化模式

• 第二項：最小二乘–》梯度下降
• 第一項：計算代價高
• 重寫第一項：（sigmoid
  
• 可用小批次梯度下降

5. 實驗

• 準確度
• 能否抓住時間特性
• 能否預測網絡規(guī)模的發(fā)展趨勢

總結

以上是生活随笔為你收集整理的论文学习6-（M2DNE）Temporal Network Embedding with Micro- and Macro-dynamics的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。