Weisfeiler-Lehman 算法

• Weisfeiler-Lehman(WL)算法
• • The Weisfeiler-Lehman Test of Isomorphism
  • The General Weisfeiler-Lehman Kernels
  • • 1.The Weisfeiler-Lehman Kernel Framework
    • 2.The Weisfeiler-Lehman Subtree Kernel
    • • 多圖上計(jì)算The Weisfeiler-Lehman Subtree Kernel
      • THE RAMON-GARTNER SUBTREE KERNEL
    • 3.The Weisfeiler-Lehman Edge Kernel
    • 4.The Weisfeiler-Lehman Shortest Path Kernel

Weisfeiler-Lehman(WL)算法

The Weisfeiler-Lehman Test of Isomorphism

• 圖核使用來自$Weisfeiler?Lehman$同構(gòu)檢驗(yàn)的概念，更具體地講是其一維變體，也稱為“樸素頂點(diǎn)修飾”
• 該算法的關(guān)鍵思想是通過對(duì)相鄰節(jié)點(diǎn)的節(jié)點(diǎn)標(biāo)簽排序后的集合來擴(kuò)展節(jié)點(diǎn)標(biāo)簽，并將這些擴(kuò)展后的標(biāo)簽壓縮為新的短標(biāo)簽
• $alphabet$ $\Sigma$必須足夠大才能使$f$具內(nèi)射性。 對(duì)于兩個(gè)圖，$|\Sigma |=2n$個(gè)滿足條件。

• $（a）$網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)有一個(gè)$label$，如圖中的彩色的$1，2，3，4，5$
• $（b）$標(biāo)簽擴(kuò)展：做一階廣度優(yōu)先搜索，即只遍歷自己的鄰居。比如在圖$（a）$網(wǎng)絡(luò)$G$中原$(5)$號(hào)節(jié)點(diǎn)，變成$(5,234)$，這是因?yàn)樵?span id="ozvdkddzhkzd" class="katex--inline">$（5）$節(jié)點(diǎn)的一階鄰居有$2，3和4$
• $（c）$標(biāo)簽壓縮：僅僅只是把擴(kuò)展標(biāo)簽映射成一個(gè)新標(biāo)簽，如 $5,234=>13$
• $（d）$壓縮標(biāo)簽替換擴(kuò)展標(biāo)簽
• $（e）$數(shù)標(biāo)簽：比如在$G$網(wǎng)絡(luò)中，含有$1$號(hào)標(biāo)簽$2$個(gè)，那么第一個(gè)數(shù)字就是$2$。這些標(biāo)簽的個(gè)數(shù)作為整個(gè)網(wǎng)絡(luò)的新特征

算法：
假設(shè)要測(cè)試同構(gòu)的兩張圖為$G$和$G’$，那么在結(jié)點(diǎn)$v$的第$i$次迭代里，算法都分別做了四步處理：標(biāo)簽復(fù)合集定義、復(fù)合集排序、標(biāo)簽壓縮和重標(biāo)簽

• $WLtest$的復(fù)雜度是$O(hm)$，其中h為$iteration$次數(shù)，$m$是一次$iteration$里$multiset$的個(gè)數(shù)

一維的$Weisfeiler?Lehman$如下所示：


穩(wěn)定后，統(tǒng)計(jì)兩張圖的$label$的分布，如果分布相同，則一般認(rèn)為兩張圖時(shí)同構(gòu)的。

注意：我們可以發(fā)現(xiàn)，$WLtest$方法的步驟和$GNNs$具有異曲同工之妙，都是通過不斷聚合鄰居信息，得到節(jié)點(diǎn)的新表示，這也是為什么$Kipf$在$2017$年$GCN$的論文中單獨(dú)討論和$GCN$和$WLtest$關(guān)系的原因。而正是這種統(tǒng)一性，才使得本文能以 $WLtest$ 為基礎(chǔ)來分析$GNNs$框架。

The General Weisfeiler-Lehman Kernels

1.The Weisfeiler-Lehman Kernel Framework

• $Weisfeiler?Lehmanalgorithm$ 對(duì)圖$G$和$G^{\prime }$的結(jié)點(diǎn)進(jìn)行重標(biāo)簽時(shí)，只有當(dāng)兩個(gè)結(jié)點(diǎn)$v$和$v^{\prime }$有相同的標(biāo)簽復(fù)合集，它們生成的新標(biāo)簽才一樣。
• 因此，我們可以認(rèn)為對(duì)所有圖進(jìn)行標(biāo)簽壓縮和重標(biāo)簽時(shí)，標(biāo)簽映射函數(shù)$f$都是一樣的，定義為$r((V,E,l_i))=(V,E,l_{(i+1)})$，其中，$V$是圖$G$的結(jié)點(diǎn)集，$E$是圖$G$的邊集，$l_i$和$l_{(i+1)}$分別是$Weisfeiler?Lehmanalgorithm$ 在第$i$次和第$i+1$次迭代時(shí)生成的標(biāo)簽集。
  
  $G_0$是原始圖，$G_1=r(G_0)$是第一次重新貼標(biāo)產(chǎn)生的圖，依此類推.
  
  
  性質(zhì)
• 1.半正定矩陣的行列式是非負(fù)的。
• 2.兩個(gè)半正定矩陣的和是半正定的。
• 3.$G_i=r?G_{(i?1)}=(r^2)?G_{(i?2)}=....=(r^i)?G_0=(r^i)?G$
  證明
  
  
  **請(qǐng)注意，**可以將非負(fù)實(shí)權(quán)重${\alpha }_i$放在$k(G_i，G_i^{\prime })，i=0,1,...,h$上，以獲得更一般的$Weisfeiler?Lehman$核定義：
  
  

2.The Weisfeiler-Lehman Subtree Kernel

$c_i(G，{\sigma }_{ij})$是圖形$G$中字母${\sigma }_{ij}$的出現(xiàn)次數(shù)。

也就是說，Weisfeiler-Lehman子樹內(nèi)核在兩個(gè)圖中計(jì)數(shù)共同的原始標(biāo)簽和壓縮標(biāo)簽

• 假設(shè)基本內(nèi)核$k$是一個(gè)函數(shù)，用于計(jì)算兩個(gè)圖中的匹配節(jié)點(diǎn)標(biāo)簽對(duì)：

多圖上計(jì)算The Weisfeiler-Lehman Subtree Kernel

算法：

• 在$N$個(gè)圖和$h$次迭代的情況下，$\Sigma$大小為$Nn(h+1)$。
  
  
  舉例：
  
  
  

THE RAMON-GARTNER SUBTREE KERNEL

具有子樹高度$h$的$Ramon?Gartner$子樹內(nèi)核通過迭代比較它們的鄰域來比較圖$G=(V,E,l)$和$G_0=(V_0,E_0,l)$中的所有節(jié)點(diǎn)對(duì)：



$M(v，v^{\prime })$是$v$和$v^{\prime }$鄰域的子集的精確匹配集合。$M(v，v^{\prime })$的每個(gè)元素$R$是來自$v\in V$和$v_0\in V_0$的鄰域的一組節(jié)點(diǎn)對(duì)，因此每對(duì)中的節(jié)點(diǎn)具有相同的標(biāo)記，并且不包含多于一對(duì)的節(jié)點(diǎn)。 因此，從直觀上講，$k_{RG}$迭代地考慮來自$G$的節(jié)點(diǎn)$v$和來自$G_0$的$v_0$的鄰居之間兩個(gè)相同標(biāo)記節(jié)點(diǎn)的所有匹配$M(v，v^{\prime })$。 使參數(shù)${\lambda }_v$和${\lambda }_{v^{\prime }}$等于單個(gè)參數(shù)λ會(huì)導(dǎo)致每個(gè)模式加權(quán)$\lambda$，并提高到模式中節(jié)點(diǎn)數(shù)的冪。

LINK TO THE WEISFEILER-LEHMAN SUBTREE KERNEL

3.The Weisfeiler-Lehman Edge Kernel

$TheWeisfeiler?Lehmanedgekernel$ 是$theWeisfeiler?Lehmankernelframework$的另一個(gè)實(shí)例。 對(duì)于具有未加權(quán)邊的圖，我們考慮對(duì)兩個(gè)圖中具有相同標(biāo)記的端點(diǎn)（事件節(jié)點(diǎn)）的匹配邊對(duì)進(jìn)行計(jì)數(shù)的基本內(nèi)核。 換句話說，基本內(nèi)核定義為

其中${\phi }_E(G)$是對(duì)$(a，b)$，$a,b\in \Sigma$的出現(xiàn)次數(shù)的向量，它們表示$G$中邊的端點(diǎn)的有序標(biāo)簽. $(a，b)$和$(a_0，b_0)$分別表示邊$e$和$e_0$的端點(diǎn)的有序標(biāo)簽，以及$Dirackernel$的$\delta ，k_E$可以等效地表示為${\sum }_{e\in E}{\sum }_{e_0\in E^{\prime }}\delta (a，a_0)\delta (b，b_0)$。如果邊緣通過分配權(quán)重的函數(shù)$w$加權(quán)，則基本核$k_E$可以定義為${\sum }_{e\in E}{\sum }_{e_0\in E^{\prime }}\delta (a，a_0)\delta (b，b_0)k_w(w(e)，w((e_0))$ ,其中$k_w$是比較邊緣權(quán)重的內(nèi)核。

4.The Weisfeiler-Lehman Shortest Path Kernel

在這里，我們使用節(jié)點(diǎn)標(biāo)記的最短路徑內(nèi)核作為基礎(chǔ)內(nèi)核。

Weisfeiler-Lehman Graph Kernels

https://github.com/BorgwardtLab/GraphKernels

https://static.aminer.cn/misc/pdf/20190419.pdf
https://github.com/ysig/GraKeL

總結(jié)

以上是生活随笔為你收集整理的Weisfeiler-Lehman(WL)算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。