?PaperWeekly 原創(chuàng) ·?作者｜石壯威

學(xué)校｜南開(kāi)大學(xué)碩士

研究方向｜機(jī)器學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)

論文標(biāo)題：

GMNN: Graph Markov Neural Networks

收錄會(huì)議：

ICML 2019

論文地址：

https://arxiv.org/abs/1905.06214

代碼地址：

https://github.com/DeepGraphLearning/GMNN

?

本文 [1] 研究了圖上的半監(jiān)督節(jié)點(diǎn)分類問(wèn)題。在此前的文獻(xiàn)中，基于統(tǒng)計(jì)關(guān)系學(xué)習(xí)（例如馬爾科夫隨機(jī)場(chǎng)）和圖神經(jīng)網(wǎng)絡(luò)（例如圖卷積網(wǎng)絡(luò)）的方法都已被廣泛應(yīng)用于這類問(wèn)題。統(tǒng)計(jì)關(guān)系學(xué)習(xí)方法通過(guò)對(duì)象標(biāo)簽的依賴關(guān)系建模條件隨機(jī)場(chǎng)，而圖神經(jīng)網(wǎng)絡(luò)則以端到端訓(xùn)練的形式，提升了圖學(xué)習(xí)的效率。

在本文中，作者提出圖馬爾可夫神經(jīng)網(wǎng)絡(luò)（Graph Markov Neural Networks ，GMNN）。GMNN 以條件隨機(jī)場(chǎng)建模對(duì)象標(biāo)簽的聯(lián)合分布，用變分 EM 算法進(jìn)行有效訓(xùn)練。在 E-step 中，一個(gè) GNN 學(xué)習(xí)用于擬合標(biāo)簽后驗(yàn)分布的表示向量。在? M-step 中，另一個(gè) GNN 用于建模標(biāo)簽依賴關(guān)系。實(shí)驗(yàn)結(jié)果表明，GMNN 取得了優(yōu)越的結(jié)果。

相關(guān)工作

考慮半監(jiān)督學(xué)習(xí)中的一個(gè)圖 ，其中 V 是節(jié)點(diǎn)的集合，E 是節(jié)點(diǎn)之間邊的集合， 是所有節(jié)點(diǎn)特征的集合。已知一部分標(biāo)簽 ，L∈V，我們的任務(wù)是預(yù)測(cè)剩下未知的標(biāo)簽 ，U = V \ L。

統(tǒng)計(jì)關(guān)系學(xué)習(xí)（statistical relationship learning，SRL）方法以如下方式計(jì)算標(biāo)簽的聯(lián)合概率分布：

ψ 是邊上的勢(shì)函數(shù)，一般是人工定義的特征函數(shù)的線性組合。

這種情況下，預(yù)測(cè)未知標(biāo)簽任務(wù)被看做是推斷問(wèn)題，我們還要去計(jì)算位置標(biāo)簽的后驗(yàn)分布 ，[2] 是一種典型的基于高斯馬爾可夫隨機(jī)場(chǎng)與標(biāo)簽傳播的方法。然而由于標(biāo)簽的復(fù)雜結(jié)構(gòu)關(guān)系，后驗(yàn)十分難求。

與 SRL 相比，GNN 忽略掉標(biāo)簽的依賴關(guān)系，只關(guān)注于節(jié)點(diǎn)的特征表示。由于 GNN 將標(biāo)簽之間視為獨(dú)立，那么此情況下標(biāo)簽的聯(lián)合分布表示為：

通過(guò)聚合節(jié)點(diǎn)特征預(yù)測(cè)標(biāo)簽

GMNN

GMNN 利用 CRF 通過(guò)對(duì)象屬性（節(jié)點(diǎn)特征）來(lái)建模標(biāo)簽之間的聯(lián)合分布：，使用偽似然變分 ?EM 算法進(jìn)行優(yōu)化。其中，E-step 中使用一個(gè) GNN 來(lái)學(xué)習(xí)節(jié)點(diǎn)的特征表示以預(yù)測(cè)標(biāo)簽屬性，M-step 中使用另一個(gè) GNN 來(lái)建模標(biāo)簽之間的依賴關(guān)系。如圖1所示。

作者沿用 CRF 的預(yù)測(cè)模型：，其中 是模型參數(shù)，我們要做的是優(yōu)化這個(gè)參數(shù)來(lái)求已知標(biāo)簽的最大似然：。由于存在大量的未知標(biāo)簽，直接最大化對(duì)數(shù)似然很困難，因此我們采用變分推斷的方法，用變分分布 近似 ，來(lái)最大化對(duì)數(shù)似然的證據(jù)下界（ELBO）:

（3）式可以通過(guò)變分EM算法 [3] [4] 來(lái)優(yōu)化。在 M-step，這等價(jià)于優(yōu)化（4）式。然而，直接優(yōu)化（4）式是很困難的，因?yàn)檫@是對(duì)整個(gè)條件隨機(jī)場(chǎng)進(jìn)行優(yōu)化，需要計(jì)算 的配分函數(shù)（partition function），即（1）式中的分母 。基于 的獨(dú)立性，我們可以將（4）式轉(zhuǎn)為優(yōu)化（5）式。

其中 NB（n）是節(jié)點(diǎn) n 的鄰居。（5）式被稱為偽似然函數(shù)（pseudolikelihood function）。在似然函數(shù)（4）式中，某節(jié)點(diǎn)的標(biāo)簽與圖上的其他所有節(jié)點(diǎn)有關(guān)；在偽似然函數(shù)（5）式中，某節(jié)點(diǎn)的標(biāo)簽只與其鄰域節(jié)點(diǎn)有關(guān)；此時(shí)，通過(guò)最大化偽似然函數(shù)求取節(jié)點(diǎn)標(biāo)簽，就只需要聚合鄰域的信息。

（5）式的意義是，聚合鄰域的標(biāo)簽信息和特征信息，通過(guò)最大化偽似然函數(shù)求取節(jié)點(diǎn)標(biāo)簽。因?yàn)?GNN 是一個(gè)聚合鄰域信息并進(jìn)行消息傳遞的過(guò)程，所以 $p_{\phi}$ 可以通過(guò)一個(gè) GNN 實(shí)現(xiàn)。

接下來(lái)討論 ，由于其獨(dú)立性，故由平均場(chǎng)理論有：

同理， 可以通過(guò)一個(gè) GNN 實(shí)現(xiàn)。

最大化似然函數(shù)：

（8）式證明見(jiàn)附錄，參考文獻(xiàn) [4] 中也給出了一個(gè)類似的式子的證明過(guò)程。在（8）式中，用采樣代替求期望：

（10）式中， 是一個(gè)進(jìn)行特征傳播的 GNN，學(xué)習(xí)一個(gè)從特征到標(biāo)簽的映射， 是一個(gè)進(jìn)行標(biāo)簽傳播的 GNN，學(xué)習(xí)一個(gè)從已標(biāo)注節(jié)點(diǎn)標(biāo)簽到未標(biāo)注節(jié)點(diǎn)標(biāo)簽的映射。為對(duì) GMNN 進(jìn)行訓(xùn)練，我們首先預(yù)訓(xùn)練 ：用全體節(jié)點(diǎn)的特征作為輸入，將已標(biāo)注節(jié)點(diǎn)標(biāo)簽作為監(jiān)督信息，為全體節(jié)點(diǎn)學(xué)習(xí)“偽標(biāo)簽”。優(yōu)化目標(biāo)：

接著，將生成的“偽標(biāo)簽”輸入 ，訓(xùn)練目標(biāo)是使得其生成的標(biāo)簽與“偽標(biāo)簽”盡量接近，這就是（5）式的意義。根據(jù)（8）（9）式可將（5）式簡(jiǎn)化為：

最后，將節(jié)點(diǎn)特征再次輸入 ，訓(xùn)練目標(biāo)是使得其生成的標(biāo)簽與 生成的標(biāo)簽盡量接近，并將此時(shí) 輸出的標(biāo)簽作為預(yù)測(cè)結(jié)果。訓(xùn)練目標(biāo)：

所以：

偽代碼如下：

實(shí)驗(yàn)與應(yīng)用

GMNN 除了被應(yīng)用于半監(jiān)督的節(jié)點(diǎn)分類問(wèn)題外，還可以被應(yīng)用于無(wú)監(jiān)督學(xué)習(xí)問(wèn)題和鏈路預(yù)測(cè)問(wèn)題。

在無(wú)監(jiān)督學(xué)習(xí)中，由于沒(méi)有標(biāo)簽的節(jié)點(diǎn)，因此我們改為預(yù)測(cè)每個(gè)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)是哪些。這種“將鄰域作為標(biāo)簽”的方法在此前的無(wú)監(jiān)督學(xué)習(xí)算法（例如 DeepWalk [5]）中得到廣泛應(yīng)用。

在鏈路預(yù)測(cè)問(wèn)題中，使用對(duì)偶圖（dual graph）[6] 將鏈路預(yù)測(cè)問(wèn)題轉(zhuǎn)換為節(jié)點(diǎn)分類問(wèn)題。對(duì)偶圖的示意圖如下：

在半監(jiān)督節(jié)點(diǎn)分類問(wèn)題上的實(shí)驗(yàn)（使用Cora, Citeseer, Pubmed三個(gè)節(jié)點(diǎn)分類數(shù)據(jù)集）：

在無(wú)監(jiān)督學(xué)習(xí)問(wèn)題上的實(shí)驗(yàn)：

在鏈路預(yù)測(cè)問(wèn)題上的實(shí)驗(yàn)：

在 few-shot learning 問(wèn)題上的實(shí)驗(yàn)：對(duì)于每個(gè)數(shù)據(jù)集，隨機(jī)抽取每個(gè)類下的 5 個(gè)標(biāo)記節(jié)點(diǎn)作為訓(xùn)練數(shù)據(jù)。GMNN 顯著優(yōu)于 GCN 和 GAT。這種改進(jìn)甚至比半監(jiān)督學(xué)習(xí)的情況（即每個(gè)類使用 20 個(gè)標(biāo)記節(jié)點(diǎn)進(jìn)行訓(xùn)練）更大。這一觀察結(jié)果證明了 GMNN 的有效性，即使在標(biāo)記對(duì)象非常有限的情況下。

參考文獻(xiàn)

[1] Meng Qu, Yoshua Bengio, and Jian Tang. GMNN: Graph Markov Neural Networks. In ICML, 2019.

[2]?Jingdong Wang, Fei Wang, Changshui Zhang, Helen C Shen, and Long Quan. Linear neighborhood propagation and its applications. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(9):1600–1615, 2009.

[3]?R. M.? Neal and? G. E.? Hinton. A view of the em algorithm that justifies incremental, sparse, and other variants. In Learning in graphical models, pp. 355–368. Springer, 1998.

[4]?D. M. Blei, A. Kucukelbir and J.D. McAuliffe. Variational Inference: A Review for Statisticians. Journal of the American Statistical Association, 112(518):859-877, 2017.

[5]?B, Perozzi, R. Al-Rfou, and S. Skiena, Deepwalk: Online learning of social representations. In KDD, 2014.

[6]?B. Taskar, M. Wong, P. Abbeel and D. Koller. Link prediction in relational data. In NeurIPS, 2004.

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????來(lái)稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來(lái)稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的图马尔可夫网络：融合统计关系学习与图神经网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。