論文筆記整理：周虹廷，浙江大學(xué)研究生。研究方向：知識(shí)圖譜，圖表示學(xué)習(xí)等。

---

論文鏈接：https://arxiv.org/pdf/2001.06137.pdf

本文是發(fā)表在ICLR2020上針對(duì)圖數(shù)據(jù)做節(jié)點(diǎn)半監(jiān)督分類任務(wù)的論文。現(xiàn)有的算法解決圖上節(jié)點(diǎn)分類問題一般使用傳統(tǒng)的可監(jiān)督的圖卷積方法，但是當(dāng)標(biāo)簽數(shù)據(jù)不足時(shí)，性能可能會(huì)大大降低。因此論文提出了一種圖推理學(xué)習(xí)（GIL）框架，通過學(xué)習(xí)圖拓?fù)渖系墓?jié)點(diǎn)標(biāo)簽推理來提高半監(jiān)督節(jié)點(diǎn)分類的性能。為了更好的刻畫兩個(gè)節(jié)點(diǎn)之間的連接，論文通過將節(jié)點(diǎn)屬性，節(jié)點(diǎn)間路徑和局部拓?fù)浣Y(jié)構(gòu)封裝在一起來正式定義結(jié)構(gòu)關(guān)系，從而可以方便地從一個(gè)節(jié)點(diǎn)推導(dǎo)到另一個(gè)節(jié)點(diǎn)。為了學(xué)習(xí)推理過程，論文進(jìn)一步介紹了從訓(xùn)練節(jié)點(diǎn)到驗(yàn)證節(jié)點(diǎn)的結(jié)構(gòu)關(guān)系的元優(yōu)化，從而使學(xué)習(xí)到的圖推理能力可以更好地適應(yīng)測(cè)試節(jié)點(diǎn)。對(duì)四個(gè)基準(zhǔn)數(shù)據(jù)集（包括Cora，Citeseer，Pubmed和NELL）的綜合評(píng)估表明，與半監(jiān)督節(jié)點(diǎn)分類任務(wù)中的最新技術(shù)相比，GIL具有優(yōu)越性。

1、Motivation

論文提出了一種圖推理學(xué)習(xí)（GIL）框架，以指導(dǎo)模型本身從參考標(biāo)記節(jié)點(diǎn)自適應(yīng)地推斷那些查詢未標(biāo)記節(jié)點(diǎn)，并在少數(shù)情況下提高半監(jiān)督節(jié)點(diǎn)分類的性能。標(biāo)記的樣品。給定一個(gè)輸入圖，GIL嘗試通過建立節(jié)點(diǎn)間關(guān)系從那些觀察到的節(jié)點(diǎn)中推斷出未標(biāo)記的節(jié)點(diǎn)。節(jié)點(diǎn)間關(guān)系的結(jié)構(gòu)是節(jié)點(diǎn)屬性，連接路徑和圖形拓?fù)浣Y(jié)構(gòu)的集成。這意味著兩個(gè)節(jié)點(diǎn)之間的相似性是從三個(gè)方面決定的：節(jié)點(diǎn)屬性的一致性，局部拓?fù)浣Y(jié)構(gòu)的一致性以及節(jié)點(diǎn)間路徑的可達(dá)性，如圖1所示。為了高級(jí)特征提取，其中的節(jié)點(diǎn)以及其中節(jié)點(diǎn)的屬性都通過圖卷積聯(lián)合編碼。對(duì)于節(jié)點(diǎn)間路徑可達(dá)性，采用隨機(jī)游走算法來獲取給定圖中從標(biāo)記參考節(jié)點(diǎn)到查詢未標(biāo)記節(jié)點(diǎn)的特征。基于計(jì)算的節(jié)點(diǎn)表示和節(jié)點(diǎn)間可達(dá)性，可以通過計(jì)算從參考節(jié)點(diǎn)到圖中未標(biāo)記節(jié)點(diǎn)的相似得分/關(guān)系來獲得結(jié)構(gòu)關(guān)系。受近期元學(xué)習(xí)策略的啟發(fā)，作者認(rèn)為如果模型學(xué)習(xí)了從訓(xùn)練集到驗(yàn)證集的結(jié)構(gòu)關(guān)系推斷，可以有益于學(xué)習(xí)模型的泛化能力。換句話說，論文提出的GIL試圖學(xué)習(xí)從訓(xùn)練樣本到驗(yàn)證樣本的結(jié)構(gòu)關(guān)系中潛在的一些可移植知識(shí)，從而使所學(xué)習(xí)的結(jié)構(gòu)關(guān)系可以更好地適應(yīng)新的測(cè)試階段。

2、Model

本文提出的GIL模型包含三個(gè)模塊，分別為對(duì)于各個(gè)節(jié)點(diǎn)，通過如GCN等算法編碼節(jié)點(diǎn)自身的屬性信息和周圍的鄰居的信息，然后通過算法確定兩個(gè)節(jié)點(diǎn)的可達(dá)性后，通過已標(biāo)記節(jié)點(diǎn)的信息推導(dǎo)出帶確定節(jié)點(diǎn)的標(biāo)簽信息。

為了方便推斷，論文專門在拓?fù)鋱D上的兩個(gè)節(jié)點(diǎn)之間建立了結(jié)構(gòu)關(guān)系。將標(biāo)記的頂點(diǎn)（在訓(xùn)練集中）視為參考節(jié)點(diǎn)，它們的信息可以傳播到那些未標(biāo)記的頂點(diǎn)中，以提高標(biāo)記預(yù)測(cè)的準(zhǔn)確性。形式上，給定參考節(jié)點(diǎn)vi∈VLabel，論文定義類似于vi的查詢節(jié)點(diǎn)vj的得分：

Gvi 和Gvj分別為節(jié)點(diǎn)vi和vj的鄰居子圖，由于本文是對(duì)節(jié)點(diǎn)做一個(gè)多分類任務(wù)，因此類和節(jié)點(diǎn)的關(guān)系如下表示：

我們?cè)谙旅婢C述一下整個(gè)模型的過程：

（1）節(jié)點(diǎn)表示

本文通過對(duì)各個(gè)節(jié)點(diǎn)的子圖執(zhí)行圖卷積運(yùn)算來提取頂點(diǎn)vi處的局部表示。類似于柵格化圖像/視頻，在柵格化圖像/視頻上，局部卷積核被定義為具有各種接受場(chǎng)的多個(gè)晶格，在文本的工作中，頻譜圖卷積用于編碼輸入圖的局部表示。即對(duì)每個(gè)節(jié)點(diǎn)的子圖，都進(jìn)行類似于GCN的卷積操作以編碼各個(gè)節(jié)點(diǎn)周圍的鄰居信息。

（2）路徑可達(dá)性

在這里，我們通過在圖上采用隨機(jī)游走來計(jì)算從頂點(diǎn)i到頂點(diǎn)j的路徑的概率，這是指根據(jù)概率矩陣P從vi到vj遍歷圖。從頂點(diǎn)i到頂點(diǎn)j的節(jié)點(diǎn)序列是圖上的隨機(jī)游動(dòng)，可以通過考慮圖頂點(diǎn)的集合將其建模為經(jīng)典的馬爾可夫鏈。為了表示該公式，我們表明P t是在t步中從頂點(diǎn)vi到達(dá)頂點(diǎn)vj的概率。通過考慮從頂點(diǎn)vi到頂點(diǎn)vj的t步路徑，首先采取單步到某個(gè)頂點(diǎn)h，然后對(duì)tj采取t?1步，就很容易體現(xiàn)這一事實(shí)。

最后，從vi到vj的節(jié)點(diǎn)可達(dá)性可以寫成dp維向量：

（3）節(jié)點(diǎn)分類

為了定義對(duì)于查詢節(jié)點(diǎn)來說，周圍各個(gè)已標(biāo)記節(jié)點(diǎn)的貢獻(xiàn)，本文同時(shí)考慮了節(jié)點(diǎn)間路徑可達(dá)性，節(jié)點(diǎn)對(duì)之間的子圖表示。然后通過加權(quán)和計(jì)算查詢節(jié)點(diǎn)的節(jié)點(diǎn)表示，最后拼接周圍節(jié)點(diǎn)的加權(quán)結(jié)果表示和查詢節(jié)點(diǎn)本身的節(jié)點(diǎn)表示，通過一個(gè)全連接層，輸出為標(biāo)簽類別數(shù)。

（4）推導(dǎo)學(xué)習(xí)

模型的損失函數(shù)即為如下的多分類損失函數(shù)：

????? 由于我們期待在訓(xùn)練集上訓(xùn)練良好的模型在驗(yàn)證集上仍然能有較好的表現(xiàn)，因此本文現(xiàn)在訓(xùn)練集上進(jìn)行模型參數(shù)的梯度下降：

然后再在驗(yàn)證集上進(jìn)一步的進(jìn)行梯度下降：

在訓(xùn)練過程中，文章從訓(xùn)練節(jié)點(diǎn)和驗(yàn)證節(jié)點(diǎn)執(zhí)行批量采樣，而不是一次訓(xùn)練所有數(shù)據(jù)。在測(cè)試階段，我們可以獲取所有訓(xùn)練節(jié)點(diǎn)像訓(xùn)練過程一樣進(jìn)行模型更新。更新后的模型用作最終模型，推斷那些查詢節(jié)點(diǎn)的類標(biāo)簽。

3、Experiment

（1）模型比較

論文在四個(gè)數(shù)據(jù)集，包括Cora、Citeseer、Pubmed、NELL上與DeepWalk、GCN等經(jīng)典模型進(jìn)行了比較，結(jié)果顯示模型的準(zhǔn)確性有了顯著的提升，它證明了文章提出的GIL通過構(gòu)建圖推理學(xué)習(xí)過程在各種圖數(shù)據(jù)集上表現(xiàn)良好，其中有限的標(biāo)簽信息和圖結(jié)構(gòu)可以很好地用于預(yù)測(cè)框架中。

（2）模型分析

下表展示了經(jīng)典的GCN模型以及我們提出的GIL模型只在訓(xùn)練集上進(jìn)行訓(xùn)練和同時(shí)使用訓(xùn)練集和驗(yàn)證集進(jìn)行訓(xùn)練的結(jié)果比較，可以看到，在使用驗(yàn)證集的數(shù)據(jù)后，模型有一個(gè)顯著的提升，這表明可以通過元優(yōu)化來學(xué)習(xí)良好的推理能力。值得注意的是，GIL采用了元優(yōu)化策略來學(xué)習(xí)推理模型，這是一個(gè)從訓(xùn)練集遷移到驗(yàn)證集的過程。換句話說，驗(yàn)證集僅用于教導(dǎo)模型本身如何轉(zhuǎn)移到看不見的數(shù)據(jù)。相比之下，常規(guī)方法通常采用驗(yàn)證集來調(diào)整特定模型的參數(shù)。

4、結(jié)論

在這項(xiàng)工作中，本文使用圖推理學(xué)習(xí)方法解決了半監(jiān)督節(jié)點(diǎn)分類任務(wù)，該方法可以在端到端框架中更好地預(yù)測(cè)這些未標(biāo)記節(jié)點(diǎn)的類別。本文建立結(jié)構(gòu)關(guān)系以獲得任何兩個(gè)圖節(jié)點(diǎn)之間的連接，其中節(jié)點(diǎn)屬性，節(jié)點(diǎn)間路徑和圖結(jié)構(gòu)信息可以封裝在一起。為了更好地捕獲可轉(zhuǎn)移的知識(shí)，本文的方法進(jìn)一步學(xué)習(xí)了將挖掘的知識(shí)從訓(xùn)練樣本轉(zhuǎn)移到驗(yàn)證集，最終提高了測(cè)試集中未標(biāo)記節(jié)點(diǎn)的標(biāo)簽的預(yù)測(cè)準(zhǔn)確性。廣泛的實(shí)驗(yàn)結(jié)果證明了論文提出的GIL在解決半監(jiān)督學(xué)習(xí)問題方面的有效性，即使是在幾次嘗試中也是如此。將來，我們將擴(kuò)展圖推理方法以處理更多與圖相關(guān)的任務(wù)，例如圖生成和社交網(wǎng)絡(luò)分析。

?

---

?

OpenKG

開放知識(shí)圖譜（簡(jiǎn)稱 OpenKG）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識(shí)圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - ICLR2020 | 用于半监督分类的图形推理学习的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。