論文筆記整理：陳名楊，浙江大學(xué)在讀博士生，主要研究方向?yàn)橹R圖譜表示學(xué)習(xí)。

---

論文來源：ICML 2020

Introduction

當(dāng)前在知識圖譜上（KnowledgeGraph，KG）進(jìn)行關(guān)系預(yù)測的很多方法都依靠在對知識圖譜中的實(shí)體和關(guān)系都學(xué)習(xí)一個潛在的表示（Latent Representation）也就是嵌入（Embedding）。但是這種方法一般來說有兩個缺點(diǎn)，第一，這一類基于嵌入的方法并沒有顯式對捕獲知識圖譜中的規(guī)則；第二，這一類方法需要對所有的實(shí)體都學(xué)習(xí)一個表示，僅僅局限于transductive的設(shè)定，也就是說，只能對訓(xùn)練集中見過的并且已經(jīng)學(xué)習(xí)過表示的實(shí)體進(jìn)行關(guān)系預(yù)測，而無法在inductive的場景，也就是歸納式的場景下，對在訓(xùn)練集中沒有見過的實(shí)體進(jìn)行關(guān)系預(yù)測。這篇論文提出一種基于圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）的關(guān)系預(yù)測框架Graph Inductive Learning（GraIL）來解決在知識圖譜上進(jìn)行歸納式關(guān)系預(yù)測的問題。

下面圖1中對transductive和inductive的推理進(jìn)行舉例，簡單來說inductive可以處理在訓(xùn)練的時候沒有見過的實(shí)體而transductive則不行。

圖1 Transductive和Inductive推理舉例

?????? 那么如何才能進(jìn)行歸納式的關(guān)系推理。換一個角度看，關(guān)系推理可以是一個邏輯歸納的問題，也就是如何從已有的知識圖譜中歸納出關(guān)系并且在預(yù)測的時候利用關(guān)系。下圖2中是一個規(guī)則的示例。當(dāng)模型可以捕獲到規(guī)則的信息，那么就可以對沒有見過的實(shí)體進(jìn)行關(guān)系預(yù)測了。

圖2 規(guī)則示例

Method

模型設(shè)計(jì)的是讓該模型可以捕獲到KG中潛在的規(guī)則，而不用對每一個實(shí)體學(xué)習(xí)一個專門的表示。這里的假設(shè)是對于兩個需要被預(yù)測關(guān)系的目標(biāo)節(jié)點(diǎn)（目標(biāo)實(shí)體），它們之間的路徑包含了被預(yù)測關(guān)系的信息。整個模型分為三個步驟

1.對于兩個目標(biāo)關(guān)系，采樣出它們之間的周圍局部路徑圖結(jié)構(gòu)；

2.對局部圖中的節(jié)點(diǎn)的表示進(jìn)行初始化，初始化中包含了相關(guān)的結(jié)構(gòu)信息；

3.利用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行消息傳遞，利用得到的節(jié)點(diǎn)表示和整個局部圖表示進(jìn)行關(guān)系預(yù)測。

圖3是模型整體示例，下面將對每個步驟進(jìn)行解釋。

圖3 模型整體示例

??????

?????? 子圖挖掘（SubgraphExtraction）。對兩個目標(biāo)節(jié)點(diǎn)，取它們周圍k-hop的周圍子圖，然后對兩個子圖求交集，最終去掉獨(dú)立的點(diǎn)以及與兩個點(diǎn)距離大于k的點(diǎn)。這樣的操作可以得到在兩個目標(biāo)節(jié)點(diǎn)距離最長k+1的所有路徑作為子圖。

?????? 節(jié)點(diǎn)標(biāo)簽（NodeLabeling）。圖神經(jīng)網(wǎng)絡(luò)的操作一般需要節(jié)點(diǎn)具有特征表示作為初始化，但在這里假設(shè)沒有任何KG的特征表示。這里通過度量每個點(diǎn)和目標(biāo)節(jié)點(diǎn)的距離對節(jié)點(diǎn)進(jìn)行表示，例如對于目標(biāo)節(jié)點(diǎn)為u, v的子圖，其中的一點(diǎn)i，用一個元組(d(i, u), d(i, v))表示，其中d(. , .)表示兩點(diǎn)最短距離。特別的u, v兩點(diǎn)分別以(0, 1)，(1, 0)進(jìn)行表示。節(jié)點(diǎn)的初始化特征表示就用對該特征的one-hot編碼進(jìn)行表示。

?????? 利用圖神經(jīng)網(wǎng)絡(luò)打分（GNNScoring）。這里借鑒了R-GCN的方法來建模對多關(guān)系圖的消息傳遞，區(qū)別在于增加了一個注意力機(jī)制，該注意力機(jī)制不僅僅和兩個相鄰節(jié)點(diǎn)以及它們之間的關(guān)系有關(guān)，也和需要被預(yù)測的目標(biāo)關(guān)系有關(guān)。最終利用兩個目標(biāo)節(jié)點(diǎn)的表示，整個圖的表示，以及被預(yù)測被預(yù)測關(guān)系的表示，對該目標(biāo)節(jié)點(diǎn)之間具有該目標(biāo)關(guān)系進(jìn)行打分，得分最高的目標(biāo)關(guān)系為被預(yù)測關(guān)系。

Experiments

作者在本文中將該方法和一些其他可以利用與歸納式關(guān)系預(yù)測場景的方法在標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行對比，得到如下結(jié)果。

同時作者也在transductive的場景下進(jìn)行實(shí)驗(yàn)，將該模型和一般的KGE模型進(jìn)行融合說明其方法帶來的提升。

?????? 同時，作者還對模型進(jìn)行消融實(shí)驗(yàn)（AblationStudy）來說明各部分的有效性。

Conclusion

這篇文章提出了一種模型可以解決在知識圖譜下的歸納式關(guān)系預(yù)測（InductiveRelation Prediction）。區(qū)別于一般的基于嵌入的方法，該方法并不是對每一個實(shí)體學(xué)習(xí)一個表示，則可以處理沒有見過的實(shí)體。文章的實(shí)驗(yàn)證明了作者的觀點(diǎn)，inductive relation prediction的方法也有很多值得挖掘的地方。

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - ICML2020 | 基于子图推理的归纳式关系预测的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。