作者丨王文博

學(xué)校丨哈爾濱工程大學(xué)碩士生

研究方向丨知識圖譜、表示學(xué)習(xí)

動機(jī)

由于傳統(tǒng)方法都將三元組進(jìn)行獨(dú)立的處理，忽略了其相鄰的三元組之間隱藏的固有信息的缺點(diǎn)，使得無論是轉(zhuǎn)化模型還是較新的基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的模型都不能獲取在給定三元組附近的豐富的潛在結(jié)構(gòu)信息。因此本文為解決上述問題嘗試用圖神經(jīng)網(wǎng)絡(luò)（GNN），從以下兩方面進(jìn)行創(chuàng)新：

• 通過不斷迭代注意力機(jī)制網(wǎng)絡(luò)，來為與給定節(jié)點(diǎn)具有不同距離的鄰居結(jié)點(diǎn)賦予不同注意力值，使得最終該節(jié)點(diǎn)的嵌入向量包含多跳鄰居節(jié)點(diǎn)信息在其中。通過以上方法構(gòu)建出了針對知識圖譜關(guān)系預(yù)測的嵌入模型。

• 為了解決距離越遠(yuǎn)連接的實(shí)體數(shù)量呈指數(shù)增長的問題為 n 跳實(shí)體引入輔助邊作為輔助關(guān)系。

模型

背景知識補(bǔ)充?

知識圖譜可以表示為 ζ=(?,R)，其中 ? 和 R 分別表示集合中的實(shí)體（結(jié)點(diǎn)）和關(guān)系（邊）。對于三元組可以表示兩個實(shí)體節(jié)點(diǎn)之間存在邊 r。嵌入模型試圖學(xué)習(xí)實(shí)體、關(guān)系以及得分函數(shù)的有效表示，以達(dá)到當(dāng)給定一個三元組作為輸入時(shí)，得分函數(shù) f(t) 可以給出 t 是真實(shí)三元組的概率。?

圖注意力神經(jīng)網(wǎng)絡(luò)（GATs）?

圖注意力神經(jīng)網(wǎng)絡(luò) （GANs）不同于圖卷積神經(jīng)網(wǎng)絡(luò)（GCNs）將所有鄰居實(shí)體的信息賦予相同權(quán)重的策略，采用了按照鄰居實(shí)體結(jié)點(diǎn)對給定實(shí)體結(jié)點(diǎn)的不同重要程度分配不同權(quán)重的策略。表示該神經(jīng)網(wǎng)絡(luò)中一層結(jié)點(diǎn)中的輸入特征集合。該層生成的變換后的特征向量為，其中和分別表示實(shí)體的輸入嵌入向量與輸出嵌入向量，N 表示實(shí)體（結(jié)點(diǎn)）的個數(shù)。單獨(dú)的 GAT 層可以描述為下述公式：

其中表示知識圖譜中邊的注意力值，W 是一個可以將輸入特征映射到更高維的輸出特征空間中的參數(shù)化的線性轉(zhuǎn)化矩陣，a 是所選擇的注意力函數(shù)。

每個邊的注意力值表示邊的特征對源結(jié)點(diǎn)的重要程度。此處相對注意力值通過對鄰居集合中得出的所有注意力值進(jìn)行 softmax 運(yùn)算得出。公式（2）展示了一個輸出層。

GAT 運(yùn)用多頭注意力來穩(wěn)定學(xué)習(xí)過程。連接 K 個注意頭的多頭注意過程如公式（3）所示：

其中 || 表示連結(jié)方式，σ 表示任意的非線性函數(shù)，表示由第 k 個注意力機(jī)制計(jì)算的邊的歸一化系數(shù)，表示第 k 個注意力機(jī)制對應(yīng)的線性轉(zhuǎn)化矩陣。為達(dá)到多頭注意的目的，在最終層的輸出嵌入向量是通過計(jì)算平均值得出的而不是采用連接操作得出的。如公式（4）所示：

關(guān)系十分重要

雖然 GAT 取得了成功，但是由于忽略了知識圖譜構(gòu)成中不可或缺的關(guān)系（邊）上所具有的特征，所以 GATs 方法并不適用于知識圖譜。在知識圖譜中，實(shí)體依據(jù)與它們相連的關(guān)系在三元組中具有不同的作用。因此作者提出了一種將關(guān)系與相鄰節(jié)點(diǎn)特征相結(jié)合的新型方法構(gòu)建潛入模型。據(jù)此，定義了一個單獨(dú)的注意層，它是構(gòu)成本文中提出的模型的構(gòu)建單元。與 GAT 類似，本文中的框架對注意力機(jī)制的特定選擇是不可知的。

本文提出的模型中的每一層都將兩個嵌入矩陣作為輸入。實(shí)體嵌入矩陣用矩陣來表示，其中第 i 行表示實(shí)體的嵌入向量，表示實(shí)體總數(shù)，T 表示每個實(shí)體嵌入向量的特征維數(shù)。用一個相同結(jié)構(gòu)的矩陣來表示關(guān)系的嵌入向量矩陣。然后該層輸出兩個對應(yīng)的嵌入矩陣和。

為獲得實(shí)體的新的嵌入向量，學(xué)習(xí)了一種與相連的每一個三元組的表示。如公式（5）所示，通過對實(shí)體和關(guān)系特征向量的連接進(jìn)行線性變換來學(xué)習(xí)這些嵌入，這些特征向量對應(yīng)于一個特定的三元組。

其中是一個三元組的一個向量表示。向量、與分別是實(shí)體、和關(guān)系的嵌入向量。除此之外，表示線性轉(zhuǎn)化矩陣。該模型學(xué)習(xí)了每一個三元組的重要程度，用表示。之后用一個權(quán)矩陣作為參數(shù)進(jìn)行線性變換，然后應(yīng)用 LeakyRelu 非線性得到三元組的絕對注意值（如公式（6））。

如公式（7）所示，為了獲得相對注意力值，對所有進(jìn)行 softmax 運(yùn)算。圖三展示了對于一個三元組相對注意力值的計(jì)算過程：

其中表示所有與實(shí)體相鄰的實(shí)體的集合，表示連接實(shí)體與的關(guān)系的集合。實(shí)體的新的嵌入向量是由對每一個三元組表示向量按注意力值進(jìn)行加和得到的。如公式（8）所示：

為了穩(wěn)定學(xué)習(xí)過程，且壓縮更多的有關(guān)鄰居結(jié)點(diǎn)的信息，采用多頭注意力機(jī)制。將 M 個獨(dú)立的注意力機(jī)制用來計(jì)算，將其連接，可以表示如下：

圖四展示了圖注意力層結(jié)構(gòu)。如公式（10）所示，將一個權(quán)重矩陣作用于關(guān)系嵌入矩陣 G 進(jìn)行線性變換，其中 T' 是輸出的關(guān)系嵌入向量的維度。

在模型的最后一層作者采用對最終的實(shí)體的嵌入向量取平均的方式而不是像多頭嵌入一樣采用連接嵌入。具體公式如下：

但是當(dāng)學(xué)習(xí)新的嵌入向量時(shí)，實(shí)體丟失了它們最初的嵌入向量信息。因此為了解決這個問題，作者通過用一個權(quán)重矩陣對進(jìn)行線性變換得到。其中表示本文模型中作為輸入的實(shí)體嵌入向量，表示轉(zhuǎn)化后的實(shí)體嵌入向量，表示初始實(shí)體嵌入向量的維度，表示最終實(shí)體嵌入向量的維度。作者將最初的實(shí)體嵌入向量的信息加到從模型最終注意力層獲得的實(shí)體嵌入向量矩陣上，公式如下：

在本文的架構(gòu)中，作者通過將兩個實(shí)體間存在的多跳關(guān)系作為輔助關(guān)系的方式將邊的定義擴(kuò)充為有向路徑。這個輔助關(guān)系的嵌入是路徑中所有關(guān)系的嵌入之和。本文的模型迭代地從一個實(shí)體的遙遠(yuǎn)鄰居那里積累知識。

如圖 2 所述，在本文中模型的第一層，所有實(shí)體捕捉了與它們直接相連的鄰居信息，在第二層中，U.S 結(jié)點(diǎn)從實(shí)體 BarackObama、EthanHorvath、Chevrolet 和 WashingtonD.C 結(jié)點(diǎn)聚集信息，這些節(jié)點(diǎn)中已經(jīng)從之前層中獲得了他們鄰居節(jié)點(diǎn) MichelleObama 和 SamuelL.Jackson 的信息。

總之，對于一個 n 層模型來說，傳入的信息是根據(jù) n 跳相鄰的鄰居計(jì)算得出的。學(xué)習(xí)新的實(shí)體嵌入向量的聚合過程和相鄰多跳結(jié)點(diǎn)間的輔助邊的引入在圖二中都有所展示。對于每一個主要的迭代過程，在第一層之前，在每一個廣義的 GAT 層之后，作者對實(shí)體的嵌入向量進(jìn)行了規(guī)范化處理。

訓(xùn)練目標(biāo)?

作者提出的模型借鑒了平移得分函數(shù)的思想，使得在學(xué)習(xí)嵌入向量的過程中，假設(shè)給定一個真實(shí)的三元組，存。作者嘗試學(xué)習(xí)實(shí)體和關(guān)系嵌入來最小化由給出的 L1 -范數(shù)不相似測度。并用 hinge 損失來訓(xùn)練本文中的模型，具體公式如下：

其中 γ>0 是一個邊緣超參數(shù)，S 是正確的三元組集合，S' 表是不正確的三元組集合。S' 按照如下形式給出：

解碼

本篇模型采用 ConvKB 作為解碼器，卷積層的目的是分析三元組各個維度上的全局嵌入特性，并歸納出模型中的轉(zhuǎn)化特性。根據(jù)多個特征映射得到的得分函數(shù)可以寫成如下形式：

其中表示第 m 個卷積過濾器，Ω 是表示過濾器數(shù)量的超參數(shù)，* 是卷積運(yùn)算符，表示一個用于計(jì)算三元組最終得分的線性轉(zhuǎn)化矩陣。模型用軟邊界損失函數(shù)來進(jìn)行訓(xùn)練。

當(dāng)時(shí)，；當(dāng)時(shí)，。

實(shí)驗(yàn)與結(jié)果

數(shù)據(jù)集

• WN18RR

• FB15k-237

• NELL-995

• Unified Medical Language Systems(UMLS)

• Alyawarra Kinship

訓(xùn)練方法?

通過每次隨機(jī)用一個無效實(shí)體替換有效三元組的頭實(shí)體或尾實(shí)體來產(chǎn)生兩個無效三元組集合，并從這兩個集合中隨機(jī)抽取數(shù)目相等的無效三元組，以確保頭尾實(shí)體檢測的魯棒性。用 TransE 方法獲得的實(shí)體與關(guān)系的嵌入向量來初始化本模型。?

本文采用一個兩步過程來進(jìn)行訓(xùn)練。首先訓(xùn)練廣義 GAT 來編碼關(guān)于圖實(shí)體和關(guān)系的信息，然后訓(xùn)練諸如 ConvKB 模型作為解碼器來進(jìn)行關(guān)系預(yù)測任務(wù)。傳統(tǒng)的 GAT 模型只根據(jù)一跳鄰居的信息對公式 3 進(jìn)行更新，但本文的泛化 GAT 則運(yùn)用多跳鄰居對公式 3 進(jìn)行更新。并通過引入輔助關(guān)系來收集稀疏圖中鄰居的更多信息。采用 Adam 優(yōu)化器，將其學(xué)習(xí)率設(shè)置為 0.001。最終層得到的實(shí)體、和關(guān)系的嵌入向量設(shè)置為 200 維。?

評估方法?

在關(guān)系預(yù)測任務(wù)中，通過用其他所有實(shí)體對有效三元組中的頭實(shí)體或尾實(shí)體進(jìn)行替換，并在產(chǎn)生一個（N-1）三元組集合，其中 1 為被替換之前的有效三元組，N 表示經(jīng)過替換后產(chǎn)生的三元組。最后移除該三元組集合中所有經(jīng)過替換產(chǎn)生的有效三元組，只保留由替換產(chǎn)生的無效三元組，與替換之前的唯一一個有效三元組組成一個三元組集合。對該集合中的所有三元組進(jìn)行打分，并根據(jù)分?jǐn)?shù)進(jìn)行排序。用平均倒數(shù)排名（MRR），平均排名（MR）以及 Hits@N(N = 1, 3, 10) 指標(biāo)來對模型進(jìn)行評估。

結(jié)果分析

表 2 表 3 上展示了所有數(shù)據(jù)集上進(jìn)行預(yù)測的結(jié)果。結(jié)果說明本文提出的模型在數(shù)據(jù)集 FB15k-237 上，五個指標(biāo)均達(dá)到最好效果。在 WN18RR 數(shù)據(jù)集上，只有兩個指標(biāo)達(dá)到最好效果。?

注意力值 vs 輪數(shù)：?

本文研究了一個特定節(jié)點(diǎn)的注意隨輪數(shù)間隔增加的分布。圖 5 展示了在數(shù)據(jù)集 FB15k-237 上，注意力值與輪數(shù)的關(guān)系分布。在學(xué)習(xí)過程的初始階段，注意力值隨機(jī)分布。隨著訓(xùn)練過程地進(jìn)行，并且本文的模型從鄰居中獲得更多的信息，更多的注意力集中于直接鄰居，并且從較遠(yuǎn)的鄰居中獲得更少的信息。一旦模型收斂，它就學(xué)會從節(jié)點(diǎn)的 n-hop 鄰居中收集多跳和聚類關(guān)系信息。?

頁面排序分析：?

本文假設(shè)，相對于稀疏圖，在稠密圖中更容易捕獲實(shí)體之間復(fù)雜且隱藏的多跳關(guān)系。為了驗(yàn)證這個假設(shè)，本文采用了一個與 ConvE 相似的分析過程，研究了平均頁面排名與相對于 Disrmult 中 MRR 的增長的關(guān)系，并發(fā)現(xiàn)當(dāng)相關(guān)系數(shù)為 r=0.808 時(shí)具備極強(qiáng)的關(guān)聯(lián)性。表 4 表明，當(dāng)平均界面排名得到增長時(shí)，MRR 的值也同樣會得到增長。并觀察到 NELL-995 與 WN18RR 之間的相關(guān)性出現(xiàn)異常，并將其歸因于 WN18RR 的高度稀疏和層次結(jié)構(gòu)，這對本文的方法提出了挑戰(zhàn)，因?yàn)楸疚牡姆椒ú荒芤宰陨隙碌倪f歸方式捕獲信息。

腐蝕研究

在這里分析了當(dāng)移除路徑信息時(shí)（-PG）MR 值的變化。如：移除關(guān)系信息和 n 跳信息（-relation）。根據(jù)圖 7 可以得出當(dāng)移除關(guān)系信息時(shí)會對模型產(chǎn)生巨大影響，并可得出關(guān)系信息在進(jìn)行關(guān)系與測試至關(guān)重要的結(jié)論。

總結(jié)

本文的貢獻(xiàn)：

• 本文提出的模型學(xué)習(xí)了新的基于圖注意的嵌入，專門用于知識圖譜上的關(guān)系預(yù)測。

• 本文推廣和擴(kuò)展了圖注意機(jī)制，以捕獲給定實(shí)體的多跳鄰域中的實(shí)體和關(guān)系特征。?

后續(xù)工作方向：

• 改進(jìn)本文中的模型以更好地處理層次結(jié)構(gòu)圖。

• 嘗試在圖注意力模型中捕獲實(shí)體之間的高階關(guān)系。

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 下載論文 & 源碼

總結(jié)

以上是生活随笔為你收集整理的ACL 2019开源论文 | 基于Attention的知识图谱关系预测的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。