相關工作

現有的方法通過僅關注實體特征或以不相交的方式考慮實體和關系的特征學習KG嵌入，相反，我們提出的圖注意力模型從整體上捕獲了KG中任何給定實體的n跳領域中的多跳和語義相似的關系。

我們的方法

1.GAT

單個GAT層為：

輸出層：

相對注意力aij是使用softmax函數計算領域中所有值的。

連接K個注意力頭的多頭注意力過程如下：

最后一層的輸出嵌入是使用平均而不是連接操作來計算的，以實現多頭注意力：

2.關系很重要

提出了一個新的嵌入方法，將關系和相鄰節點特征結合到注意機制中。
定義了一個注意力層，是我們模型的構建塊，與GAT類似，我們的框架與注意力機制的特定選擇無關。
通過對對應于特定三元組的實體和關系特征向量的串聯執行線性變換來學習這些嵌入。

我們學習了由表示的每個三元組的重要性。
獲取三元組的絕對注意力值：

要獲得相對注意力值：

多頭注意力用來穩定學習過程并封裝有關社區的更多信息。
本質上，M個獨立的注意力機制計算嵌入，然后將它們連接起來，得到以下表示：

在模型的最后一層，并不是連接來自多個頭的嵌入，而是使用平均來獲取最后的平均向量。

將初始實體嵌入信息添加到從最終注意力層獲得的實體嵌入中，

在我們的架構中，我們通過為兩個實體之間的n跳鄰居引入輔助關系，將邊的概念擴展到有向路徑。這個輔助關系的嵌入是路徑中所有關系的嵌入的總和，我們的模型迭代地從實體的遠鄰積累知識。一般來說，對于n層模型，輸入信息是在n跳領域上累積的。圖2還顯示了學習新實體嵌入和在n跳鄰居之間引入輔助邊的聚合過程。對于每個主要迭代，我們在每個廣義GAT層之后和第一層之前對實體嵌入進行歸一化。

3.培訓目標

使用鉸鏈損失訓練我們的模型：

4.解碼器

使用ConvKB作為解碼器。
卷積層的目的是分析三元組在每個維度上的全局嵌入屬性，并概括我們模型中的過渡特征。具有多個特征圖的得分函數可以正式寫為：

該模型使用soft-margin損失函數來進行訓練：

實驗和結果

培訓協議

我們遵循兩步訓練程序，即我們首先訓練我們的廣義 GAT 來編碼關于圖實體和關系的信息然后訓練像 ConvKB 這樣的解碼器模型來執行關系預測任務。 原始 GAT 更新公式 3僅聚合從 1-hop 傳遞的信息鄰域，而我們的廣義 GAT 使用來自 n 跳鄰域的信息。

評估協議

在關系預測任務中，目標是預測缺少 ei 或 ej 的三元組 (ei, rk, ej)，即預測 ei given (rk, ej) 或預測 ej given (ei, rk)。 我們通過將每個實體 ei 替換為每個其他實體 ei 來為每個實體 ei 生成一組 (N - 1) 個損壞的三元組？ ∈ E \ ei，然后我們為每個這樣的三元組分配一個分數。隨后，我們按升序對這些分數進行排序，并獲得正確三元組（ei，rk，ej）的排名。與之前的工作類似，我們在過濾設置中評估所有模型，即在排名期間我們刪除已經存在于訓練、驗證或測試集中的損壞三元組。通過替換尾部實體 ej 重復整個過程，并報告平均指標。 我們報告了 N = 1、3 和 10 的平均倒數排名 (MRR)、平均排名 (MR) 和前 N 個排名 (Hits@N) 中正確實體的比例。

結果和分析

注意力值與Epochs

在學習過程的初始階段，注意力是隨機分布的。隨著訓練的進行和我們的模型收集來自鄰里的更多信息，它表明對直接鄰居的更多關注，并采取來自較遠鄰居的次要信息。 一旦模型收斂，它就學會收集多跳和聚類關系信息來自節點的 n 跳鄰域。

PageRank分析

我們假設實體之間的復雜和隱藏的多跳關系在密集圖中比稀疏圖中更簡潔地捕獲。 為了檢驗這個假設，我們進行了類似于 ConvE 的分析，他們研究了平均 PageRank 與 MRR 相對于 DistMult 的增加之間的相關性。在 NELL-995 與 WN18RR 的情況下，我們觀察到我們觀察到的相關性異常，并將其歸因于 WN18RR 的高度稀疏和分層結構，這對我們的方法構成了挑戰，該方法不以自上而下的遞歸方式捕獲信息。

消融研究

總結和未來工作

將來，我們打算將我們的方法擴展到在我們的圖注意力模型中更好地在分層圖上執行并捕獲實體（如主題）之間的高階關系。

總結

以上是生活随笔為你收集整理的Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs Deepak的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。