知識圖譜結構化地存儲著大量現實世界中的事實。其中，每個事實都以三元組 (s, r, o) 的方式進行描述，其中 s, o 分別表示頭實體和尾實體，r 表示它們之間的關系。例如，三元組 (Tim Berners-Lee, country, United Kingdom) 描述了 Tim Berners-Lee 的國籍為 United Kingdom 這一事實。

通常情況下，單個知識圖譜很難滿足各類應用所需的全部知識。因此，知識圖譜領域的學者們提出了兩類相關任務：

• 實體對齊 (entity alignment)，其通過發現不同知識圖譜中指稱真實世界相同對象的實體的方式，將兩個知識圖譜鏈接起來，從而得到一個規模更大、信息更豐富的聯合知識圖譜。
• 知識圖譜補全 (knowledge graph completion)，其主要目的在于利用單個知識圖譜中的已知信息，通過推理和預測的方式補全該知識圖譜所缺失的三元組，譬如預測 (Tim Berners-Lee, employer, ?) 或 (?, employer, W3C) 中的 ?。

目前大多數知識圖譜嵌入方法都假設相似的實體會擁有相近的關系，因此這些方法更關注知識圖譜中的三元組，即一階鄰居關系。但是，基于三元組的學習方式存在兩個局限性：一是表達能力低，這是因為這種方式只能從一階鄰居的視角來學習實體的嵌入表示，而知識圖譜中存在著大量擁有類似一階關系的實體，比如有相同的國籍、出生地等。二是語義信息傳遞效率低，這是因為這些方法只能依靠周圍的一階鄰居傳遞語義信息，而一個實體嵌入所能包含的信息是有限的，這意味著并不能將所有的鄰居信息完整地傳遞到周圍。

相較于三元組，路徑能夠提供更長、更具區分性的實體間依賴關系，一條知識圖譜路徑可以用如下方式表示：

United Kingdom, country?, Tim Berners-Lee, employer, W3C

值得注意的是，目前已有的基于路徑的知識圖譜嵌入方法大多只采用由關系元素組成的路徑，而不考慮路徑中的實體。并且，由于它們是利用路徑輔助三元組訓練，因此往往需要窮解路徑空間來尋找符合條件的路徑，因此大多只考慮由兩個三元組組成的路徑。

模型

循環神經網絡 (recurrent neural networks, RNNs) 只使用少量的參數就能處理任意長度的序列，而知識圖譜路徑恰好是有序的，因此可以利用 RNNs 來建模知識圖譜路徑：

其中，

均為 的權重矩陣， 為偏置向量。顯然，該循環神經網絡中的參數只有 三項，但能夠建模任意長度的知識圖譜路徑。

值得注意的是，RNNs 無法識別出知識圖譜路徑中的三元組結構，包括：

• 路徑中“實體-關系-實體-關系”交錯的鏈式結構；
• 當預測一個關系的尾實體時，其頭實體更加重要，比如推測 employer -> W3C時，Tim Berners-Lee 是相對更重要的元素。

而循環跳躍網絡 (recurrent skipping networks, RSNs) 通過利用一種跳躍機制建立一條捷徑，在當前輸入為實體嵌入時，利用該捷徑跳過多個連接層，直接參與到預測對應的尾實體的過程中：

其中，

為循環跳躍網絡在時刻 的輸出隱態， 為對應的傳統循環神經網絡的輸出隱態。 為權重矩陣，它們的參數在不同時刻是共享的。本文采用了帶權相加的方式進行跳躍操作，但其他方法，例如拼接等，也能夠使用。封面圖展示了循環跳躍網絡處理一個長度為 5 的知識圖譜路徑的例子。

理論分析

實際上，循環跳躍網絡中的跳躍機制引入了一種全新的三元殘差學習。令

表示原始的網絡映射函數，其中 代表網絡的輸入，并用 表示理想的網絡映射。傳統殘差網絡認為，相比于直接優化網絡使 去擬合 ，以一種差殘的方法去優化 ，使其學習 更為容易。例如，當理想的網絡映射為 時，通過多層復雜的神經網絡來學習這個恒等映射將十分困難。相反，學習殘差部分 (即 0 函數) 則十分簡單。
循環跳躍網絡更關注于“淺層”網絡的擬合，而非訓練層數很深的網絡。這是因為，循環跳躍網絡中的跳躍機制并非將位置靠前的輸入盡可能地傳遞到深層網絡中，而是關注如何建模知識圖譜路徑中的每個三元組。具體來講，給定一條知識圖譜路徑 ，其中 構成一個三元組。該跳躍機制直接引入了三元組中對應的頭實體作為減數，因此循環跳躍網絡所采用的殘差學習是三元的。具體如下：

當預測目標為

時，令 可能很難，因為上下文 包含了所有之前元素的信息。而令 卻讓網絡的優化變得簡單，因為對于推測一個關系的尾實體來講，頭實體起著更加重要的作用。

基于 RSNs 的知識圖譜嵌入框架

本文還提出了一個端到端的知識圖譜嵌入框架。目前大多數方法都只關注于單個知識圖譜嵌入任務，比如知識圖譜補全或實體對齊。ConvE、RotatE 在知識圖譜補全任務上有著領先水平的性能，但在實體對齊任務上卻失去了優勢。本文所提出的框架能夠同時在兩種不同的任務上取得優秀的表現。

如下圖所示，該框架首先使用有偏隨機游走方法采樣出一組具有深度和跨知識圖譜偏好的路徑，接著利用 RSNs 進行建模。根據每一步預測目標的不同，采用基于類型的噪音對比估計方法評估模型損失。

實驗與分析

• 實體對齊
  實驗結果如表中所示，RSNs 在所有數據集上均有明顯的優勢，尤其是在兩個跨知識圖譜數據集 DBP-WD 和 DBP-YG。通過對比框架中采用有偏 / 無偏隨機游走采樣方法，可以看出使用有偏隨機采樣的方法具有更好的性能，尤其是在 Hits@10 上。

• 知識圖譜補全
  通過將三元組視為長度為 3 的路徑，可以將 RSNs 應用于知識圖譜補全任務中。但值得注意的是，兩者的目標不完全一致，RSNs 學習的是更長的路徑而非三元組，但仍取得具有競爭力的結果。

• 與其他替代網絡的對比
  還驗證了 RSNs 中跳躍機制的有效性，其中 RRNs 為直接結合 RNNs 與殘差學習的一種方法。從結果可以看出 RSNs 顯著提升了模型的收斂速度與性能，而僅僅加入殘差網絡到 RNNs 并不能有效提升性能。

論文：

Lingbing Guo, Zequn Sun, Wei Hu*. Learning to exploit long-term relational dependencies in knowledge graphs. In: ICML, 2505-2514, 2019.

代碼：https://github.com/nju-websoft/RSN

總結

以上是生活随笔為你收集整理的bgb邻居关系建立模型_学习开发知识图谱中的长期关系依赖的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。