論文鏈接：https://arxiv.org/pdf/2009.12030.pdf

動機

傳統的KGE使用附加的類型信息改善實體的表示，但是這些方法完全依賴于顯式類型，或者忽略了特定于各種關系的不同類型表示，并且這些方法目前都不能同時推斷出對稱性、反演和組成的所有關系模式，以及1-N、N-1和N-N關系的復雜性質。所以為了探索任何知識圖譜的類型信息，我們提出了通過將每個關系作為具有關系感知投影機制的兩個實體類型之間的轉換操作來學習每個實體的潛在類型嵌入。此外，我們設計的模型是一個可插拔模塊，因此可以很容易地與任何KGE模型合并。

亮點

1）從特定實體的三元組和特定類型的三元組中學習實體、關系和實體類型的嵌入。類型嵌入可以與實體嵌入一起合并以進行推理。

2）首次建模和推斷所有的關系模式，包括對稱、反轉和組成，以及KG推理的1-N、N-1和N-N的復雜關系。

概念以及模型

?????? 提出的模型是AutoETER，它的目的是自動學習一種語義上兼容各種關系的類型表示的變體，并推斷出所有的關系模式和復雜關系。整個流程分為四個部分，分別是：1. 通過具有超平面投影策略的實體特定的三重編碼器將實體和關系嵌入到復雜空間中。2. 特定類型的三重編碼器來學習與關系感知投影機制相結合的類型嵌入。3. 提出了受相關關系導出的相似性約束。4. 提出了具有實體特定的三重表示和類型特定的三重表示的總體優化目標和類型嵌入的相似性約束。

?????? 模型整體結構如下圖所示。

實體的三重編碼器

?????? 我們將實體和關系嵌入到復雜空間中，并將關系視為從頭實體到尾實體的旋轉操作。為了推斷復雜關系，我們將實體投影到其相關關系超平面中，以確保每個實體都有關于特定關系的各種表示。根據實體三元組（h，r，t），得到能量函數E1(h,r,t)：

?????? 由于特定于實體的三元組的嵌入，我們的模型可以通過從頭到尾實體的旋轉操作來推斷出所有的關系模式。

關系的三重編碼器

?????? 給定實體e和關系r，首先利用關系感知投影機制學習類型和關系嵌入。

因此在特定類型的三元組所涉及的能量函數定義為

關于等式中的能量函數我們期望這樣：

此外，隨著在真實空間中學習的類型和關系嵌入，我們的模型將花費更少的參數建模和推斷所有的關系模式。

定理1：我們的模型可以通過特定類型的三重嵌入來推斷對稱的關系模式。

證明過程：如果關系r為對稱的，則將保留兩個三元組（h、r、t）和（t、r、h），根據等式5可知：

根據等式6可推理得到：

?

證明了對稱關系的嵌入應為零向量，頭尾實體的類型嵌入應相等。

定理2：我們的模型能夠通過特定類型的三重嵌入來推斷出反演的關系模式

證明過程：對于反關系r1和r2，兩個三元組（h、r1、t）和（t、r2、h）保持不變。根據等式3,4,5可得到：

?

然后我們定義一個轉移矩陣P：

把等式9帶入等式10中可得到：

?

再把等式11帶入8中可得到：

?

因此我們的模型可以通過特定類型的三重嵌入來推斷出反演的關系模式。

???? 定理3：我們的模型能夠通過特定類型的三重嵌入來推斷組成的關系。

?????? 證明過程：由于組合模式r3（a、c）?r1（a、b）∧r2（b、c）的關系，對應的三元組（a、r1、b）、（b、r2、c）和（a、r3、c）保持不變。根據等式3,4,5可得到：

?

然后我們定義一個轉移矩陣P和Q：

將等式16帶入13，17帶入14中，我們可以得到：

?

把等式18帶入19中，可以得到：

?

結合等式15和20，我們可以將組合模式的關系嵌入之間的相關性建模為：

?

因此證明了我們的模型能夠通過特定類型的三重嵌入來推斷組成的關系。

類型編碼相似度約束

?????? 具有相同關系的三元組中涉及的頭實體的類型嵌入彼此更接近（與尾實體的類型嵌入相同）。因此，對于兩個具有相同關系的三元組，我們希望：

任意兩個三元組(h1、r1、t1)和(h2、r2、t2)，我們設計了能量函數來評估類型嵌入的差異為：

?

優化目標

?????? 我們根據一個三分量的目標函數來優化我們的模型：

?

L1和L2是兩個成對損失函數，分別對應于實體特定的三重編碼器和類型特定的三重編碼器，L3是用于約束類型嵌入的三重損失函數。α1和α2表示在實體特定的三重、類型特定的三重和類型相似度約束之間的權衡的L2和L3的權重。其中，L1,L2,L3的具體定義為:

實驗

?????? 使用了四個標準數據集來進行鏈路預測任務，分別是FB15K、WN18、YAGO3-10、FB15K-237。

模型的評估指標是

MR：正確三元組的平均排名

MRR：正確三元組的平均順向排名

Hits@n：前候選三元組中正確三元組的比例。

實驗結果如下圖所示：

這些結果證明了用我們的模型來建模和推斷所有關系模式和復雜關系的優越性。

?? 因為FB15K存在更多不同的關系，我們選擇FB15K通過映射1-1、1-N、N-N和N-N關系來評估鏈路預測性能。結果見下圖。我們的模型在頭實體預測和尾實體預測方面都比其他基線特別是RotatE取得了更好的性能，這說明了捕獲針對關系感知投影機制的不同關系的不同表示來表示實體類型的優越性。

總結和未來工作

在本文中，我們引入了兩類編碼器來學習實體特定的三重嵌入和類型特定的三重嵌入，它可以建模和推斷所有對稱、反轉和組成的關系模式，以及復雜的1-N、N-1和N-N關系。我們還根據類型的相似性來約束類型嵌入。在未來的工作中，我們打算擴展我們的方法，以獲得包含本體監督的更好的類型表示。

?

---

?

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數據的開放、互聯及眾包，并促進知識圖譜算法、工具及平臺的開源開放。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 | AutoETER: 用于知识图谱嵌入的自动实体类型表示的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。