論文鏈接：https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/download/16369/16011

發(fā)表會議：AAAI 2018

摘要

知識圖譜表示學習旨在將實體和關系嵌入到向量空間，同時保留知識圖譜的內在結構。傳統(tǒng)方法主要基于關系三元組學習知識圖譜的嵌入表示。本文認為，知識圖譜中的邏輯規(guī)則對于表示學習也很有幫助，于是提出了一個新的表示學習模型RUGE (Rule-Guided Embedding)。RUGE的主要特點是，利用從知識圖譜自動抽取的規(guī)則迭代地預測未標記三元組，并將其加入訓練來增強表示學習。

方法介紹

RUGE框架如下圖所示。與傳統(tǒng)方法不同，該模型除了利用labeled三元組，還同時引入了unlabeled三元組和邏輯規(guī)則。RUGE利用自動抽取的規(guī)則，生成帶有置信度的unlabeled三元組并加入訓練。整個過程是迭代的，基于嵌入表示為unlabeled三元組計算soft label，然后利用soft label進行表示學習。

1. 學習資源

a)??????soft規(guī)則：帶有置信度的FOL規(guī)則。對于規(guī)則格式，舉個例子：?x, y :(x, r_s, y) ? (x, r_t, y)，表明具有關系 r_s 的兩個實體也具有關系 r_t。

b)??????labeled 三元組：正例三元組標記為1，反例三元組標記為-1。傳統(tǒng)方法主要利用這些 labeled 三元組進行表示學習。

c)??????unlabeled 三元組：本文中的 unlabeled 三元組特指利用規(guī)則和已知三元組可以推導出的三元組。

其中，soft規(guī)則可以利用開源系統(tǒng)如AMIE+自動地從知識圖譜中抽取。將soft規(guī)則中的變量替換為具體的實體，我們可以獲得規(guī)則groundings。比如，基于規(guī)則?x, y :(x,BornInCountry, y) ? (x, Nationality, y)，我們可以得到規(guī)則grounding：(EmmanuelMacron, BornInCountry, France) ? (EmmanuelMacron,Nationality, France)。本文只考慮那些前件是labeled三元組的規(guī)則groundings，這些groundings的后件三元組，就是unlabeled三元組。

2.???? 三元組和規(guī)則建模

對于三元組建模，本文采用現(xiàn)有模型 ComplEx [2]，三元組的真值可以直接計算得到。對于規(guī)則建模，也就是建模規(guī)則 groundings 的真值，本文采用 T-norm fuzzy logics [3]，規(guī)則的真值等于其三元組真值的邏輯組合。用?表示的真值，那么。這個地方非常巧妙，通過這個公式，規(guī)則和三元組結合在了一起，并且我們可以基于規(guī)則真值來計算 unlabeled 三元組的真值。

3. 弱標記預測

至此，一方面，我們可以基于嵌入表示來計算 labeled 和 unlabeled 三元組的“真值”，用表示；另一方面，也可以基于規(guī)則 groundings 的真值來計算三元組的實際真值，即本文所指的 soft label，用表示。本文希望，這兩個真值應該是接近的，且應當使得規(guī)則 groundings 為真。于是文本定義如下優(yōu)化目標：

其中，第一個方框是兩個真值的均方誤差，是最小化的目標。第二個方框是一個約束條件，希望 groundings 的真值為1，置信度是。

4. 表示學習矯正

基于上一步，我們得到了unlabeled三元組的soft label。結合labeled三元組，本使用logistics loss進行統(tǒng)一優(yōu)化，如下：

實驗結果

本文的主要實驗任務是傳統(tǒng)的關系預測。數(shù)據(jù)集采用了FB15K和YAGO37. 實驗結果如下表所示。我們可以看見，RUGE相比對比方法，取得了較好的結果。

參考

[1] Shu Guo, Quan Wang, Lihong Wang, Bin Wang, Li Guo: Knowledge Graph Embedding With Iterative Guidance From Soft Rules. AAAI 2018: 4816-4823

[2] Théo Trouillon, Johannes Welbl, Sebastian Riedel, éric Gaussier,Guillaume Bouchard: Complex Embeddings for Simple Link Prediction. ICML 2016:2071-2080

[3] H′ajek, P. The metamathematics offuzzy logic. 1998

?

論文筆記整理：孫澤群，南京大學博士生，研究方向為知識圖譜、知識融合。

?

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

?

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | KG Embedding with Iterative Guidance from Soft Rules的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。