Citation:Shu Guo, Quan Wang, Lihong Wang, Bin Wang, Li Guo.Knowledge Graph Embeddingwith Iterative Guidance from Soft Rules. AAAI 2018.

動(dòng)機(jī)

知識(shí)圖譜的分布式表示旨在將知識(shí)圖譜中的實(shí)體和關(guān)系表示到連續(xù)的向量空間中，本文考慮的問題是如何將知識(shí)庫(kù)的分布式表示和邏輯規(guī)則結(jié)合起來，并提出了一個(gè)新的表示學(xué)習(xí)方法 RUGE(Rule-Guided Embedding)。

貢獻(xiàn)

（1）本文提出了一種新的知識(shí)圖譜表示學(xué)習(xí)方法 RUGE，RUGE 在向量表示(embeddings)的學(xué)習(xí)過程中迭代地而非一次性地加入了邏輯規(guī)則的約束。

（2）本文使用的是已有算法自動(dòng)挖掘的規(guī)則，RUGE 的有效性證明了算法自動(dòng)挖掘的規(guī)則的有效性。

（3）本文提出的方法 RUGE 具有很好的通用型，對(duì)于不同的邏輯規(guī)則和不同置信度的規(guī)則的魯棒性較好。

方法 RUGE

1. RUGE 方法的輸入有三個(gè)部分：

1) 已標(biāo)記的三原組：知識(shí)庫(kù)中已有三元組

2) 未標(biāo)記的三元組：知識(shí)庫(kù)中不存在的三元組。在這篇論文中未標(biāo)記的三元組只考慮了能夠由邏輯規(guī)則推導(dǎo)出的三元組。

3) 概率邏輯規(guī)則：本文主要考慮了一階謂詞邏輯規(guī)則，每一個(gè)邏輯規(guī)則都標(biāo)有一個(gè)成立的概率值。實(shí)驗(yàn)中使用的概率規(guī)則來自于規(guī)則自動(dòng)挖掘系統(tǒng) AMIE+。

?

2. 模型核心想法如下：

3. 三元組表示

本文采用了 ComplEx 作為基礎(chǔ)的知識(shí)庫(kù)分布式表示學(xué)習(xí)的模型，在ComplEx中，每一個(gè)實(shí)體和關(guān)系都被表示為一個(gè)復(fù)數(shù)向量，一個(gè)三元組 (e_i,r_k,e_j) 的得分函數(shù)設(shè)計(jì)如下：

其中 Re<x> 表示取 x 實(shí)部的值，bar{e}_j 為 e_j 的共軛向量。正確的三元組得分函數(shù)值會(huì)較高而不正確的三元組得分函數(shù)的值會(huì)較低。

4. 邏輯規(guī)則的表示

本文借鑒了模糊邏輯的核心思想，將規(guī)則的真值看作其組成部件真值的組合。例如一個(gè)已經(jīng)實(shí)例化的規(guī)則 (e_u, e_s,e_v) =(e_u, e_t,e_v) 的真值將由 (e_u, e_s,e_v) 和 (e_u, e_t,e_v) 的真值決定。根據(jù)(Guo et al. 2016)的工作，不同邏輯算子的真值計(jì)算如下：

由上三式可推出規(guī)則真值計(jì)算公式：

此規(guī)則計(jì)算公式是后面規(guī)則應(yīng)用的一個(gè)重要依據(jù)。

5. 未標(biāo)記三元組標(biāo)簽預(yù)測(cè)

這一步是整個(gè)方法的核心，目的在于對(duì)未標(biāo)記三元組的標(biāo)簽進(jìn)行預(yù)測(cè)，并將這些三元組添加到知識(shí)圖譜中，再次進(jìn)行知識(shí)圖譜的分布式表示學(xué)習(xí)訓(xùn)練，修正向量結(jié)果。標(biāo)簽預(yù)測(cè)的過程主要由兩個(gè)目標(biāo)：

???????i.?????目標(biāo)一：預(yù)測(cè)的標(biāo)簽值要盡可能接近其真實(shí)的真值。由于預(yù)測(cè)的三元組都是未標(biāo)記的，本文將由當(dāng)前表示學(xué)習(xí)的向量結(jié)果按照得分函數(shù)計(jì)算出的結(jié)果當(dāng)作其真實(shí)的真值。

????? ii.????? 目標(biāo)二：預(yù)測(cè)的真值要符合對(duì)應(yīng)邏輯規(guī)則的約束，即通過規(guī)則公式計(jì)算出的真值要大于一定的值。其中應(yīng)用的規(guī)則計(jì)算公式如下：

其中 φ(e_u, e_s,e_v) 是當(dāng)前向量表示計(jì)算的結(jié)果，s(e_u, e_t,e_v) 是要預(yù)測(cè)的真值。真值預(yù)測(cè)的訓(xùn)練目標(biāo)如下：

通過對(duì)上式對(duì)求 s(x_u) 導(dǎo)等于 0 可得到 s(x_u) 的計(jì)算公式：

6. 向量表示結(jié)果的修正

將預(yù)測(cè)了標(biāo)簽的三元組添加到知識(shí)圖譜中，和已由的三元組一起進(jìn)行訓(xùn)練，來修正向量學(xué)習(xí)，優(yōu)化的損失函數(shù)目標(biāo)如下：

上式前半部分是對(duì)知識(shí)圖譜中真實(shí)存在的三元組的約束，后半部分為對(duì)預(yù)測(cè)了標(biāo)簽的三元組的約束。

?

以上步驟在模型訓(xùn)練過程中迭代進(jìn)行。

實(shí)驗(yàn)

鏈接預(yù)測(cè)：

從實(shí)驗(yàn)結(jié)果可以看出，規(guī)則的應(yīng)用提升了表示學(xué)習(xí)的結(jié)果。

?

論文筆記整理：張文，浙江大學(xué)博士在讀，研究方向知識(shí)圖譜的分布式表示與推理。

---

OpenKG.CN

中文開放知識(shí)圖譜（簡(jiǎn)稱OpenKG.CN）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識(shí)圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

轉(zhuǎn)載須知：轉(zhuǎn)載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標(biāo)題，請(qǐng)注明原標(biāo)題。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 基于迭代的概率规则约束的知识图谱分布式表示的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。