Rule-Guided Compositional Representation Learning on Knowledge Graphs

1.表示學(xué)習(xí)知識圖譜（KG）是將KG的實(shí)體和關(guān)系嵌入到低維連續(xù)向量空間中。

2.可以使用Horn規(guī)則在語義級別上組合路徑和關(guān)聯(lián)關(guān)系，以提高學(xué)習(xí)路徑上KG嵌入的精度，并增強(qiáng)表示學(xué)習(xí)的可解釋性。

3.DPTransE共同構(gòu)建了KG的潛在特征和圖形特征之間的交互，以提供精確而有區(qū)別的嵌入。

4.路徑增強(qiáng)模型：由于多跳路徑可以提供KG中看似未連接的實(shí)體之間的關(guān)系，因此KG中存在的路徑已受到更多關(guān)注，可以與KG嵌入相結(jié)合。

5.論文提出了一種新穎的基于規(guī)則和基于路徑的聯(lián)合嵌入（RPJE）方案，該方案利用了邏輯規(guī)則的可解釋性和準(zhǔn)確性， KG嵌入的一般化以及路徑的補(bǔ)充語義結(jié)構(gòu)。特別是，首先從KG中提取以Horn子句形式存在的不同長度（規(guī)則主體中的關(guān)系數(shù)）的邏輯規(guī)則，并精心編碼以表示學(xué)習(xí)。然后，使用長度為2的規(guī)則來精確地組成路徑，而明確使用長度為1的規(guī)則來創(chuàng)建關(guān)系之間的語義關(guān)聯(lián)并約束關(guān)系嵌入。而且，在優(yōu)化中還考慮了每個(gè)規(guī)則的置信度，以保證將規(guī)則應(yīng)用于表示學(xué)習(xí)的可用性。

1.Logic Rules Extraction from KG：從KG中挖掘規(guī)則及其置信度，表示為μ∈[0,1]。 具有較高置信度的規(guī)則具有較高的保持可能性。將有效規(guī)則的最大長度限制為2。

R1：長度為1的規(guī)則集，關(guān)聯(lián)規(guī)則主體和規(guī)則頭中的兩個(gè)關(guān)系。

R2：長度為2的規(guī)則集，可用于組成路徑。

一些規(guī)則R1和規(guī)則R2的示例：

2.Rules Employment for Compositional Representation Learning：首先通過PTransE在KG上執(zhí)行路徑提取過程，其中每個(gè)路徑p及其可靠性都通過路徑約束資源分配機(jī)制獲得，并表示為R（p | h，t）在實(shí)體對（h，t）之間。通過選擇實(shí)體對（h，t）之間的路徑（其可靠性超過0.01）來生成每個(gè)路徑集P（h，t）。特別是，必須由規(guī)則R2中每個(gè)規(guī)則主體的原子形成一個(gè)順序路徑以構(gòu)成路徑。對每個(gè)規(guī)則進(jìn)行編碼，以形成其規(guī)則主體的定向路徑。

同時(shí)需要考慮到可以同時(shí)在路徑中匹配多個(gè)規(guī)則的情況，應(yīng)選擇置信度最高的規(guī)則來構(gòu)成路徑。為了表示學(xué)習(xí)，需要將（a，r2，b）?（b，r1，a）形式的規(guī)則編碼為（a，r2，b）r（a，r1-1 ，b）。

? 3.Compositional Representation Modeling：定義了三個(gè)能量函數(shù)分別與直接三元組以及典型的基于翻譯的方法，使用規(guī)則R2和使用規(guī)則R1的關(guān)系對：

E2（p，r）表示評估路徑p與關(guān)系r之間相似性的能量函數(shù)。C（p）表示路徑p的合成結(jié)果，它是根據(jù)2（Rules Employment for Compositional Representation Learning）中說明的路徑合成過程獲得的。B（p）= {μ1，...，μn}表示與構(gòu)成路徑p的過程中使用的規(guī)則R2中的所有規(guī)則相對應(yīng)的置信度級別集合。E3（r，re）是能量函數(shù)，指示關(guān)系r和另一個(gè)關(guān)系re的相似性，并且如果re是與規(guī)則R1關(guān)聯(lián)的關(guān)系r所隱含的關(guān)系，則re應(yīng)當(dāng)被賦予更少的分?jǐn)?shù)。

? 4. Objective Formalization：引入了成對排名損失函數(shù)來形式化用于訓(xùn)練的RPJE的優(yōu)化目標(biāo)：

D（r）定義為根據(jù)規(guī)則R1從r推導(dǎo)出的所有關(guān)系集，而re是D（r）中的任何關(guān)系。

三個(gè)基于邊際的損失函數(shù)。 γ1，γ2，γ3是分別表示方程式5、6、7中每個(gè)損失函數(shù)的三個(gè)正超參數(shù)。三元組的權(quán)重固定為1，而α1，α2是兩個(gè)超參數(shù)，分別加權(quán)路徑的影響和關(guān)聯(lián)對的重合度，以r表示約束。所有規(guī)則的置信度都被認(rèn)為是優(yōu)化中的懲罰系數(shù)。

T代表在KG中觀察到的所有正三元組的集合。T-包含通過隨機(jī)替換T中的實(shí)體和關(guān)系并刪除T中已存在的三元組而重構(gòu)的負(fù)三元組。

為了解決優(yōu)化問題，使用小批量隨機(jī)梯度下降（SGD）。并考慮訓(xùn)練效率，將路徑限制為不超過3個(gè)步驟。

總結(jié)

以上是生活随笔為你收集整理的Rule-Guided Compositional Representation Learning on Knowledge Graphs-学习笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。