論文筆記整理：許澤眾，浙江大學博士研究生。研究方向：知識圖譜，規則挖掘等。

---

論文鏈接：https://openreview.net/pdf?id=rJleKgrKwS

本文解決的是規則的學習問題，學習出來的規則可用于知識推理任務，例如鏈接預測等。

KG上的規則捕獲了數據中可解釋的模式，并且可以用于KG的清洗和補全。

可微邏輯框架TensorLog將規則推理編譯成了可微的操作序列。受TensorLog的啟發，Neural LP方法可用于學習參數和規則的結構。然而，它在處理age, weight, scicentific measurements等數字特征方面受限。本文提出Neural LP的擴展，可實現對數值規則的快速學習。在通用的Neural LP方法中，數值規則會導致稠密的矩陣操作，使用動態規劃和累積求和運算，有效地表達了用于數值比較的操作符。同時作者還設計了否定、聚合等操作符，總體上使得規則形式更加豐富。

最后在多個KG數據集上進行了實驗，證明了本文的方法和Neural LP方法相比，可以更準確地回答queries，并且比state-of-the-art的規則抽取方法準確率更高。在兩個合成的真實數據集上進行了實驗，證明了本文的方法可以依賴于數值信息更準確地恢復出規則，以實現在KG上進行更精準的鏈接預測。和純圖嵌入方法不同的是，本文的方法抽取出的規則仍然具有可解釋性。

考慮圖中所示的KG和如下的規則：

這個規則表示學生受有較高引用量的導師的同事的影響。

原始的Neural LP框架不能直接支持有數值的事實：簡單的做法是將數值常量作為實體，但這將會非常難以處理，因為各自矩陣中非零的元素值非常非常多。類似地，樸素的處理否定原子的操作會引入操作不可行的稠密矩陣。

本文方法的主要思想是：隱式地表示必要的矩陣操作，可以使用動態規劃、累積求和和排列（用于數值比較特征），也可以使用低秩分解（用于否定原子）。所謂隱式操作就是指不需要完全重現操作符的具體數據，只需要能夠得到操作符和向量相乘得到的結果即可。作者設計了以下操作符：

（1）Pair-wise Comparison

這一矩陣是針對KG上所有包含p , q實體對的，因此通常是稠密的，因此樸素的具體化將超過GPU內存的限制。而且，在現實中通常不需要明確地具體化TensorLog的關系矩陣。上面提到的Neural LP推理鏈中，所需要做的就是有效地計算關系矩陣和表示推理鏈中當前概率的某個向量之間的matrix-vector積，這就是隱式的意思：

考慮到特殊的情況：p和q都以升序進行排列:

γ值可以預先在CPU上進行計算，使用動態規劃可以實現線性的復雜度。

考慮一般的情況，也就是p , q沒有進行排序：

（2）分類操作符

作者也考慮到了更多的一般規則，在這種規則中，不一定非要對實體的兩個數值屬性間進行比較，也可以對這些屬性的functions進行比較。通過在之上施加聚合函數 F 去達到多個屬性操作聚合作用的效果，例如下面一條邏輯表達式：

其中 F 代表的聚合操作就是由兩種基礎的屬性比較操作的某種聯合作用，聚合函數可用任意的神經網絡來替換，文中使用了簡單的MLP。

（3）否定操作符（Negated Operators）

使用了局部封閉世界的假設（local closed-world assumption），因為封閉世界假設不符合KG的使用場景，開放世界假設對操作符取反之后全為0沒有意義。對于給定的操作符矩陣M，對那些要被翻轉的元素進行了限制，即要被翻轉的元素所在的行至少要有一個非零元素。

實驗部分如下：

1、數據集

2、實驗任務：鏈接預測

3、對比方法

本文的方法稱為Neural-Num-LP，和以下兩個baselines進行對比：

• AnyBURL：用于學習Horn規則的自底向上的方法（Horn規則：例如只有positive atoms沒有比較操作符的規則）；
  

• Neural-LP：可微的規則學習系統。

4、實驗結果

本文的方法和baselines對比的實驗結果：

實驗結果可以看出，本文基于Neural-LP拓展出的方法Neural-Num-LP在自造的數據集上，達到了一種很好的效果，而另外倆個相關的baseline因為沒有加入數值推理的邏輯，所以效果不行；同時，在倆個標準知識圖譜上，Neural-Num-LP也能達到一個較好的效果，體現出框架的一方面很好的保存了關系推理的功能，又較好的建模了數值推理的邏輯。

總體而言，本文設計了多種操作符，豐富了規則形式，尤其是支持數值型規則的可謂學習，但是每種操作符都有一定的限制。比較操作符只能比較規則中相鄰的實體的數值，否定操作符本身的部分封閉世界假設本身相比開放世界假設是有限制的，聚合操作符實際減弱了規則的可解釋性。

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 - ICLR2020 | 知识图谱中数值规则的可微学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。