论文浅尝 - ICLR2020 | 通过神经逻辑归纳学习有效地解释
論文筆記整理：朱渝珊，浙江大學(xué)直博生。研究方向：知識(shí)圖譜，快速表示學(xué)習(xí)等。
論文鏈接：https://arxiv.org/pdf/1910.02481.pdf
本文是ICLR 2020的一篇關(guān)于知識(shí)圖譜中關(guān)于復(fù)雜（樹(shù)狀、組合）規(guī)則可微學(xué)習(xí)的文章。提出了神經(jīng)邏輯歸納學(xué)習(xí)（NLIL），一種可微分的ILP方法，擴(kuò)展了針對(duì)一般ILP問(wèn)題的多跳推理框架。NLIL將搜索空間分解為一個(gè)層次結(jié)構(gòu)中的3個(gè)子空間，每個(gè)子空間都可以通過(guò)注意力高效地進(jìn)行搜索。作者證明通過(guò)這種方式模型可搜索的規(guī)則比使用NeuralLP等方式搜索的規(guī)則長(zhǎng)10倍，且擁有更快的速度。
1. 相關(guān)背景
1.1 Inductive Logic Programming (ILP)
一階邏輯系統(tǒng)有3個(gè)組件：實(shí)體，謂詞和公式。以下圖為例：
實(shí)體是對(duì)象x∈X。圖像中某區(qū)域是實(shí)體x，所有可能區(qū)域集合是X。
謂詞是將實(shí)體映射到0或1的函數(shù)，Person:x →{0,1}，x∈X。謂詞可有多個(gè)輸入，如“Inside”是接受2輸入的謂詞，參數(shù)的數(shù)量稱為Arity。原子是應(yīng)用于邏輯變量的謂詞符號(hào)，如person(X)和Inside(X,X')。
一階邏輯（FOL）公式是使用邏輯運(yùn)算{∧，∨，?}的原子的組合。給定一組謂詞P ={P1...PK},謂詞Pk的解釋定義為一階邏輯蘊(yùn)涵，
?? Pk(X,X')是蘊(yùn)涵的頭，如它是一元謂詞，則為Pk(X)。A為規(guī)則主體，如
代表著這樣的知識(shí)：“如果物體在車內(nèi)，身上有衣服，那就是人”。
1.2 多跳推理：
ILP問(wèn)題與KG多跳推理任務(wù)相關(guān)。此處，事實(shí)存儲(chǔ)在謂詞Pk的二進(jìn)制矩陣Mk中，Mk(i,j)=1表明三元組在KG中。
給定查詢q=
M(t)是在第 t 跳中用的謂詞的鄰接矩陣。v(t)是路徑特征向量，v(t)中第j個(gè)元素計(jì)算從x到xj的唯一路徑的數(shù)量。經(jīng)過(guò)T步推理后，查詢的分?jǐn)?shù)計(jì)算為
對(duì)于每個(gè)q，目標(biāo)是（i）找到一個(gè)合適的T，（ii）為每個(gè)t∈[1,2，...，T]，找到一個(gè)合適的M（t），使得score最大。這兩個(gè)離散的選擇可以放寬,即
此為軟路徑選擇函數(shù)，參數(shù)為
（i）路徑注意向量，選擇長(zhǎng)度在1到T之間回答查詢的最佳路徑。
（ii）謂詞注意向量，在第t步選擇M(t)。
這兩個(gè)注意向量是通過(guò)下述模型生成的
參數(shù)w可學(xué)習(xí)。以前的一些方法，T(x; w)是一個(gè)隨機(jī)游動(dòng)采樣器，它會(huì)生成one-hot向量來(lái)模擬從x開(kāi)始的圖形上的隨機(jī)游動(dòng)。在NeuralLP中，T(x; w)是一個(gè)RNN控制器，目標(biāo)定義為
在多跳推理中學(xué)習(xí)關(guān)系路徑可以解釋為使用鏈狀FOL（一階邏輯）規(guī)則解決ILP問(wèn)題
與基于模板的ILP方法（如?ILP）比，此類方法在規(guī)則探索和評(píng)估中非常有效。但是，存在兩個(gè)問(wèn)題
（P1）規(guī)則的表達(dá)性不足，僅能表達(dá)鏈狀規(guī)則，例如等式(2)不是鏈狀的就不能表示。
（P2）注意生成器T(x; w)取決于特定查詢q的實(shí)體x，這意味著針對(duì)目標(biāo)P*生成的解釋可能因查詢而異，很難學(xué)習(xí)KG中全局一致的FOL規(guī)則。
2. 算法模型
推理過(guò)程中所有中間實(shí)體都用首尾實(shí)體表示
如上將公式（1）轉(zhuǎn)換為（7）所示，實(shí)現(xiàn)方法就是通過(guò)轉(zhuǎn)換的函數(shù)（操作符）：將每個(gè)謂詞k都視為一個(gè)操作符?k，如下所示，U是一元謂詞，B是二元謂詞
則規(guī)則（2）可以表述成規(guī)則（8），這樣首尾實(shí)體在具體實(shí)現(xiàn)時(shí)用隨機(jī)初始化的向量表示，擺脫了數(shù)據(jù)依賴
擴(kuò)展到樹(shù)狀規(guī)則
提出Primitive Statements（基本語(yǔ)句）的概念，公式（8）可視為兩個(gè)基本語(yǔ)句組成，和
每個(gè)基本語(yǔ)句都是從輸入空間映射到一個(gè)置信度得分標(biāo)量
公式（3）可表示為
如下圖所示，樹(shù)狀規(guī)則可表示為
規(guī)則之間的組合
把基本語(yǔ)句用{∧，∨，?}進(jìn)行邏輯組合，如公式（8）就是兩個(gè)基本語(yǔ)句的邏輯“and”操作。邏輯 “not” 及邏輯 “and” 運(yùn)算如下表示
第l級(jí)的公式集以及最后的得分就可如下方式推得
整個(gè)流程可以如下圖所示
其中都是注意力，W/sum 是加權(quán)和，Matmul 指矩陣乘積，Neg 是邏輯“not”，XEnt 是交叉熵。
具體實(shí)現(xiàn)上：Hierarchical Transformer Networks for Rule Generation，引入“虛擬”自變量X和X’，學(xué)習(xí)的參數(shù)有邏輯謂詞向量 和相應(yīng)的注意力參數(shù)，公式為
其中h*是P*的嵌入，因此注意力僅相對(duì)于P*有所不同。
3. 實(shí)驗(yàn)
Baseline
?NeuralLP? (Yang , 2017)
??ILP? (Evans , 2018)
?TransE? (Bordes , 2013)
?RotatE? (Sun , 2019)
Dataset
?ES(Even-and-Successor)? (Evans , 2018) ：兩個(gè)一元謂詞Even，Zero和一個(gè)二元謂詞Successor。目標(biāo)是學(xué)習(xí)一組整數(shù)上的FOL規(guī)則。本文對(duì)從0開(kāi)始的10、50和1K個(gè)連續(xù)整數(shù)評(píng)估。
?FB15K-237
?WN18
?VG(Visual Genome)，視覺(jué)領(lǐng)域數(shù)據(jù)，以物體檢測(cè)任務(wù)為基礎(chǔ)，將圖片上的物體之間的關(guān)系抽象成小的知識(shí)圖譜
FB15k-237和WN18數(shù)據(jù)上鏈接預(yù)測(cè)
ES數(shù)據(jù)上與不同算法對(duì)比，(a)時(shí)間 (mins)，(b)規(guī)則長(zhǎng)度
VG數(shù)據(jù)集，不同training-set大小
雖然基于豐富標(biāo)簽數(shù)據(jù)的監(jiān)督學(xué)習(xí)方法達(dá)到了比較好的效果，但是NLIL僅僅利用稀疏的（0/1）標(biāo)簽就能達(dá)到匹敵的效果，甚至顯著優(yōu)于一種監(jiān)督模型baseline的效果，進(jìn)一步體現(xiàn)出了模型的有效性。在少樣本學(xué)習(xí)（訓(xùn)練樣本僅0.01%）也體現(xiàn)出更好性能。
4．總結(jié)
本文提出了神經(jīng)邏輯歸納學(xué)習(xí)，這是一個(gè)可區(qū)分的ILP框架，可以從數(shù)據(jù)中學(xué)習(xí)解釋性規(guī)則。
證明了NLIL可以擴(kuò)展到非常大的數(shù)據(jù)集，同時(shí)能夠搜索復(fù)雜的表達(dá)規(guī)則。更重要的是，本文還證明了可擴(kuò)展的ILP方法在解釋監(jiān)督模型的決策方面是有效的，這為檢查機(jī)器學(xué)習(xí)系統(tǒng)的決策過(guò)程提供了另一種視角。
?
?
OpenKG
開(kāi)放知識(shí)圖譜（簡(jiǎn)稱 OpenKG）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開(kāi)放與互聯(lián)，促進(jìn)知識(shí)圖譜和語(yǔ)義技術(shù)的普及和廣泛應(yīng)用。
點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)總結(jié)
以上是生活随笔為你收集整理的论文浅尝 - ICLR2020 | 通过神经逻辑归纳学习有效地解释的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 论文浅尝 | 基于知识库的自然语言理解
- 下一篇： 论文浅尝 | 一个模型解决所有问题：实体