论文浅尝 | AAAI2020 - 基于规则的知识图谱组合表征学习
論文筆記整理：康矯健，浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系，碩士研究生。
? ? ?? ? ? ?
論文鏈接：https://arxiv.org/pdf/1911.08935.pdf
發(fā)表會(huì)議：AAAI 2020
Motivation
現(xiàn)有的KG Embedding方法大部分僅關(guān)注每個(gè)三元組的結(jié)構(gòu)化信息
有部分的工作把KG中的路徑信息考慮在內(nèi)而不僅僅是每次只考慮單個(gè)三元組，但是這種方法在獲得路徑表示的時(shí)候缺乏可解釋性。
因此本文提出一種基于規(guī)則和路徑的知識(shí)圖譜表征學(xué)習(xí)方法，能夠充分利用logic rules的可解釋性和準(zhǔn)確性。
?
Model
1. 挖掘規(guī)則：利用現(xiàn)有KG中的規(guī)則挖掘工具（如AMIE）自動(dòng)從KG中抽取出規(guī)則，總共兩類(lèi)，包括長(zhǎng)度為1的規(guī)則和長(zhǎng)度為2的規(guī)則，每條規(guī)則有一個(gè)置信度 ? ? ? ? ? ? ?
? ? ? ? ? ? ?
2. 挖掘KG中實(shí)體之間的路徑：利用PtransE自動(dòng)挖掘頭實(shí)體h和尾實(shí)體t之間存在的路徑p，每條路徑p有一個(gè)置信度 ? ? ? ? ? ? ? ? ? ? ? ? ? ?。
3. 利用挖掘出來(lái)的規(guī)則和實(shí)體之間的路徑做實(shí)體的組合表征學(xué)習(xí)。
? ? ? ? ? ? ?
如上圖所示PtransE挖掘出實(shí)體David和USA之間的一條路徑如下
? ? ? ? ? ? ?
AMIE挖掘出2條長(zhǎng)度為2的規(guī)則
? ? ? ? ? ? ?
? ? ? ? ? ? ?
一條長(zhǎng)度為1的規(guī)則
? ? ? ? ? ? ?
之后用長(zhǎng)度為2的規(guī)則對(duì)路徑做composition，其中長(zhǎng)度為2的規(guī)則中的第一條可以將
? ? ? ? ? ? ?
組合成
? ? ? ? ? ? ?
之后長(zhǎng)度為2的規(guī)則中的第二條可以將
? ? ? ? ? ? ?
組合成
? ? ? ? ? ? ?
之后根據(jù)長(zhǎng)度為1的規(guī)則，我們需要讓
? ? ? ? ? ? ?和 ? ? ? ? ? ? ?的embedding之間的距離盡可能接近。
4. 損失函數(shù)
? ? ? ? ? ? ?
總共三個(gè)score function。
其中第一個(gè)score function源于TransE，不做過(guò)多解釋。
第二個(gè)score function ? ? ? ? ? ? ?表示利用PtransE挖掘出來(lái)的h和t之間路徑p的置信度， ? ? ? ? ? ? ?中 ? ? ? ? ? ? ?表示組合路徑p使用的所有長(zhǎng)度為2的規(guī)則的置信度集合， ? ? ? ? ? ? ?表示其中使用的第i條的置信度。 ? ? ? ? ? ? ?中 ? ? ? ? ? ? ?表示最終通過(guò)長(zhǎng)度為2的規(guī)則組合出來(lái)的路徑embeding，有兩種情況，一種是最終路徑只剩下一個(gè)關(guān)系，那么 ? ? ? ? ? ? ?就是這個(gè)關(guān)系的embedding，否則 ? ? ? ? ? ? ?就是路徑剩下所有關(guān)系embedding相加。
第三個(gè)score function ? ? ? ? ? ? ?中 ? ? ? ? ? ? ?和 ? ? ? ? ? ? ?分別是長(zhǎng)度為1的規(guī)則中的兩個(gè)關(guān)系。
最終的損失函數(shù)為
? ? ? ? ? ? ?
其中
? ? ? ? ? ? ?
分別是對(duì)對(duì)應(yīng)三個(gè)score function的Margin Loss損失函數(shù)，其中第一個(gè)損失函數(shù)的負(fù)樣本是隨機(jī)將h、r、t替換掉；第二個(gè)損失函數(shù)及第三個(gè)是隨機(jī)替換掉關(guān)系。
?
5. 模型整體框架如下
? ? ? ? ? ? ?
Experiment
數(shù)據(jù)集情況：總共使用4個(gè)數(shù)據(jù)集。FB15K和FB15K-237是從Freebase中抽取的，WN18從WordNet中抽取，NELL-995從NELL中抽取。其中FB15-237是不包括inverse關(guān)系的，因此FB15K和FB15K-237一般被認(rèn)為是兩個(gè)不一樣的數(shù)據(jù)集。
? ? ? ? ? ? ?
本文做的實(shí)驗(yàn)包括relation prediction和entity prediction。
利用AMIE+挖掘出來(lái)的規(guī)則如下，每條規(guī)則會(huì)有一個(gè)0到1的閾值
? ? ? ? ? ? ?
評(píng)估指標(biāo)
MR：the mean rank of correct entities
MRR：the mean reciprocal rank of correct entities
Hits@n ：the proportion of test triples for which correct entity is ranked in the top n predictions
一個(gè)三元組的socre如下
? ? ? ? ? ? ?
baseline的選擇：第一種是TransE、TransR、TransH等Embedding methods；第二種是path-based的methods，如PtransE和DPTransE等。
第一個(gè)實(shí)驗(yàn)：rule置信度和路徑長(zhǎng)度對(duì)最終模型性能的影響
? ? ? ? ? ? ?
我們可以看到RPJE-S2的性能優(yōu)于RPJE-S3說(shuō)明采用長(zhǎng)度最多為2的路徑要優(yōu)于采用長(zhǎng)度最多為3的路徑，這說(shuō)明路徑長(zhǎng)度過(guò)長(zhǎng)會(huì)使得在path composition的過(guò)程中引入過(guò)多噪音導(dǎo)致準(zhǔn)確率下降。
RPJE-S2性能優(yōu)于PTransE說(shuō)明引入規(guī)則能夠帶來(lái)性能提升；
RPJE-S2性能優(yōu)于RPJE-min說(shuō)明規(guī)則的置信度需要引入到模型中，并更多關(guān)注那些置信度高的規(guī)則。
最終路徑長(zhǎng)度選擇2，并過(guò)濾掉那些置信度小于0.7的規(guī)則
第二個(gè)實(shí)驗(yàn)：FB15K上的relation prediction和entity prediction，以及FB15K-237上的entity prediction。可以發(fā)現(xiàn)RPJE在所有指標(biāo)上都比baseline好，說(shuō)明了引入規(guī)則和路徑的有效性。值得注意的是FB15-237中是沒(méi)有inverse relation的，那么此時(shí)因此rules更能挖掘出關(guān)系之間的聯(lián)系。
? ? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ?
第三個(gè)實(shí)驗(yàn)：在WN18和NELL-995是關(guān)系很稀疏的兩個(gè)數(shù)據(jù)集，因此可以挖掘的規(guī)則和路徑少，但是RPJE仍然好于baseline，只是提升的程度比FB15K上的少，這說(shuō)明RPJE可以在各種類(lèi)型的KG中都有很好的表現(xiàn)，但是更能在那些關(guān)系比較多的KG中有好的表現(xiàn)。
? ? ? ? ? ? ?
第四個(gè)實(shí)驗(yàn)：引入規(guī)則為我們提供了可解釋性。
? ? ? ? ? ? ?
例如我們挖掘的規(guī)則中有上面這樣一條規(guī)則，那么在測(cè)試的時(shí)候我們就知道在預(yù)測(cè)出來(lái)x和y之間有filmlanguage的時(shí)候的依據(jù)是什么。
?
OpenKG
開(kāi)放知識(shí)圖譜（簡(jiǎn)稱(chēng) OpenKG）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開(kāi)放與互聯(lián)，促進(jìn)知識(shí)圖譜和語(yǔ)義技術(shù)的普及和廣泛應(yīng)用。
點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。
總結(jié)
以上是生活随笔為你收集整理的论文浅尝 | AAAI2020 - 基于规则的知识图谱组合表征学习的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 论文浅尝｜简单高效的知识图谱表示学习负样
- 下一篇： TCC分布式实现原理及分布式应用如何保证