论文浅尝 | 基于深度强化学习将图注意力机制融入知识图谱推理
論文筆記整理：陳名楊，浙江大學直博生。
Introduction
知識圖譜（KGs）在很多NLP的下游應用中起著越來越重要的作用。但是知識圖譜常常是不完整的，所以解決知識圖譜補全的任務也非常重要。主要有三種方法來完成知識圖譜補全的任務，基于規則（Rule-Based）的方法，基于潛入（Embedding-Based）的方法和基于路徑（Path-Based）的方法。、
當前，也有一些工作考慮使用深度強化學習來解決預測缺失鏈接的問題，例如DeepPath，是第一個將深度強化學習引入知識圖譜推理的工作。但該工作也有很多缺陷，第一，DeepPath缺少memory相關的部分，導致需要一定的監督學習進行與訓練，該預訓練可能導致模型過擬合；第二，對不同的關系都使用相同的超參數并沒有考慮實體間多樣性的鏈接；第三，當agent選擇了一條無效的路徑后，會停下來并重新選擇，這樣會導致持續選擇無效路徑最終被困在一個節點。
本文提出了一個新的使用模型（AttnPath）來解決上面提到的問題，該模型使用LSTM和圖注意力機制作為memory部分從而不需要預訓練，提出了兩個度量MSR和MRR，提出了一定的機制使得agent每一步都向前走從而不會被困在某一個點。
?
Method (AttnPath)
????? 因為該方法使用強化學習作為訓練方法，所以先介紹該方法強化學習的框架：
環境（Environment）：整個知識圖譜，除了當前正在query的關系和其反關系；
狀態（State）：agent的state由三部分連接而成，分別是嵌入部分，LSTM部分和圖注意力部分；
a) 嵌入部分。類似于DeepPath，本文的嵌入部分包含了當前節點的嵌入，以及target節點嵌入減去當前節點的嵌入，區別于DeepPath使用TransE作為嵌入方法，這里使用TransD作為嵌入方法把每個節點的嵌入映射到當前query的關系的相關平面上。則嵌入部分的 M_t 表示如下：
?????? b) LSTM部分。這里使用一個三層的LSTM來對agent之前走過的路徑進行編碼：
?????? c) 圖注意力部分。對于每一個entity都有不同的方面，也就是說希望agent可以更多關注和當前query有關的關系和鄰居節點，因此引入來GAT，對一個節點的周圍節點，采用不同的權重并且相加，如下：
所以最終的狀態表示如下
3. 動作（Action）：在KG推理的任務中，動作指的是agent選擇一個關系然后前進一步。動作也分為有效和無效，有效指的是在當前的節點中有這樣的關系從該節點出去，反之亦然；
4. 獎勵（Reward）：獎勵是對agent的反饋，根據選擇的relation是否是有效的，以及一系列的動作是否能走到最終真正的尾實體；
?
整個過程的優化使用REFORENCE算法，更新參數如下：
AttnPath的模型如下所示：
?
Mean Selection / Replace Rate
對于不同的關系，需要懸鏈不同的模型，但是不同關系的困難程度不同，也就是說有些關系有較多的替代關系，agent可以很容易的找到一條替代的路徑從頭實體走到尾實體。這里提出兩個度量方法，MeanSelection Rate和Mean Replacement Rate來度量每個關系的困難程度。
對于關系r的Mean Select Rate（MSR）表示如下：
MSR越低，表示r越難學習，因為連接r的實體有很多的方面（aspect），也就說對于這些entity，r只是其中的一小部分。
??????????? 對于關系的MeanReplacement Rate（MRR）表示如下：
MRR越高表示這個當前的關系有更多的可以替代的relation，所以更容易學習到一個新的路徑因為agent可以直接選一個替代的relation到達尾實體。
??????????? 在本文中，對于學習起來有不同難易程度的關系采用不同程度的正則化。例如對于具有比較高的MSR和MRR的關系，因為學習起來比較容易，則采用更多的正則化來防止過擬合，反之亦然。
?
Experiments
Fact Predict：
Link Prediction：
?
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文，進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | 基于深度强化学习将图注意力机制融入知识图谱推理的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 论文浅尝 - ICLR2020 | Yo
- 下一篇： 肖仰华 | 做个“有知识”的机器人