論文筆記整理：譚亦鳴，東南大學博士生，研究方向為知識庫問答。

---

來源：ACL2019

鏈接：https://www.aclweb.org/anthology/P19-1417/

?

????? 本文提出了一種融合不完整知識圖譜與文檔集信息的end2end問答模型，旨在利用結構化的實體，邊緣信息（來自問題對應的知識子圖）幫助理解非結構化的文檔信息（來自檢索），從而獲得融合的問答證據，用于答案的預測。在WebQSP數據集上的實驗表明，本文模型對于完整度不同知識圖譜均能在問答性能上帶來提升。

???? 作者用上面這個例子闡述不完整知識圖譜問答任務的必要性。從圖 1 中的真實示例可以看到，現有的知識圖譜并不能覆蓋完全的知識信息。因此對于部分問答場景，同時使用到圖譜和文本是獲取到更精準答案的策略之一。

?

方法

?????? 圖 2 描述了本文提出的模型框架，主要由一個SubGraph Reader模型（提取知識圖譜信息）及一個Knowledge-Aware TextReader（提取文本信息）模型組成。

其中，原始問題經由SubGraph Reader整合得到與問題最為相關的實體/關系將用于重構問題信息（query information），并輸入到Knowledge-Aware TextReader幫助從文本中預測問題的答案。

框架細節描述如下：

SubGraphReader

該模型的設計思路在于利用圖-注意力機制（Graph-Attention）收集關聯實體e的鄰居N_e知識。圖-注意力主要考慮兩個方面：

鄰居關系是否與問題相關；

鄰居實體是否是問題的主題實體；

模型的輸出各實體的向量化表示，并利用實體的關聯鄰居編碼知識。

因此這里需要解決的兩個子問題分別為：

1.????問題-關系匹配

這里利用了一個共享的LSTM編碼問題序列{w₁^q, w₂^q…, w_n^q}及tokenized形式的關系詞{ w₁^r, w₂^r…, w_m^r},從而得到兩者對應的隱狀態h^q與h^r。在此基礎上，使用一個注意力機制對關系進行編碼，形式如下：

考慮到一個問題可能匹配多個關系，且一個關系可能只匹配問題的一部分，因此作者在這里提出使用關系去逐個匹配問題中每個詞，而后融合得到整體的匹配分數，形式如下：

2.????對于主題實體鄰居的特別關注

在上述問題-關系匹配的基礎上，作者發現由主題實體衍生的另一個特征也非常有用，即當主題實體的鄰居在問題中出現，那么其在知識圖譜中對應的三元組相對于不包含主題實體的其他三元組應該與問題具備更高的相關性。

鄰居(r_i, e_i)其注意力得分的計算形式為：

3.????鄰居的信息傳播

為了聚合圖譜中關聯三元組的知識，作者對于每個實體定義了其傳播規則如下：

其中，e為預先計算的圖譜embedding，W是一個可訓練的矩陣，是一個激活函數，是一個協調參數，由一個線性門函數（linear gate function）計算得到，用于控制原始實體信息的保留程度，形式如下：

?

Knowledge-AwareText Reader

??????? 作者表示這個部分主要是基于現有的閱讀理解模型(Chen et al. Reading wikipedia to answer opendomain questions, ACL 2017),改進部分在于對問題和文本均學習了更多的知識-意識表示。主要包括:

1.????潛在空間的查詢重制

首先使用self-attention編碼器編碼原始問題向量h^q,得到一個獨立的問題表示:

作者收集問題的主題實體知識描述為:

接著,利用一個門機制將兩者聚合如下:

2.????知識-意識文本強化

對于文本,作者首先使用了一個雙向LSTM獲取token-level的特征,利用文本中的實體鏈接注釋,以類似查詢重制的方式將實體知識融合到上述特征中,不過這里作者采用了一個新的條件門函數用以明確問題的條件,這一方式幫助reader動態選擇與問題更加相關的輸入。

函數描述如下：

其中，表示文本的token，表示其對應的token特征，則為其對應的鏈接實體。則是來自SubGraph Reader的實體embedding

3.????文本閱讀中的實體信息聚合

最后，將知識擴充后的信息作為BiLSTM的輸入，并且使用輸出的token-level隱狀態計算注意力得分，形如：

而后，獲得每個文檔的表示，形如：

對于確定的實體e及包含該實體的文本D^e，通過以下方式簡單的將信息聚合并平均：

??????? 最后，利用獲取的各實體表示（來自知識庫和文本），通過匹配問題向量和實體實現答案的預測：

實驗

數據集

??????????? 實驗使用的數據集來自WebQSP數據集，為了模擬真實場景的，作者也使用了（Sun et al. Open domain question answering using early fusion of knowledge bases and text）的數據集進行測試。

??????????? Baseline方面使用Key-Value Memory Network作為參照，分別測試了基于圖譜和圖譜+文本的兩個版本，以及GraftNet的多個版本（GN-KB, GN-LF, GN-EF）

?

實驗結果

??????????? 相關實驗結果羅列如下

??????????? 此外，作者分析了在30%完整性的圖譜場景下，各個子模塊產生的效果

??????????? 以及一些人工分析結果：

?

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 利用知识-意识阅读器改进的不完整知识图谱问答方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。