會議：AAAI2020
論文鏈接：https://arxiv.org/pdf/1909.05311.pdf

摘要

常識問答旨在回答需要背景知識的問題，而背景知識并未在問題中明確表達。關鍵的挑戰是如何從外部知識中獲取證據并根據證據做出預測。最近的研究要么從昂貴的人類注釋中生成證據，要么從結構化或非結構化知識庫中提取證據，而這些無法同時利用這兩種資源。在這項工作中，建議自動從異構知識源中提取證據，并根據提取的證據回答問題。具體來說，從結構化知識庫（即ConceptNet）和Wikipedia純文本中提取證據。為這兩種來源的數據構造圖以獲得證據的關系結構。基于這些圖，提出了一種基于圖的方法，該方法包括基于圖的上下文單詞表示學習模塊和基于圖的推理模塊。第一個模塊利用圖形結構信息來重新定義單詞之間的距離，以學習更好的上下文單詞表示形式。第二個模塊采用圖卷積網絡將鄰居信息編碼為節點表示形式，并通過圖注意力機制匯總證據以預測最終答案。CommonsenseQA數據集上的實驗結果表明，對兩種知識源的基于圖的方法在強基準上帶來了改進。此方法在CommonsenseQA數據集上實現了最先進的準確性（75.3％）。

介紹

在人工智能和自然語言處理中，推理是一項重要且具有挑戰性的任務，這是“從原理和證據中得出結論的過程”。“證據”是燃料，“原理”是依靠燃料運行以進行預測的機器。大多數研究只將當前的數據點作為輸入，忽略了背景知識中的重要證據。這篇文章研究的是常識問答，收集背景知識并使用這些知識推理出問題的答案。對于常識推理問題，常見的解決方案有
(1)根據人工標注的證據生成新的解釋。
(2)從ConceptNet中獲取結構化的知識。
(3)從Wikipedia獲取相關文本知識。
從ConceptNet中獲取的結構化的知識，包含著不同概念之間的關聯信息，有助于機器進行推理，但覆蓋率較低。純文本數據可以提供高覆蓋率的證據解釋，可以形成對結構化知識的補充，目前的方法中都只針對同一種的知識來源，不能同時利用兩種知識。

基于這種目的，本文提出從異質的外部知識庫中自動收集證據，并基于這些證據實現常識知識問答。

方法

方法概述

方法可分為兩部分：1）知識抽取；2）基于圖的推理

(1)在知識抽取部分，自動地從ConceptNet抽取出圖路徑，并且從Wikipedia中抽取出相關的句子。利用兩個源的關系結構，構建成圖。(2)在基于圖推理部分，提出了兩個基于圖的推理模塊：基于圖的上下文單詞表示學習模塊，和基于圖的推理模塊。方法概覽如下圖所示：

知識抽取

根據給定的問題和選項，使用本文的方法從ConceptNet和Wikipedia中獲取相應的證據。

從ConceptNet抽取出結構化知識：
ConceptNet是一個大規模的常識知識庫，有百萬級的節點和邊，ConceptNet中的三元組包含四個部分，兩個節點、一個關系和一個關系權重，對于每個問題和選項，首先在給定的ConceptNet中確定對應的實體，然后搜索從問題實體到選項實體的路徑（路徑少于三次），并且將三元組合并成一個圖，其中節點為三元組，邊為三元組之間的關系。并且規定如果兩個三元組有相同的實體，則為兩個三元組添加連邊。將組合成的圖稱之為Concept-Graph。并且根據ConceptNet中的關系模板，將三元組轉換成自然語言文本。

從Wikipedia中抽取文本知識：
使用Spacy從Wikipedia中抽取了1.07億條句子，并且使用Elastic Search tools為句子建立索引。首先對問題和選項進行預處理，刪除給定問題和選項中的停用詞，然后將這些詞連接起來作為queries，在Elastic Search engine中進行搜索，這個引擎會根據queries和所有Wikipedia的句子進行匹配得分進行排序，選取topK個句子作為證據（實驗中K取10）。為了獲取Wikipedia證據中的結構信息，利用語義角色標注（SRL）為句子中每個謂詞提取對應的要素（主語、賓語）。將要素和謂詞作為圖中的節點，謂詞和參數之間的關系作為圖的邊，為了增強圖的連通性，去掉停用詞并根據規則為節點a，b間建立聯系：1）節點a包含于節點b，且a中的單詞數量大于3；2）節點a和節點b只有一個單詞不同，并且a和b的單詞數量都大于3。將組合成的圖稱之為Wiki-Graph。

基于圖的推理
本文在抽取出的證據的基礎上，提出了基于圖的推理模型，如下圖所示：

推理模塊由兩個小模塊組成：1）基于圖的上下文表示學習模塊：使用圖信息重新定義單詞間的距離，學習到更好的上下文詞的表示；2）基于圖的推理模塊：使用GCN和圖注意力機制，獲得節點的表示，用于最終的預測。

基于圖的上下文表示學習：

由于預訓練模型具有很強的文本理解能力，并且在各種自然語言處理任務上取得了較好的結果。本文使用XLNet，具有捕獲遠距離依賴的優勢。獲得每個單詞的表示的簡單方法是將所有的證據作為單個序列連接起來，并且將原始的輸入，輸入到XLNet中，但這將使得在不同證據中的同一個詞分配一個較長的距離，因此利用圖結構重新定義證據詞之間的相對位置，這樣會使得相關的詞的相對位置比較近，獲得更好的上下文的相關詞表征。具體來說是使用拓撲排序根據構造的圖結構對輸入的證據進行重新排序，包括ConceptNet和Wikipedia所抽取出來的文本。將經過排序后的證據文本，和問題選項進行拼接作為XLNet的輸入。通過將抽取的圖轉換成自然語言文本，實現了對兩種異質知識來源信息的融合。

基于圖的推理模塊：

使用XLNet模型為預測提供了詞級別的信息，此外，圖還可以提供語義級別的信息，如關系中的主語、賓語。因此，本文對圖級別的證據進行聚合，用作最后的預測。使用圖卷積神經網絡，將Concept-Graph和Wiki-Graph進行編碼，得到節點表示。第i個節點表示通過對XLNet輸出中隱藏狀態進行平均，并通過非線性變換降維得到。

為實現基于圖的推理，使用聚合和組合兩個步驟實現信息的傳播。從每個節點的鄰居聚合信息，針對第i個節點，聚合得到信息。包含了第i個節點在第l層的鄰居信息，將其和轉換后的第i個節點的表示相結合，得到更新后的節點表示 。

使用圖注意力機制對圖信息進行進一步處理。

最后使用多層感知機（MLP）計算置信度分數，將輸入的表示和圖表示拼接起來作為輸入，候選答案和為問題的真實答案的概率計算如下。

實驗

實驗設置：

數據集為CommonsenseQA，包含12102個例子，9741個用于訓練，1221個用于驗證，1140個用于測試。使用XLNet large cased作為預訓練模型。每個選項的輸入形式為“ questionThe answer is”。實驗結果如下。

其中，Group 1：不使用描述或papers的模型；Group 2：不使用抽取出的知識的模型；Group 3：使用抽取出的知識的模型；Group 4：使用抽取出的非結構化知識的模型。從實驗結果可以看出，異質外部知識和基于圖的推理模型幫助本文的模型獲得了顯著的改進，取得較好的結果。

消融實驗：

基于圖推理模塊的有效性。

實驗結果表明，通過拓撲排序可以融合圖結果蘊含的信息，改變詞與詞之間的相對位置，從而更好的表示詞的上下文信息。

異質知識來源的有效性。

實驗表明，單獨結構化的知識和非結構化的文本都可以帶來有效的提升，并且將兩個結合在一起獲得了更好的性能。

總結

本文解決的是常識問答問題。本文提出的方法由知識抽取和基于圖的推理兩大部分組成。在知識抽取部分，從異質的知識來源中抽取出來證據信息，并且將其構建了圖，并利用了關系結構信息。在基于圖的推理部分，提出了基于圖的上下文詞表示學習模塊，以及基于圖的推斷模塊。第一個模塊使用了圖結構信息對單詞間的距離重定義，以學習到更好的上下文詞表示。第二個模塊使用了GCN將鄰居信息編碼到節點的表示中，然后使用圖注意力機制進行證據的聚合，用于最終答案的推斷。實驗結果顯示，本文的模型在CommonsenseQA leaderboard上實現了state-of-the-art。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 - AAAI2020 | 从异质外部知识库中进行基于图的推理实现常识知识问答...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。