?PaperWeekly 原創 ·?作者｜劉興賢

學校｜北京郵電大學碩士生

研究方向｜自然語言處理

論文標題：

QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering

論文地址：

https://arxiv.org/abs/2104.06378

代碼repo：

https://github.com/michiyasunaga/qagnn

該論文被收錄于 NAACL 2021，作者是來自 Stanford 的 Michihiro Yasunaga、Hongyu Ren、Antoine Bosselut、Percy Liang and Jure Leskovec 。

基于知識圖譜的問答（KBQA），是自然語言處理中的一個熱門領域，最近的工作集中于知識圖譜上的多跳推理以及語言模型與知識圖譜的融合。目前的方法需要解決兩個問題：

1. 在給定上下文的條件下，如何從規模巨大的知識圖譜中檢索出相關的知識；

2. 如何進行問答上下文與知識圖譜的聯合推理。

本文提出了一個新的模型：QA-GNN，通過兩個關鍵性創新來嘗試解決上述問題：

1. 相關性評分

在給定問答上下文的條件下，使用語言模型計算相關性評分，估計知識圖譜中的實體對于給定上下文的重要性。

2.?聯合推理

將問答上下文與篩選出的知識圖譜的子圖構建一張聯合圖，使用基于 GNN 的消息傳遞來更新彼此的表示。

該文章在 CommonsenseQA 以及 OpenBookQA 數據集上，進行了實驗，實驗表明，QA-GNN 方法比 fine-tune LM 與現有的 LM+KG 方法分別提高了 5.7% 和 3.7% ，以及處理結構化推理（如否定問題）的能力，比目前的fine-tune LM有 4.6% 的提升。

論文動機

目前現有的方法，對于 QA 上下文使用 LM 處理，對于 KG 使用 GNN 進行處理，并且并不相互更新彼此的表示，也不做語義的對齊表示。因此 QA 上下文與 KG 的分離表示可能會限制模型執行結構化推理的能力（比如處理否定問題）。因此本篇工作主要在于 QA 上下文與 KG 的融合表示。

相關性評分

對中心實體附近 few-hop 的節點截為子圖，對每一個 entity 與 QA 上下文做 concat，然后使用預訓練語言模型（本文使用的是 RoBERTa），計算它們的相似程度。

對于每個節點 ，QA 的上下文 ，節點 的相關性評分為：

聯合推理

聯合推理模塊使用預訓練語言模型（本文中使用 RoBERTa）將 QA 上下文編碼，將其視為一個額外節點，添加到相關的子圖中去。這樣生成的圖被稱為 working ?graph。

對于 working graph 中的每個節點，使用相關性評分增強它們的特征。最后使用一個 attention-base GNN 模塊做推理。

對于 working graph 中的每個節點，使用下式更新節點的表示，其中 表示 t 的所有鄰居， 表示 對 的 attention weight， 表示來自鄰居 s 向 t 傳遞的消息。

其中在鄰居節點之間傳遞的消息是什么呢？

首先我們定義節點的 type embedding：?

到 的 relation embedding：?

其中 是一個線性變換， 是一個兩層的 MLP。

最后我們定義從 到 傳遞的消息：

其中 也是一個線性變換。

節點類型、關系和 score-aware attention

將相關性評分 過一個 MLP 得到其 embedding 。

然后我們通過下式得到 query 和 key vector：

最后我們注意到式 2 中還有一個 attention weight，為：

其中 。

最終，在得到了 GNN 中節點的表示后，我們計算條件概率：

選擇概率最高的作為問題的答案。

在測試集的候選答案上，使用 cross entropy loss 作為損失函數。

實驗結果

▲ CommonsenseQA上的測試結果

▲ OpenBookQA上的測試結果

▲ 消融實驗

總結

本文提出了 QA-GNN，利用預訓練語言模型與 GNN 融合 QA 上下文與 KG。

使用相關性評分，從知識圖譜中檢索實體相關子圖，并衡量每個節點對于 QA 上下文的重要程度，這保證了我們在后續進行融合時，能夠注意到這樣的相關性信息。

接著通過將 QA 上下文視作一個節點添加進 KG，通過工作圖連接兩個信息源，并通過 GNN 消息傳遞聯合更新它們的表示。

本文是 GNN 在融合 QA 上下文與 KG 的一個嘗試，在問答任務上相比現有的預訓練語言模型、以及預訓練 +KG 模型，都有不小的提升。同時，使用 attention-base GNN，能夠可視化知識圖譜中節點之間的注意力關系，有助于提高 QA 可解釋性和結構化推理的能力。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的NAACL 2021 | QA-GNN：基于语言模型和知识图谱的问答推理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。