?PaperWeekly 原創(chuàng) ·?作者｜劉興賢

學(xué)校｜北京郵電大學(xué)碩士生

研究方向｜自然語言處理

論文標(biāo)題：

QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering

論文地址：

https://arxiv.org/abs/2104.06378

代碼repo：

https://github.com/michiyasunaga/qagnn

該論文被收錄于 NAACL 2021，作者是來自 Stanford 的 Michihiro Yasunaga、Hongyu Ren、Antoine Bosselut、Percy Liang and Jure Leskovec 。

基于知識圖譜的問答（KBQA），是自然語言處理中的一個熱門領(lǐng)域，最近的工作集中于知識圖譜上的多跳推理以及語言模型與知識圖譜的融合。目前的方法需要解決兩個問題：

1. 在給定上下文的條件下，如何從規(guī)模巨大的知識圖譜中檢索出相關(guān)的知識；

2. 如何進行問答上下文與知識圖譜的聯(lián)合推理。

本文提出了一個新的模型：QA-GNN，通過兩個關(guān)鍵性創(chuàng)新來嘗試解決上述問題：

1. 相關(guān)性評分

在給定問答上下文的條件下，使用語言模型計算相關(guān)性評分，估計知識圖譜中的實體對于給定上下文的重要性。

2.?聯(lián)合推理

將問答上下文與篩選出的知識圖譜的子圖構(gòu)建一張聯(lián)合圖，使用基于 GNN 的消息傳遞來更新彼此的表示。

該文章在 CommonsenseQA 以及 OpenBookQA 數(shù)據(jù)集上，進行了實驗，實驗表明，QA-GNN 方法比 fine-tune LM 與現(xiàn)有的 LM+KG 方法分別提高了 5.7% 和 3.7% ，以及處理結(jié)構(gòu)化推理（如否定問題）的能力，比目前的fine-tune LM有 4.6% 的提升。

論文動機

目前現(xiàn)有的方法，對于 QA 上下文使用 LM 處理，對于 KG 使用 GNN 進行處理，并且并不相互更新彼此的表示，也不做語義的對齊表示。因此 QA 上下文與 KG 的分離表示可能會限制模型執(zhí)行結(jié)構(gòu)化推理的能力（比如處理否定問題）。因此本篇工作主要在于 QA 上下文與 KG 的融合表示。

相關(guān)性評分

對中心實體附近 few-hop 的節(jié)點截為子圖，對每一個 entity 與 QA 上下文做 concat，然后使用預(yù)訓(xùn)練語言模型（本文使用的是 RoBERTa），計算它們的相似程度。

對于每個節(jié)點 ，QA 的上下文 ，節(jié)點 的相關(guān)性評分為：

聯(lián)合推理

聯(lián)合推理模塊使用預(yù)訓(xùn)練語言模型（本文中使用 RoBERTa）將 QA 上下文編碼，將其視為一個額外節(jié)點，添加到相關(guān)的子圖中去。這樣生成的圖被稱為 working ?graph。

對于 working graph 中的每個節(jié)點，使用相關(guān)性評分增強它們的特征。最后使用一個 attention-base GNN 模塊做推理。

對于 working graph 中的每個節(jié)點，使用下式更新節(jié)點的表示，其中 表示 t 的所有鄰居， 表示 對 的 attention weight， 表示來自鄰居 s 向 t 傳遞的消息。

其中在鄰居節(jié)點之間傳遞的消息是什么呢？

首先我們定義節(jié)點的 type embedding：?

到 的 relation embedding：?

其中 是一個線性變換， 是一個兩層的 MLP。

最后我們定義從 到 傳遞的消息：

其中 也是一個線性變換。

節(jié)點類型、關(guān)系和 score-aware attention

將相關(guān)性評分 過一個 MLP 得到其 embedding 。

然后我們通過下式得到 query 和 key vector：

最后我們注意到式 2 中還有一個 attention weight，為：

其中 。

最終，在得到了 GNN 中節(jié)點的表示后，我們計算條件概率：

選擇概率最高的作為問題的答案。

在測試集的候選答案上，使用 cross entropy loss 作為損失函數(shù)。

實驗結(jié)果

▲ CommonsenseQA上的測試結(jié)果

▲ OpenBookQA上的測試結(jié)果

▲ 消融實驗

總結(jié)

本文提出了 QA-GNN，利用預(yù)訓(xùn)練語言模型與 GNN 融合 QA 上下文與 KG。

使用相關(guān)性評分，從知識圖譜中檢索實體相關(guān)子圖，并衡量每個節(jié)點對于 QA 上下文的重要程度，這保證了我們在后續(xù)進行融合時，能夠注意到這樣的相關(guān)性信息。

接著通過將 QA 上下文視作一個節(jié)點添加進 KG，通過工作圖連接兩個信息源，并通過 GNN 消息傳遞聯(lián)合更新它們的表示。

本文是 GNN 在融合 QA 上下文與 KG 的一個嘗試，在問答任務(wù)上相比現(xiàn)有的預(yù)訓(xùn)練語言模型、以及預(yù)訓(xùn)練 +KG 模型，都有不小的提升。同時，使用 attention-base GNN，能夠可視化知識圖譜中節(jié)點之間的注意力關(guān)系，有助于提高 QA 可解釋性和結(jié)構(gòu)化推理的能力。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的NAACL 2021 | QA-GNN：基于语言模型和知识图谱的问答推理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。