鏈接：https://arxiv.org/pdf/1809.06309.pdf

?

AnsweringTasks

多跳問題一般需要模型可以推理、聚合、同步上下文中不同的信息。就需要理解那些人類通過背景知識可以理解的限制關系。本文提出了一個很強的baseline模型（multi-attention + pointer-generator decoder）；引入了一個評分函數評價從ConceptNet知識庫中抽取多跳知識（pointwise mutual information + term-frequency ）；并有效的利用提取的常識信息填補上下文的推理中（ selectivelygated attentionmechanism）。

介紹

Machine Reading Comprehension: MRC 長期以來一直是評估模型理解和推理語言能力的任務。

Commonsense/Background Knowledge: 將常識知識作為外部數據庫中的關系三元組或特征添加。

Incorporation of External Knowledge: 嘗試使用外部知識來提高任務模型性能。

模型

Embedding Layer: ELMo(Peters et al., 2018)).

Reasoning Layer: context embedding 通過k個 resoning cell 模擬一步推理。每一步都通過query的 BiDAF attention(Seo et al., 2017)更新 context representation。

Self-Attention Layer:? self-attention (Cheng et al., 2016) 解決 long-term dependencies and co-reference within the context.

Pointer-Generator Decoding Layer:? (See et al.,2017) 生成答案。

引入常識

?

這部分是關鍵，主要分為兩步：

a.????在常識知識庫中找出多跳動候選路徑, 形成樹結構.

·????C1是問句中的常識詞.

·????C2是C1通過一跳可以達到而且出現在 context 中. [Direct]

·????C3是C2通過一跳可以到達而且出現在 context 中. [Multi-Hop]

·????C4是C3的鄰居,不必出現在 context. [OutsideKnowledge 獲取更多信息]

·????C5是C4的鄰居,需要出現在 context中. [Context-Grounding. 確保信息有用]

b.????給候選路徑打分篩選

·????節點初始分

1.? C1\C2\C3重要的概念總是經常在上下文中出現，利用術語在上下文中的頻率近似它概念的重要性.

|C|是上下文的長度\\count(c)是單詞c出現的次數。

?

2.????C4 不在上下文中，但在啟發式的方法下，重要的概念經常在不同的路徑里重復出現。

利用 Pointwise Mutual Information (PMI):

PMI(c4, c1?3) = log( P (c4, c1?3)/ P (c4) P(c1?3))

?

?

3.????不同分支、不同層級的節點不存在競爭，所以最后可以求一個標準化：

·??????節點累計分

? 因為添加的常識信息包括多跳，所以計算評分的時候不止需要當前節點的得分，還要考慮其樹的后代。

?自底向上計算：其中f是這個節點得分最高的兩個子節點平均得分。

?? ?c-score(c_l) =n-score(c_l) + f(c_l)

·??????路徑選擇

·??????自頂向下選擇每個節點得分最高的兩個。最多有2^4=16條路徑。

實驗

本文中在generative NarrativeQA (Kocisk ˇ y` et al., 2018) (summary subtask) 和 extractive QAngaroo WikiHop 這兩個數據集上進行了實驗，實驗結果顯示本文機制能夠較大的提高模型的性能。

論文筆記整理：張晶堯，東南大學碩士生，研究方向為問答系統中復雜問題理解。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

?

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 常识用于回答生成式多跳问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。