作者丨張琨?

學校丨中國科學技術大學博士生

研究方向丨自然語言處理

論文動機

當前問答系統面對的一大問題就是如何利用先驗知識。我們人類可以通過不斷的學習，掌握非常多的先驗知識，并通過這些知識來回答問題。而這對問答系統而言就非常困難了，一方面不能像人一樣不斷積累，另一方面只能從輸入中獲取所需要的一切。

因此，人們就會將一些知識作成知識庫（Knowledge Base，KB），用于輔助機器的理解。但是，KB 常常是不完整的，并且針對開放性問題，KB 不可能覆蓋到所有的證據上。

如何解決這個問題是一個非常大的挑戰。另一方面，人們可以使用大規模的網絡文本作為開放性的 KB，并且也取得了一些成績，但是這些工作更多的針對的是單文檔，針對多文檔的工作目前還相對較少。

作者推測一個可能的原因就是雖然這些文本可以提供更大規模的只是覆蓋，但是缺少背景知識，這么多的文檔反而會引入很高的噪聲。因此作者考慮將這部分整合起來，通過不完整的 KB 獲取必要的和問題相關的背景知識，基于這些信息在多文檔中抽取合適的信息并最終回答答案。

模型結構

為了有效利用 KB 和文檔信息，作者提出了一個新的端到端的模型，主要包含兩部分：1）子圖閱讀模塊：用于從知識庫中獲取和問題相關的知識信息；2）知識感知的文本閱讀模塊：利用獲取的知識從文檔中找出需要的答案。模型的結構圖如下：

子圖閱讀模塊

這部分的主要作用就是使用 graph-attention 來為每個子圖實例整合他的鄰居節點信息，從而得到每個子圖實例更好的語義表示。因為最終是為了增強對問題的理解，作者首先通過一個 LSTM 處理問題，得到問題的情境信息豐富的隱層莊田表示，同時使用相同的 LSTM 得到標記化 （tokenized） 的關系隱層狀態表示。接下來作者使用 self-attention 得到關系的語義表示：

?

由于問題需要和不同的關系進行匹配，而每個關系只關注到問題的其中一部分信息，因此，作者使用得到的關系表示和問題的每個隱層狀態進行匹配，最后得到問題的語義表示：

同時，作者還發現主題實例的指示向量非常有用，如果一個主題實例連接的鄰居出現在了問題中，那么對應 KB 中的三元組將會比那些非主題實例的鄰居對問題的語義表示更有用，因此在鄰居節點上的注意力值最終表示為：

因此最終每個子圖實例就可以通過如下方式計算出來：

知識感知的文本閱讀模塊

在上個模塊，我們得到了每個子圖實例的 embedding 表示，那么在這部分要做的就是利用這些表示增強對問題和文檔的理解，從而得到最后的答案。這部分作者使用了一個現有的做閱讀理解的模型。

首先是利用學習到的知識對問題進行更新表示。作者首先利用 self-attention 得到問題的原始表示，然后收集關于問題的主題實例，然后使用一個門結構將這些信息進行融合。

得到了對問題的更新表示之后，就是使用學習到的只是對文檔進行增強表示，首先對文檔和文檔對應的實例使用 Bi-LSTM 進行處理，接下來作者設計了一種新的基于問題的表示的門機構，該結構允許模型能夠動態選擇跟問題相關的輸入，從而得到更好的文檔語義表示。

實體信息聚合?& 答案預測

最后作者將從 Text Reader 中得到的信息進行融合，首先使用一個 co-attention 計算問題和 Bi-LSTM 的隱層狀態的相關程度，然后對這些隱層狀態進行加權和，對于文檔對應的實例，作者使用了均值池化得到最后的表示。最后使用一個非線性變化和 sigmoid 函數來求得每個實例是否是答案的概率。從而求得最后的答案。

實驗

作者在一個公開數據集 WebQSP 上進行模型的效果驗證，同時為了更好的驗證模型的效果，作者還認為控制了 KB 的使用程度，從實驗結果上看本文提出的模型還是很不錯的。

同時作者還給出了一些 case 來更好的展示模型的效果。

總結

問答系統，尤其是開放性的問答系統需要非常多的先驗知識來輔助答案的預測，雖然我們可以通過知識庫來整合一些先驗知識，但畢竟無法覆蓋到所有的情況。作者通過知識庫和大規模網絡文本的相互輔助，從而提升了模型的整體性能。

同時我們也可以看到，知識庫的使用正在變得越來越普及，無論是問答系統，對話，推理還是常識理解，都將知識庫作為一個非常好的先驗信息源，因此知識庫的使用也變得越來越重要，非常值得關注一下。

點擊以下標題查看更多往期內容：?

• 圖神經網絡綜述：模型與應用

• ACL 2019 | 基于知識增強的語言表示模型
  

• ACL 2019 | 基于上下文感知的向量優化
  

• 基于小樣本學習的意圖識別冷啟動

• 復旦大學邱錫鵬：詞法、句法分析研究進展綜述

• ACL 2019?| 句對匹配的樣本選擇偏差與去偏方法

• 深度長文：NLP的巨人肩膀（上）

• NLP 的巨人肩膀（下）：從 CoVe 到 BERT
  

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的ACL 2019 开源论文 | 基于知识库和大规模网络文本的问答系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。