論文筆記整理：鄧淑敏，浙江大學在讀博士，研究方向為低資源條件下知識圖譜自動化構建關鍵技術研究。

---

論文鏈接：https://openreview.net/pdf?id=SygWvAVFPr

Demo鏈接: https://demo.allennlp.org/reading-comprehension

代碼鏈接: https://nitishgupta.github.io/nmn-drop/

這篇文章解決的任務是復雜問題問答，比如回答“誰在第二節比賽中得到最高分？”類似的問題。解決這個任務需要：理解問題->在蘊含答案的文本中做信息抽取à符號推理，所以問題的難點也顯而易見：（1）理解問句語義，將復雜問題拆分成簡單問題；（2）文本理解，理解文本中實體、關系和事件等；（3）進行推理，比如判斷大小，計數等。傳統的方法比如語義解析，或者pipeline的模型，要么需要基于結構化或半結構化數據去做，要么在子任務中依賴更多的監督信號，這對復雜問題問答任務來說都很難實現。因此這篇文章提出用神經模塊網絡去解決這個問題，先將問題解析成logicalform，然后在文本中運行可執行的模塊。這里的模塊可看成用于推理的可學習的函數。

模塊概覽

復雜問題問答包含的推理可分為兩大類：自然語言推理和符號推理。自然語言推理可以看成是文本信息抽取的過程，符號推理就是基于抽取出的結構化知識進行推理判斷。這兩大類推理中定義的模塊如上圖所示。

下面看一個用神經模塊網絡解復雜問題問答的例子。

第一步：將問題解析成logicalform。

將問題解析成logicalform

第二步：在蘊含答案的文本中執行模塊。

模塊運行的最終結果

執行第一個模塊：find()，找出得分這個實體

執行第二個模塊：find-num()，找出得分的數值

執行第三個模塊：max-num()，找出最大的得分值

執行第四個模塊：extract-argument()，找出得到最大得分的人，這個模塊類似于事件抽取中的argumentextraction

那接下來的問題就在于，如何組合這些模塊，以及如何學習出這些模塊。組合這些模塊目前主要用一些seq-to-seq的模型，至于學習這些模塊，下面給出學習find()模塊的示例。

問題的嵌入用Q表示，蘊含答案的文本嵌入用P表示，find(Q)->P，輸入問句的tokens，輸出蘊含答案的文本中和輸入tokens相同或相似的token分布，如下圖所示

find(Q)->P示例

具體做法就是先計算一個“問題-蘊含答案文本”的相似度矩陣

然后按行標準化S，得到“問題-蘊含答案文本”的權重矩陣。

最后得到蘊含答案文本的token權重分布：

其他模塊的做法這里就不贅述了，可以參見原文。

本文的實驗用了DROP數據集（https://www.aclweb.org/anthology/N19-1246.pdf），實驗結果如下

實體預測的實驗結果比較

由于篇幅限制省略了一些細節，如果大家對這篇文章的工作感興趣，可以閱讀原文，也歡迎一起交流。

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 - ICLR 2020 | 用于文本推理的神经模块网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。