作者丨劉姍姍

學(xué)校丨國防科技大學(xué)

研究方向丨自然語言處理

近年來，基于深度學(xué)習(xí)方法的機(jī)器閱讀理解受到了廣泛的關(guān)注。近日，來自國防科技大學(xué)的團(tuán)隊(duì)在arXiv上發(fā)布了預(yù)印版綜述文章?Neural Machine Reading Comprehension: Methods and Trends。

該文總結(jié)了神經(jīng)機(jī)器閱讀理解領(lǐng)域的經(jīng)典方法與新興趨勢(shì)，并對(duì)一些有待解決的開放性問題進(jìn)行了討論。想要快速了解這一領(lǐng)域的讀者，不妨可以從這篇論文看起。

引言

機(jī)器閱讀理解（MachineReading Comprehension, MRC）任務(wù)主要是指讓機(jī)器根據(jù)給定的文本回答與文本相關(guān)的問題，以此來衡量機(jī)器對(duì)自然語言的理解能力。這一任務(wù)的緣起可以追溯到 20 世紀(jì) 70 年代，但是受限于小規(guī)模數(shù)據(jù)集和基于規(guī)則的傳統(tǒng)方法，機(jī)器閱讀理解系統(tǒng)在當(dāng)時(shí)并不能滿足實(shí)際應(yīng)用的需求。

這種局面在 2015 年發(fā)生了轉(zhuǎn)變，主要?dú)w功于以下兩點(diǎn)：1）基于深度學(xué)習(xí)的機(jī)器閱讀理解模型（神經(jīng)機(jī)器閱讀理解）的提出，這類模型更擅長(zhǎng)于挖掘文本的上下文語義信息，與傳統(tǒng)模型相比效果提升顯著；2）一系列大規(guī)模機(jī)器閱讀理解數(shù)據(jù)集的公布，如 CNN & Daily Mail [1]、SQuAD [2]、MS MARCO [3] 等，這些數(shù)據(jù)集使得訓(xùn)練深度神經(jīng)模型成為可能，也可以很好的測(cè)試模型效果。神經(jīng)機(jī)器閱讀理解在近幾年逐漸受到越來越多的關(guān)注，成為了學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)。

本文對(duì)神經(jīng)機(jī)器閱讀理解的方法和新趨勢(shì)進(jìn)行了詳盡的總結(jié)，主要分為以下幾點(diǎn)：

• 介紹了典型的機(jī)器閱讀理解任務(wù)，給出公式化定義與代表性數(shù)據(jù)集，并對(duì)不同任務(wù)進(jìn)行了比較；

• 給出了機(jī)器閱讀理解系統(tǒng)的基本框架，其中包括：嵌入編碼、特征提取、文章-問題交互和答案預(yù)測(cè)四個(gè)模塊；

• 介紹了機(jī)器閱讀理解領(lǐng)域近兩年出現(xiàn)的新興研究趨勢(shì)，并對(duì)一些有待解決的開放性問題進(jìn)行了討論。

任務(wù)

常見任務(wù)介紹

參考陳丹琦 [4] 在她的博士畢業(yè)論文中的觀點(diǎn)，常見的機(jī)器閱讀理解任務(wù)按照其答案形式可以分為以下四類：完形填空、多項(xiàng)選擇、片段抽取和自由作答。

完形填空

任務(wù)定義：給定文章 C，將其中的一個(gè)詞或者實(shí)體 a (a∈C)?隱去作為待填空的問題，完形填空任務(wù)要求通過最大化條件概率 P(a|C-{a})?來利用正確的詞或?qū)嶓w a?進(jìn)行填空。

完形填空任務(wù)在英語考試中非常常見。如 CLOTH [8] 中的例子所示，原文中的某個(gè)詞被隱去，我們需要找到正確的詞進(jìn)行填空，使原文變得完整（雖然 CLOTH 數(shù)據(jù)集中提供了備選答案，但是這在完形填空任務(wù)中并不是必需的）。

代表數(shù)據(jù)集：CNN & Daily Mail [1]、CBT [5]、LAMBADA [6]、Who-did-What [7]、CLOTH [8]、CliCR [9]

多項(xiàng)選擇

任務(wù)定義：給定文章 C、問題 Q?和一系列候選答案集合，多項(xiàng)選擇任務(wù)通過最大化條件概率來從候選答案集合 A?中挑選出正確答案回答問題 Q。

多項(xiàng)選擇也是英語考試中的常見題型。如 RACE [11] 中的例子所示，根據(jù)文章內(nèi)容提出一個(gè)相關(guān)問題，同時(shí)給出若干個(gè)候選答案，我們需要從候選答案中選擇出能正確回答問題的答案。

代表數(shù)據(jù)集：MCTest [10]、RACE [11]

片段抽取

任務(wù)定義：給定文章 C（其中包含 n?個(gè)詞，即）和問題 Q，片段抽取任務(wù)通過最大化條件概率?P(a|C,Q)?來從文章中抽取連續(xù)的子序列作為問題的正確答案。

片段抽取任務(wù)要求從原文中抽取一個(gè)連續(xù)的句子（或詞組）作為問題的答案。如 SQuAD [2] 中的例子所示，原文中的?inherentdifficulty?被抽取出來作為問題的答案。

代表數(shù)據(jù)集：SQuAD [2]、NewsQA [12]、TriviaQA [13]、DuoRC [14]

自由作答

任務(wù)定義：給定文章 C?和問題 Q，自由作答的正確答案 a?有時(shí)可能不是文章 C?的子序列，即 a?C?或?a?C。自由作答任務(wù)通過最大化條件概率 P(a|C,Q) 來預(yù)測(cè)回答問題 Q 的正確答案 a。

自由作答任務(wù)的答案形式最為靈活。如 MS MARCO [3] 中，提供了 10 篇相關(guān)的文章，回答問題時(shí)需要對(duì)文章中的線索進(jìn)行歸納總結(jié)，與片段抽取任務(wù)相比，自由作答任務(wù)的答案不再限制于原文中的句子，更符合人們平時(shí)的作答習(xí)慣。

代表數(shù)據(jù)集：bAbI [15]、MS MARCO [3]、SearchQA [16]、NarrativeQA [17]、DuReader [18]

不同任務(wù)比較

我們從構(gòu)建難易程度（Construction）、對(duì)自然語言理解的測(cè)試水平（Understanding）、答案靈活程度（Flexibility）、評(píng)價(jià)難易程度（Evaluation）和實(shí)際應(yīng)用貼合程度（Application）等五個(gè)維度出發(fā)，對(duì)上述四類常見的機(jī)器閱讀理解任務(wù)進(jìn)行比較，依據(jù)每個(gè)任務(wù)在不同維度上的表現(xiàn)，得分最低 1 分、最高 4 分，結(jié)果如下圖所示：

完形填空任務(wù)的數(shù)據(jù)集易于構(gòu)建，可以用準(zhǔn)確率指標(biāo)進(jìn)行評(píng)價(jià)。但是由于這一任務(wù)的答案限定為原文中的一個(gè)詞或?qū)嶓w，所以并不能很好的測(cè)試機(jī)器對(duì)自然語言的理解能力且與實(shí)際應(yīng)用相距較遠(yuǎn)。

多項(xiàng)選擇任務(wù)由于提供了候選答案，答案的形式相較于完形填空而言更為靈活，構(gòu)建數(shù)據(jù)集可以直接利用現(xiàn)有的語言測(cè)試中的多項(xiàng)選擇題目，所以較為容易。由于該任務(wù)要求從備選答案中選出正確答案，模型的搜索空間相對(duì)較小，對(duì)自然語言理解的測(cè)試較為局限，提供備選答案與實(shí)際應(yīng)用場(chǎng)景不太相符。

片段抽取任務(wù)是一個(gè)適中的選擇，數(shù)據(jù)集相對(duì)容易構(gòu)建，模型效果也可以使用精確匹配和 F1 分?jǐn)?shù)進(jìn)行衡量，答案限定為原文中的子片段，相較于多項(xiàng)選擇有了更大的搜索空間，也在一定程度上能測(cè)試機(jī)器對(duì)自然語言的理解能力，但是和實(shí)際應(yīng)用仍有一定差距。

自由作答任務(wù)答案形式非常靈活，能很好的測(cè)試對(duì)自然語言的理解，與現(xiàn)實(shí)應(yīng)用最為貼近，但是這類任務(wù)的數(shù)據(jù)集構(gòu)造相對(duì)困難，如何有效的評(píng)價(jià)模型效果有待進(jìn)行更為深入的研究。

基本框架

典型的機(jī)器閱讀理解系統(tǒng)一般包括嵌入編碼、特征抽取、文章-問題交互和答案預(yù)測(cè)四個(gè)模塊。

嵌入編碼：這一模塊將輸入的自然語言形式的文章和問題轉(zhuǎn)化成固定維度的向量，以便機(jī)器進(jìn)行后續(xù)處理。早期常用的方法為傳統(tǒng)的詞表示方法，如獨(dú)熱表示和分布式詞向量，近兩年由大規(guī)模語料庫預(yù)訓(xùn)練的基于上下文詞表示方法也得到了廣泛的應(yīng)用，如 ELMo [19]、GPT [20]、Bert [21] 等。同時(shí)，為了能更好的表示語義句法等信息，上述詞向量有時(shí)也可以和詞性標(biāo)簽、命名實(shí)體、問題類型等語言特征結(jié)合后進(jìn)行更細(xì)粒度的表示。

特征提取：經(jīng)由嵌入編碼層編碼得到的文章和問題的詞向量表示接著傳遞給特征提取模塊，來抽取更多的上下文信息。這一模塊中常用的神經(jīng)網(wǎng)絡(luò)模型有循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）和基于多頭自注意力機(jī)制的 Transformer 結(jié)構(gòu) [22]。

文章-問題交互：機(jī)器可以利用文章和問題之間的交互信息來推測(cè)出文章中哪些部分對(duì)于回答問題更為重要，為了實(shí)現(xiàn)這一目標(biāo)，文章-問題交互模塊常用單向或雙向的注意力機(jī)制來強(qiáng)調(diào)原文中與問題更為相關(guān)的部分。與此同時(shí)，為了更深層次的挖掘文章和問題之間的關(guān)系，兩者之間的交互過程有時(shí)可能會(huì)執(zhí)行多次，以此來模擬人類在進(jìn)行閱讀理解時(shí)重復(fù)閱讀的行為。

答案預(yù)測(cè)：這一模塊基于前述三個(gè)模塊累積得到的信息進(jìn)行最終的答案預(yù)測(cè)。由于常見的機(jī)器閱讀理解任務(wù)可以按照答案類型進(jìn)行分類，所以這一模塊的實(shí)現(xiàn)是高度任務(wù)相關(guān)的。

對(duì)于完形填空任務(wù)，答案輸出是原文中的一個(gè)詞或?qū)嶓w，一種做法是將文中相同詞的注意力權(quán)重得分進(jìn)行累加，最終選擇得分最高的詞作為答案 [23]；對(duì)于多項(xiàng)選擇任務(wù)，是從多個(gè)候選答案中挑選出正確答案,一般是對(duì)備選答案進(jìn)行打分，選擇得分最高的候選者作為答案；對(duì)于片段抽取任務(wù)，從原文中抽取一個(gè)連續(xù)的子片段作為答案，常用方法是 Wang & Jiang [24] 提出的預(yù)測(cè)答案開始和結(jié)束位置的概率的邊界模型；對(duì)于自由作答任務(wù)，答案靈活度最高，不再限制于原文中，可能需要進(jìn)行推理歸納，現(xiàn)有的方法常用抽取和生成相結(jié)合的模式。

新的研究趨勢(shì)

基于知識(shí)的機(jī)器閱讀理解

在人類閱讀理解過程中，當(dāng)有些問題不能根據(jù)給定文本進(jìn)行回答時(shí)，人們會(huì)利用常識(shí)或積累的背景知識(shí)進(jìn)行作答，而在機(jī)器閱讀理解任務(wù)中卻沒有很好的利用外部知識(shí)，這是機(jī)器閱讀理解和人類閱讀理解存在的差距之一。

為了引入額外的外部知識(shí)，一些學(xué)者提出了基于知識(shí)的機(jī)器閱讀理解任務(wù)，與之前所介紹的任務(wù)不同，這一任務(wù)的輸入除了文章和問題，還有從外部知識(shí)庫中抽取的知識(shí)，以此來提高機(jī)器進(jìn)行答案預(yù)測(cè)的準(zhǔn)確率。

代表性的基于知識(shí)的機(jī)器閱讀理解數(shù)據(jù)集有 MCScript [25]，其中的文本關(guān)于人類的一些日常活動(dòng)，有些問題僅根據(jù)給定文本不能作答，需要一定的常識(shí)。例如回答“用什么來挖洞”（What was used to dig the hole?）這一問題，依據(jù)常識(shí)我們知道一般是用“鏟子”（a shovel）而不是用“手”（bare hands）。

基于知識(shí)的機(jī)器閱讀理解任務(wù)的挑戰(zhàn)主要有：

1. 相關(guān)外部知識(shí)的檢索（如何從知識(shí)庫中找到“用鏟子挖洞”這一常識(shí)）；

2. 外部知識(shí)的融合（知識(shí)庫中結(jié)構(gòu)化的知識(shí)如何與非結(jié)構(gòu)化的文本進(jìn)行融合）。

帶有不能回答問題的機(jī)器閱讀理解

機(jī)器閱讀理解任務(wù)有一個(gè)潛在的假設(shè)，即在給定文章中一定存在正確答案，但這與實(shí)際應(yīng)用不符，由于給定文章中所含的知識(shí)有限，一些問題僅根據(jù)原文可能并不能做出回答，這就出現(xiàn)了帶有不能回答問題的機(jī)器閱讀理解任務(wù)。在這一任務(wù)中，首先機(jī)器要判斷問題僅根據(jù)給定文章能否進(jìn)行作答，如若不能，將其標(biāo)記為不能回答，并停止作答；反之，則給出答案。

SQuAD2.0 [26] 是帶有不能回答問題的機(jī)器閱讀理解任務(wù)的代表數(shù)據(jù)集。在下面的例子中，問題是“1937 年條約的名字”（What was the name of the 1937 treaty?），但是原文中雖然提到了 1937 年的條約，但是沒有給出它的名字，僅根據(jù)原文內(nèi)容不能對(duì)問題進(jìn)行作答，1940 年條約的名字還會(huì)對(duì)回答問題造成誤導(dǎo)。

帶有不能回答問題的機(jī)器閱讀理解任務(wù)的挑戰(zhàn)有：

1. 不能回答問題的判別（判斷“1937 年條約的名字是什么”這個(gè)問題能否根據(jù)文章內(nèi)容進(jìn)行作答）；

2. 干擾答案的識(shí)別（避免被 1940 年條約名字這一干擾答案誤導(dǎo)）。

多文檔機(jī)器閱讀理解

在機(jī)器閱讀理解任務(wù)中，文章是預(yù)先定義的，再根據(jù)文章提出問題，這與實(shí)際應(yīng)用不符。人們?cè)谶M(jìn)行問答時(shí)，通常先提出一個(gè)問題，再利用相關(guān)的可用資源獲取回答問題所需的線索。

為了讓機(jī)器閱讀理解任務(wù)與實(shí)際應(yīng)用更為貼合，一些研究者提出了多文檔機(jī)器閱讀理解任務(wù)，不再僅僅給定一篇文章，而是要求機(jī)器根據(jù)多篇文章對(duì)問題進(jìn)行作答。這一任務(wù)可以應(yīng)用到基于大規(guī)模非結(jié)構(gòu)化文本的開放域問答場(chǎng)景中。多文檔機(jī)器閱讀理解的代表數(shù)據(jù)集有 MS MARCO [3]、TriviaQA [13]、SearchQA [16]、DuReader [18] 和 QUASAR [27]。

多文檔機(jī)器閱讀理解的挑戰(zhàn)有：

1. 相關(guān)文檔的檢索（如何從多篇文檔中檢索到與回答問題相關(guān)的文檔）

2. 噪聲文檔的干擾（一些文檔中可能存在標(biāo)記答案，但是這些答案與問題可能存在答非所問的情況）

3. 檢索得到的文檔中沒有答案

4. 可能存在多個(gè)答案（例如問“美國總統(tǒng)是誰”，特朗普和奧巴馬都是可能的答案，但是哪一個(gè)是正確答案還需要結(jié)合語境進(jìn)行推斷）

5. 需要對(duì)多條線索進(jìn)行聚合（回答問題的線索可能出現(xiàn)在多篇文檔中，需要對(duì)其進(jìn)行總結(jié)歸納才能得出正確答案）。

對(duì)話式閱讀理解

機(jī)器閱讀理解任務(wù)中所提出的問題一般是相互獨(dú)立的，而人們往往通過一系列相關(guān)的問題來獲取知識(shí)。當(dāng)給定一篇文章時(shí)，提問者先提出一個(gè)問題，回答者給出答案，之后提問者再在回答的基礎(chǔ)上提出另一個(gè)相關(guān)的問題，多輪問答對(duì)話可以看作是上述過程迭代進(jìn)行多次。為了模擬上述過程，出現(xiàn)了對(duì)話式閱讀理解，將對(duì)話引入了機(jī)器閱讀理解中。

對(duì)話式閱讀理解的代表性數(shù)據(jù)集有 CoQA [28]、QuAC [29] 等。下圖展示了 CQA 中的一個(gè)對(duì)話問答的例子。對(duì)于給定的文章，進(jìn)行了五段相互關(guān)聯(lián)的對(duì)話，不僅問題之間存在聯(lián)系，后續(xù)的問題可能與之前的答案也有聯(lián)系，如問題 4 和問題 5 都是針對(duì)問題 3 的答案?visitors 進(jìn)行的提問。

對(duì)話式閱讀理解存在的挑戰(zhàn)有：

1. 對(duì)話歷史信息的利用（后續(xù)的問答過程與之前的問題、答案緊密相關(guān)，如何有效利用之前的對(duì)話信息）；

2. 指代消解（理解問題 2，必須知道其中的?she?指的是?Jessica）。

開放性問題討論

外部知識(shí)的引入

常識(shí)和背景知識(shí)作為人類智慧的一部分常常用于人類閱讀理解過程中，雖然基于知識(shí)的機(jī)器閱讀理解任務(wù)在引入外部知識(shí)方面有一定的嘗試，但是仍存在不足。

一方面，存儲(chǔ)在知識(shí)庫中的結(jié)構(gòu)化知識(shí)的形式和非結(jié)構(gòu)化的文章、問題存在差異，如何將兩者有效的進(jìn)行融合仍值得研究；另一方面，基于知識(shí)的機(jī)器閱讀理解任務(wù)表現(xiàn)高度依賴于知識(shí)庫的構(gòu)建，但是知識(shí)庫的構(gòu)建往往是費(fèi)時(shí)費(fèi)力的，而且存儲(chǔ)在其中的知識(shí)是稀疏的，如果不能在知識(shí)庫中直接找到相關(guān)的外部知識(shí)，可能還需要對(duì)其進(jìn)行進(jìn)一步的推理。

機(jī)器閱讀理解系統(tǒng)的魯棒性

正如 Jia & Liang [30] 指出的，現(xiàn)有的基于抽取的機(jī)器閱讀理解模型對(duì)于存在誤導(dǎo)的對(duì)抗性樣本表現(xiàn)非常脆弱。如果原文中存在干擾句，機(jī)器閱讀理解模型的效果將大打折扣，這也在一定程度上表明現(xiàn)有的模型并不是真正的理解自然語言，機(jī)器閱讀理解模型的魯棒性仍待進(jìn)一步的提升。

限定文章帶來的局限性

機(jī)器閱讀理解任務(wù)要求機(jī)器根據(jù)給定的原文回答相關(guān)問題，但是在實(shí)際應(yīng)用中，人們往往是先提出問題，之后再利用可用的資源對(duì)問題進(jìn)行回答。多文檔機(jī)器閱讀理解任務(wù)的提出在一定程度上打破了預(yù)先定義文章的局限，但是相關(guān)文檔的檢索精度制約了多文檔機(jī)器閱讀理解模型在答案預(yù)測(cè)時(shí)的表現(xiàn)。信息檢索和機(jī)器閱讀理解需要在未來進(jìn)行更為深度的融合。

推理能力的缺乏

現(xiàn)有的機(jī)器閱讀理解模型大多基于問題和文章的語義匹配來給出答案，這就導(dǎo)致模型缺乏推理能力。例如，給定原文“機(jī)上五人地面兩人喪命”，要求回答問題“幾人喪命”時(shí)，機(jī)器很難給出正確答案“7 人”。如何賦予機(jī)器推理能力將是推動(dòng)機(jī)器閱讀理解領(lǐng)域發(fā)展的關(guān)鍵問題。

?

本文對(duì)?Neural Machine Reading Comprehension: Methods and Trends?一文的主要內(nèi)容進(jìn)行了介紹，由于篇幅限制，介紹較為粗略，感興趣的讀者可以參看原論文的詳細(xì)介紹。

參考文獻(xiàn)

[1]?Hermann K M, KociskyT, Grefenstette E, et al. Teaching machines to read and comprehend[C]//Advancesin neural information processing systems. 2015: 1693-1701.

[2] Rajpurkar P, Zhang J, Lopyrev K, et al. Squad: 100,000+ questions for machinecomprehension of text[J]. arXiv preprint arXiv:1606.05250, 2016.

[3] Nguyen T, Rosenberg M, Song X, et al. MS MARCO: A Human Generated MAchineReading COmprehension Dataset[J]. choice, 2016, 2640: 660.

[4] Danqi Chen. Neural Reading Comprehension and Beyond. PhD thesis, StanfordUniversity, 2018.

[5] Hill F, Bordes A, Chopra S, et al. The goldilocks principle: Reading children'sbooks with explicit memory representations[J]. arXiv preprint arXiv:1511.02301,2015.

[6] Paperno D, Kruszewski G, Lazaridou A, et al. The LAMBADA dataset: Wordprediction requiring a broad discourse context[J]. arXiv preprintarXiv:1606.06031, 2016.

[7] Onishi T, Wang H, Bansal M, et al. Who did what: A large-scale person-centeredcloze dataset[J]. arXiv preprint arXiv:1608.05457, 2016.

[8] Xie Q, Lai G, Dai Z, et al. LARGE-SCALE CLOZE TEST DATASET DESIGNED BYTEACHERS[J]. arXiv preprint arXiv:1711.03225, 2017.

[9] ?uster S, Daelemans W. Clicr: A dataset of clinical case reports for machinereading comprehension[J]. arXiv preprint arXiv:1803.09720, 2018.

[10] Richardson M, Burges C J C, Renshaw E. Mctest: A challenge dataset for theopen-domain machine comprehension of text[C]//Proceedings of the 2013Conference on Empirical Methods in Natural Language Processing. 2013: 193-203.

[11] Lai G, Xie Q, Liu H, et al. Race: Large-scale reading comprehension datasetfrom examinations[J]. arXiv preprint arXiv:1704.04683, 2017.

[12] Trischler A, Wang T, Yuan X, et al. Newsqa: A machine comprehension dataset[J].arXiv preprint arXiv:1611.09830, 2016.

[13] Joshi M, Choi E, Weld D S, et al. Triviaqa: A large scale distantly supervisedchallenge dataset for reading comprehension[J]. arXiv preprintarXiv:1705.03551, 2017.

[14] Saha A, Aralikatte R, Khapra M M, et al. Duorc: Towards complex languageunderstanding with paraphrased reading comprehension[J]. arXiv preprintarXiv:1804.07927, 2018.

[15] Weston J, Bordes A, Chopra S, et al. Towards ai-complete question answering: Aset of prerequisite toy tasks[J]. arXiv preprint arXiv:1502.05698, 2015.

[16] Dunn M, Sagun L, Higgins M, et al. Searchqa: A new q&a dataset augmentedwith context from a search engine[J]. arXiv preprint arXiv:1704.05179, 2017.

[17] Ko?isky T, Schwarz J, Blunsom P, et al. The narrativeqa reading comprehensionchallenge[J]. Transactions of the Association for Computational Linguistics,2018, 6: 317-328.

[18] He W, Liu K, Liu J, et al. Dureader: a chinese machine reading comprehensiondataset from real-world applications[J]. arXiv preprint arXiv:1711.05073, 2017.

[19] Peters M E, Neumann M, Iyyer M, et al. Deep contextualized wordrepresentations[J]. arXiv preprint arXiv:1802.05365, 2018.

[20] Radford A, Narasimhan K, Salimans T, et al. Improving language understanding bygenerative pre-training[J]. URL https://s3-us-west-2. amazonaws.com/openai-assets/ researchcovers/languageunsupervised/language understandingpaper. pdf, 2018.

[21] Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectionaltransformers for language understanding[J]. arXiv preprint arXiv:1810.04805,2018.

[22] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advancesin neural information processing systems. 2017: 5998-6008.

[23] Kadlec R, Schmid M, Bajgar O, et al. Text understanding with the attention sumreader network[J]. arXiv preprint arXiv:1603.01547, 2016.

[24] Wang S, Jiang J. Machine comprehension using match-lstm and answer pointer[J].arXiv preprint arXiv:1608.07905, 2016.

[25] Ostermann S, Modi A, Roth M, et al. Mcscript: A novel dataset for assessingmachine comprehension using script knowledge[J]. arXiv preprintarXiv:1803.05223, 2018.

[26] Rajpurkar P, Jia R, Liang P. Know What You Don't Know: Unanswerable Questionsfor SQuAD[J]. arXiv preprint arXiv:1806.03822, 2018.

[27] Dhingra B, Mazaitis K, Cohen W W. Quasar: Datasets for question answering bysearch and reading[J]. arXiv preprint arXiv:1707.03904, 2017.

[28] Reddy S, Chen D, Manning C D. Coqa: A conversational question answeringchallenge[J]. Transactions of the Association for Computational Linguistics,2019, 7: 249-266.

[29] Choi E, He H, Iyyer M, et al. Quac: Question answering in context[J]. arXivpreprint arXiv:1808.07036, 2018.

[30] Jia R, Liang P. Adversarial examples for evaluating reading comprehensionsystems[J]. arXiv preprint arXiv:1707.07328, 2017.

點(diǎn)擊以下標(biāo)題查看更多往期內(nèi)容：?

• 圖神經(jīng)網(wǎng)絡(luò)綜述：模型與應(yīng)用

• ACL 2019 | 基于知識(shí)增強(qiáng)的語言表示模型
  

• ACL 2019 | 基于上下文感知的向量?jī)?yōu)化
  

• 基于小樣本學(xué)習(xí)的意圖識(shí)別冷啟動(dòng)

• 復(fù)旦大學(xué)邱錫鵬：詞法、句法分析研究進(jìn)展綜述

• ACL 2019?| 句對(duì)匹配的樣本選擇偏差與去偏方法

• 深度長(zhǎng)文：NLP的巨人肩膀（上）

• NLP 的巨人肩膀（下）：從 CoVe 到 BERT
  

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

??來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 下載論文

總結(jié)

以上是生活随笔為你收集整理的神经机器阅读理解最新综述：方法和趋势的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。