每天給你送來NLP技術(shù)干貨！

---

1. 機器閱讀理解（MRC）、問答系統(tǒng)（QA）與信息抽取

最近實體關(guān)系抽取與命名實體識別的SOTA模型排行榜中，有很多模型都使用了機器閱讀理解（MRC）和問答系統(tǒng)（QA）中的思想和方法，比如HBT、ETL-span、Multi-turn QA?和?BERT_MRC等。MRC和QA中的思想和方法的使用，讓這些模型相比于傳統(tǒng)方法有很大提升。

在實體關(guān)系抽取任務(wù)中，最新的一些模型，如

• HBT和ETL-span，用到了MRC中經(jīng)常使用的指針網(wǎng)絡(luò)法：通過多層標注序列解決實體重疊問題；

• Multi-turn QA則使用了問答系統(tǒng)的思想：通過問答的形式一步一步抽取出主體、客體和關(guān)系。

這些模型在多個數(shù)據(jù)集上都達到了SOTA效果。相比于傳統(tǒng)的使用LSTM+CRF抽取特征做序列標注，這些借鑒了MRC和QA技術(shù)的模型，無論是在抽取結(jié)果的準確性還是對重疊實體關(guān)系的召回率方面，都有大幅度的提升。

同樣在命名實體識別任務(wù)中，也有如BERT_MRC這樣的模型，同時融合了MRC和QA領(lǐng)域的諸多思想方法，在多個數(shù)據(jù)集上達到了SOTA效果。

本文以信息抽取為核心，主要探討一下MRC和QA中經(jīng)常使用到的思想方法在信息抽取任務(wù)（包括實體關(guān)系抽取和命名實體識別）中的應(yīng)用。

2.MRC概述

2.0 寫在前面

在分析MRC和QA在IE中的應(yīng)用之前，我們先對MRC做一個簡單的概述。由于筆者對QA了解的不多，就不詳細介紹QA了，只分析一下QA中的一些方法是怎么應(yīng)用到信息抽取中的。

《Neural Machine Reading Comprehension: Methods and Trends》^[1]是一篇MRC領(lǐng)域的綜述論文，它對MRC領(lǐng)域的任務(wù)目標，使用到的各種方法和思想和發(fā)展前景做了非常詳細的描述。

這里摘取其中一部分對MRC做一個簡要的介紹。如果想對MRC有更深入的了解，推薦先去認真閱讀一下這篇論文。

2.1 MRC的發(fā)展歷程

MRC的任務(wù)是讓機器根據(jù)給定的內(nèi)容回答問題。

MRC在1970年代就已經(jīng)被提出，但是由于那時數(shù)據(jù)集規(guī)模都比較小，而且主要使用基于規(guī)則的方法，所以性能很差，難以投入實用。這一情況在深度學(xué)習(xí)方法投入使用之后有了改觀。基于深度學(xué)習(xí)方法的機器閱讀理解，稱為神經(jīng)機器閱讀理解，目前正在迅速發(fā)展。

2015年-2018年期間與MRC領(lǐng)域的各個細分任務(wù)相關(guān)的論文數(shù)量

從上圖所示“2015年-2018年期間與MRC領(lǐng)域的各個細分任務(wù)相關(guān)的論文數(shù)量”可以看出，最近幾年MRC領(lǐng)域的論文數(shù)呈幾何級數(shù)式增長，這一領(lǐng)域正在迅速發(fā)展。

2.2 任務(wù)&評測標準

MRC的任務(wù)根據(jù)答案形式可以分為四類：完形填空、多項選擇、片段抽取、自由作答

2.2.1 完形填空

給定上下文??，一個詞或?qū)嶓w??被移除，完形填空任務(wù)要求模型使用正確的詞或?qū)嶓w進行填空，最大化條件概率?。

Cloze Texts/完形填空定義

2.2.2 多項選擇

給定上下文?，問題?，候選答案列表?，多項選擇任務(wù)要求模型從??中選擇正確的答案?，最大化條件概率?。

與完形填空任務(wù)的區(qū)別就是答案不再局限于單詞或?qū)嶓w，并且候選答案列表是必須要提供的。

Multiple Choice/多項選擇定義

2.2.3 片段抽取

盡管完形填空和多項選擇一定程度上可以發(fā)揮機器閱讀理解的能力，但是這兩個任務(wù)有一定的局限性：

• 首先，單詞或?qū)嶓w可能不足以回答問題，需要完整的句子進行回答；

• 其次，在很多情形是沒有提供候選答案的。

所以片段抽取任務(wù)應(yīng)運而生。給定上下文??和問題??，。片段抽取任務(wù)要求模型從??中抽取連續(xù)的子序列??作為正確答案，最大化條件概率??。

Span Extraction/片段抽取定義

2.2.4 自由作答

將答案局限于一段上下文是不現(xiàn)實的。為了回答問題，機器需要在多個上下文中進行推理并總結(jié)答案。自由回答任務(wù)是四個任務(wù)中最復(fù)雜的，也更適合現(xiàn)實的應(yīng)用場景。

給定上下文??和問題?，在自由回答任務(wù)中正確答案可能是也可能不是??中的一個子序列，即??或?。自由回答任務(wù)需要預(yù)測正確答案?，并且最大化條件概率 ?。

Free Answer/自由回答定義

2.2.5 不同任務(wù)的比較

下面在五個維度上對上述四個任務(wù)進行比較：

• 建立數(shù)據(jù)集難易程度（construction）、

• 理解及推理程度（understanding）、

• 答案形式復(fù)雜程度（flexibility）、

• 進行評估的難易程度（evaluation）、

• 真實應(yīng)用程度（application）

五大維度比較

由上圖可以看出：

• 完形填空任務(wù)容易構(gòu)建數(shù)據(jù)集，容易評估，但是答案被單個單詞或者實體限制，理解程度不高，和真實世界不符；

• 多項選擇任務(wù)容易評估，建立數(shù)據(jù)集不是很難，但是合成數(shù)據(jù)集和實際應(yīng)用之間有差距；

• 片段抽取任務(wù)是一個適中的選擇，數(shù)據(jù)集容易建立，容易評估，但是答案被原始文本的片段限制，仍和真實世界有差距；

• 自由作答任務(wù)最接近真實情況，理解程度最高，但是難以建立數(shù)據(jù)集，難以有效評估，是現(xiàn)階段最具的挑戰(zhàn)性的任務(wù)。

上述四個任務(wù)類型中，片段抽取和信息抽取的關(guān)系最為緊密，命名實體識別和實體關(guān)系抽取任務(wù)都是識別文本中的片段。

2.2.6 評測標準

主要的評測標準有常見的準確率P、召回率R和F1值。在上述四個任務(wù)的前三個中，使用P、R、F1可以滿足要求。

自由作答在評測時使用P、R、F1則不太合適，自由作答需要使用用于自動文摘評測的方法ROUGE和ROUGE-L，以及用于評價翻譯性能的BLEU。

2.3 MRC模型的結(jié)構(gòu)

在實體關(guān)系抽取中，模型可以分為pipline結(jié)構(gòu)和joint結(jié)構(gòu)。在MRC中，模型也有統(tǒng)一的結(jié)構(gòu)類型：

MRC模型結(jié)構(gòu)

如上圖所示，MRC模型包含四個關(guān)鍵模塊：

• Embeddings：將單詞映射為對應(yīng)的詞向量，可能還會加上POS、NER、question category等信息；

• Feature Extraction 特征抽取層：抽取question和context的上下文信息，常用的有CNN、RNN、LSTM等；

• Context-Question Interaction：context和question之間的相關(guān)性在預(yù)測答案中起著重要作用。有了這些信息，機器就能夠找出context中哪些部分對回答question更為重要。為了實現(xiàn)該目標，在該模塊中廣泛使用attention機制，單向或雙向，以強調(diào)與query相關(guān)的context的部分。為了充分提取它們的相關(guān)性，context和question之間的相互作用有時會執(zhí)行多跳，這模擬了人類理解的重讀過程。

• Answer Prediction：基于上述模塊獲得的信息整理后得出最終答案。因為MRC任務(wù)根據(jù)答案形式分為了很多種，所以該模塊與不同任務(wù)相關(guān)。對于完形填空，該模塊輸出context中的一個單詞或一個實體；對于多項選擇，該模塊從候選答案中選擇正確答案。

2.4 常用方法

2.4.1 上下文-問題的交互

提取出上下文和問題之間的關(guān)聯(lián)后，模型就能找到答案預(yù)測的證據(jù)。根據(jù)模型如何提取問題和答案之間的關(guān)系，可以將現(xiàn)在的方法分為兩類：單跳交互、多跳交互。

不論MRC模型使用哪種交互，在強調(diào)哪部分文本對于預(yù)測答案更重要方面，注意力機制扮演了重要角色。根據(jù)注意力機制是否被單向/雙向使用進一步可分為兩類：單向注意力、雙向注意力。

單向注意力

單向注意力流通常是從查詢到文本的??，根據(jù)問題強調(diào)文中最相關(guān)的部分。如果某個文本詞語和問題更相似，那它更有可能是答案詞語。

注意力權(quán)重：

單向注意力

雙向注意力

單向注意力將問題句子編碼成了一個特征向量，無法將注意力放在問題中的詞語。但是，實際上這些詞語對答案預(yù)測也很關(guān)鍵，所以單向注意力在提取文本和問題/查詢之間的交互信息方面有不足。

為了解決單向注意力的缺點，雙向注意力不僅計算“查詢-文本”注意力，也計算“文本-查詢”注意力，雙向查看，為雙方提供互補的信息。

雙向注意力

3. MRC和QA在信息抽取中的應(yīng)用

這一部分將詳細地介紹命名實體識別和實體關(guān)系抽取中的幾個SOTA模型，并重點分析一下MRC和QA中的思想和方法在這幾個模型中的使用，以及新的思想方法相比于信息抽取領(lǐng)域中傳統(tǒng)的序列標注方法具體有哪些優(yōu)勢。

基于MRC和QA的實體識別/關(guān)系抽取方法

3.1 BERT_MRC

3.1.1 BERT_MRC思想與創(chuàng)新點概述

目前大多數(shù)命名實體識別模型都是針對的“非嵌套型”的NER(Flat NER)；然而，在實際場景中“嵌套型”的NER(Nested NER)占了相當(dāng)?shù)谋壤?/p>Nested NER

BERT_MRC受到近來機器閱讀理解問答(MRC-QA)的啟發(fā)，使用機器閱讀理解框架去合并處理Flat NER與Nested NER。

比如我們現(xiàn)在想要抽取 "PER" 類型的實體，就可以提出一個問題 “Which person is mentioned in the text” ，然后在文本中找答案，找到的答案就是PER類型的實體。使用這種方法，無論是Flat NER還是Nested NER，都能很直觀地抽取出來。

BERT_MRC模型的創(chuàng)新點有：

• 基于MRC的方法抽取命名實體，該方法適用于Flat和Nested兩種類型的NER。相比序列標注方法，該方法簡單直觀，可遷移性強。

• 通過實驗表明，基于MRC的方法能夠讓問題編碼一些先驗語義知識，從而能夠在小數(shù)據(jù)集下、遷移學(xué)習(xí)下表現(xiàn)更好。

我們先來回顧一下NER任務(wù)。給定一個文本序列?，它的長度為?，要抽取出其中的每個實體，其中實體都屬于某種實體類型。

假設(shè)該數(shù)據(jù)集的所有實體標簽集合為?，那么對其中的每個實體標簽?，比如地點 "LOC"，都有一個關(guān)于它的問題?。這個問題可以是一個詞，也可以是一句話等等。

使用上述MRC中片段抽取的思想，輸入文本序列??和問題?，??是需要抽取的實體，BERT_MRC通過建模??來實現(xiàn)實體抽取。

3.1.2 BERT_MRC問題構(gòu)造

對于問題??的構(gòu)造是建模??的重要環(huán)節(jié)。BERT_MRC使用“標注說明”作為每個標簽的問題。所謂“標注說明”，是在構(gòu)造某個數(shù)據(jù)集的時候提供給標注者的簡短的標注說明。比如標注者要去標注標簽為 "LOC" 的所有實體，那么對應(yīng) "LOC" 的標注說明就是 “Find locations in the text, including non-geographical locations, mountain ranges and bodies of water”:

標注說明與問題構(gòu)造

3.1.3 BERT_MRC網(wǎng)絡(luò)結(jié)構(gòu)與損失函數(shù)

在抽取實體的具體方法上，如下圖所示BERT_MRC使用了指針網(wǎng)絡(luò)：

• 兩層標注網(wǎng)絡(luò)，一層標記實體開始位置，一層標記實體結(jié)束位置；

• 如果一共??個類型的實體，則需要??個這樣的標注序列，每兩個標注序列一組，共??組;

• 根據(jù) "1" 標簽所在的標簽組來確定實體的類型。

指針網(wǎng)絡(luò)示意圖

BERT_MRC定義了三個損失函數(shù)，分別計算開始位置損失、結(jié)束位置損失和實體損失，訓(xùn)練時總的loss值是上述三個損失值之和：

BERT_MRC的損失函數(shù)

3.1.4 BERT_MRC實驗結(jié)論

BERT_MRC的實驗設(shè)置非常有意思。通過設(shè)置很多對比實驗，證明了很多有用的信息，下面是對BERT_MRC論文中的一些實驗結(jié)論的總結(jié)：

• 相比baseline，BERT_MRC能夠更好地解決數(shù)據(jù)稀疏問題，主要原因是MRC中的問題能夠編碼一部分先驗信息。

• 指針網(wǎng)絡(luò)能有效解決實體重疊問題，無論對non-BERT還是BERT模型，MRC都比non-MRC好。

• 針對BERT_MRC中問題的構(gòu)建策略，BERT_MRC又提出了很多問題的構(gòu)建方法，但是實驗證明，上文提到的“標注說明“仍是最有效的方法。

• 引入MRC中的問題后，由于問題中編碼了一些先驗信息，所以在標簽遷移上效果較好。并且具有了一定的先驗知識編碼能力。

3.2 Multi-turn QA

3.2.1 現(xiàn)存問題

實體關(guān)系抽取的大多數(shù)模型都將實體關(guān)系聯(lián)合抽取的任務(wù)看作是一個三元組抽取任務(wù)，而這樣的處理存在如下幾個問題:

• 在形式化層面上：簡單的三元組形式往往不能充分表現(xiàn)文本背后的結(jié)構(gòu)化信息，因為往往在文本中存在層級性的依賴關(guān)系。獨立地考慮兩種實體可能導(dǎo)致依賴關(guān)系的間斷，導(dǎo)致重要信息的缺失，從而影響模型的判斷。

• 在算法層面上：對于關(guān)系抽取任務(wù)，大多數(shù)模型都是以標記的 mention 作為輸入，而模型的主要目的是判斷兩個 mention 是否存在某種關(guān)系，在這種情況下，模型難以捕捉詞匯、語法以及語義上的關(guān)系，特別是在如下幾種情形下：

  • 長距離依賴問題：實體相距很遠；

  • 實體重疊問題：一個實體出現(xiàn)在多個三元組中;

  • 關(guān)系交叉問題：關(guān)系跨度相交。

3.2.2 Multi-turn QA創(chuàng)新點與思想概述

Multi-turn QA模型的創(chuàng)新點在于其將實體關(guān)系聯(lián)合抽取的任務(wù)當(dāng)作一個多輪問答類問題來處理，即每種實體和每種關(guān)系都用一個問答模板進行刻畫，從而這些實體和關(guān)系可以通過回答這些模板化的問題來從上下文中進行抽取。下面簡單給出一個問答模版：

基于多輪問答的實體關(guān)系抽取示例

由此可見，基于多輪問答的實體關(guān)系抽取主要流程如下：

• 首先確定目標實體?；

• 然后，后根據(jù)目標實體和候選關(guān)系類別進行提問。

這樣的處理方法主要有如下幾個優(yōu)點：

• 能夠很好地捕捉標簽的層次依賴性：即隨著每一輪問答的進行，我們有序的獲得所需要的實體，這與多回合填充式對話系統(tǒng)類似；

• 問題的編碼能夠整合對關(guān)系分類任務(wù)重要的一些先驗信息：這些信息可以潛在地解決了現(xiàn)有關(guān)系抽取模型難以解決的問題，如遠距離實體對，或是關(guān)系重疊問題；

• QA任務(wù)提供了一種很自然的方式來融合實體抽取和關(guān)系抽取任務(wù)：因為 QA 任務(wù)對于沒有答案的問題可以返回 None，則對于不存在相應(yīng)關(guān)系的問題；如果返回的不是 None，則可以同時確定實體和關(guān)系。

Multi-turn QA算法流程

將實體關(guān)系抽取任務(wù)轉(zhuǎn)化為多輪問答任務(wù)的算法如上所示，整個算法分如下幾個部分：

• 頭實體抽取(line 4 - 9)：由于每一輪多輪對話都需要一個頭實體來作為 trigger，因此需要事先抽取句子中所有的頭實體，而抽取實體的過程可以看作一個抽取 entity_question 答案的過程。所有 entity_question 都存放在 EntityQuesTemplates 中，每一種 entity_question 都對應(yīng)一類實體的抽取；

• 關(guān)系與尾實體抽取(line 10 - 24)：ChainOfRelTemplates 定義了一個關(guān)系序列，我們需要根據(jù)這個關(guān)系序列來進行多輪問答。同時，它也定義了每種關(guān)系的模板，為了生成對應(yīng)的問題（第14行），我們要在模板槽（slot）中插入之前抽取的實體。然后，關(guān)系??和尾實體??就能通過回答問題同時被抽取出來。如果回答是 None，就說明沒有答案，即只有同時抽出頭實體，以及頭實體存在對應(yīng)的關(guān)系和尾實體被抽出時，才算成功抽出一個滿足條件的三元組。

我們知道現(xiàn)階段常見的?MRC?模型都是通過指針網(wǎng)絡(luò)的方式，僅預(yù)測答案在 Context 中的開始和結(jié)束位置，僅適用于單答案的情況。但對于實體識別任務(wù)，在一段 Context 中可能有多個答案，所以這種方法并不合適。作者的做法是將其當(dāng)作以問題為基礎(chǔ)的序列標注問題，或者說將 2 個 N-class 分類任務(wù)轉(zhuǎn)換成??個 5-class 分類任務(wù)，其中??為句子長度。

作者將 BERT 作為 baseline。訓(xùn)練時，損失函數(shù)為兩個子任務(wù)的疊加，即：

3.3 HBT、ETL-span

這兩個模型的思想和方法非常相似，所以放在一起介紹。它們能達到SOTA的重要原因之一就是因為使用了MRC中的指針網(wǎng)絡(luò)。

HBT和ETL-span的抽取過程和Multi-turn QA相似，它們將實體關(guān)系三元組的抽取分解成了多個步驟來完成。但在具體實現(xiàn)的細節(jié)上，HBT和ETL-span和使用多輪對話的Multi-turn QA有很多不同。

HBT和ETL-span將三元組的抽取任務(wù)建模為三個級別的問題，從而能夠更好解決三元組重疊的問題。其核心觀點就是不再將關(guān)系抽取的過程看作實體對的離散標簽，而是將其看作兩個實體的映射關(guān)系，即?，整個三元組抽取過程可以概括為:

• 抽取三元組中的 subject；

• 針對每一個?，抽取其對應(yīng)的 object。

HBT模型的整體結(jié)構(gòu)如下圖所示，主要包括如下幾個部分：

• BERT Encoder：通過 BERT 得到每個詞的詞表征，把BERT的輸出當(dāng)作詞向量使用；

• Subject Tagger：該部分用于識別所有可能的subject對象。其通過對每一個位置的編碼結(jié)果用兩個分類器（全連接層）進行分類，來判斷其是否是實體的開始或結(jié)束位置；

• Relation-specific Object Taggers：針對每一個 subject，都需要對其進行之后的 object 進行預(yù)測。由圖中可知，其與 Subject Tagger 基本一致，主要區(qū)別在于每一個關(guān)系類別獨享一組 object 分類器，同時還要將subject作為特征和BERT詞向量拼接后作為輸入。

HBT模型結(jié)構(gòu)

HBT的解碼方式和傳統(tǒng)的基于序列標注的解碼方式有很大的不同：

• HBT基于指針網(wǎng)絡(luò)，確定實體span通過兩個分類器來實現(xiàn)，采用sigmod+BinaryCrossEntrpy的方式；

• 序列標注則只訓(xùn)練一個分類器，采用softmax+CrossEntropy的方式。

HBT的這種多層標記結(jié)構(gòu)能夠很好地抽取出重疊實體和關(guān)系/由于增加了分類器的數(shù)量，使得每個分類器只用進行二分類，而序列標注的分類器則需要進行多分類，因此HBT對非重疊的實體和關(guān)系也有很好的效果。

ETL-span和HBT的結(jié)構(gòu)差不多，只是在編碼層上有一點不同。ETL-span利用模型的分層結(jié)構(gòu)，將靠前步驟得到的一些句向量，位置向量作為特征，加入進靠后的步驟，取得了不錯的效果。而識別實體范圍，關(guān)系類型的方法和HBT一樣，都采用了指針網(wǎng)絡(luò)。

ETL-span模型結(jié)構(gòu)

參考資料

[1]

《Neural Machine Reading Comprehension: Methods and Trends》:?https://www.mdpi.com/2076-3417/9/18/3698

文章來源：https://blog.csdn.net/eagleuniversityeye/article/details/106965145?spm=1001.2014.3001.5506

作者：iceburg-blogs

編輯：@公眾號 AI算法小喵

---

📝論文解讀投稿，讓你的文章被更多不同背景、不同方向的人看到，不被石沉大海，或許還能增加不少引用的呦~ 投稿加下面微信備注“投稿”即可。

最近文章

COLING'22 | SelfMix：針對帶噪數(shù)據(jù)集的半監(jiān)督學(xué)習(xí)方法

ACMMM 2022 | 首個針對跨語言跨模態(tài)檢索的噪聲魯棒研究工作

ACM MM 2022 Oral ?| PRVR: 新的文本到視頻跨模態(tài)檢索子任務(wù)

---

投稿或交流學(xué)習(xí)，備注：昵稱-學(xué)校（公司）-方向，進入DL&NLP交流群。

方向有很多：機器學(xué)習(xí)、深度學(xué)習(xí)，python，情感分析、意見挖掘、句法分析、機器翻譯、人機對話、知識圖譜、語音識別等。

記得備注~

總結(jié)

以上是生活随笔為你收集整理的MRC与QA在信息抽取任务中的相关应用总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。