文章目錄

• abstract
• 1.Introduction
• 3.相關工作
• • 2.2MRC(機器閱讀理解）
  • 2.3 非QA->QA
• 3.數據集和任務
• • 3.1別人的數據集
  • 3.2我們建立的數據集RESUME
• 4.Model
• • 4.1概述
  • 4.2生成問題
  • 4.3通過MRC來獲取答案范圍
  • 4.4 強化學習
• 5.實驗
• • 5.1RESUME結果
  • 5.2 其他結果
• 6 Ablation Studies
• • 6.2問題生成策略的影響
  • 6.2聯合訓練的影響
  • • 6.3case study

Entity-Relation Extraction as Multi-turn Question Answering
code

abstract

在本文中，我們提出了一種新的實體關系提取任務范式。我們將任務轉換為多回答問題回答問題，即實體和關系的提取被轉換為從上下文識別答案跨度的任務。這種多轉QA形式化具有幾個關鍵優勢：首先，問題查詢為我們想要識別的實體/關系類編碼重要信息;其次，質量保證提供了一種自然的實體和關系建模方式;第三，它允許我們利用完善的機器閱讀理解（MRC）模型。

• NRE,NER->multi-turn QA
  • 問題查詢為我們想要識別的實體/關系類編碼了重要信息;
  • QA提供了一種自然的實體和關系建模方式;
  • 它允許我們利用完善的機器閱讀理解（MRC）模型。
• 數據集
  • ACE
  • CoNLL04
  • RESUME(本文構建）
    • 需要多步推理來構建實體依賴性。
• a multi-turn QA
  • 多次QA
  • 實體和關系的類型：以question answering template為特征
  • 提取關系和實體：通過回答問題
  • 用MRC提取實體、關系:
    • Answers are text spans, extracted using the now standard machine reading comprehension (MRC) framework: predicting answer spans given context (Seo et al., 2016; Wang and Jiang, 2016; Xiong et al., 2017; Wang et al., 2016b).
    • eg:為了得到上表，有以下問答
      • ? Q: who is mentioned in the text? A: Musk;
      • ? Q: which Company / companies did Musk work for? A: SpaceX, Tesla, SolarCity, Neuralink and The Boring Company;
      • ? Q: when did Musk join SpaceX? A: 2002;
      • ? Q: what was Musk’s Position in SpaceX? A: CEO.
  • 優點：
    • 可得到層次依賴
    • 問題查詢為我們編碼重要的先驗信息。
      • 類對QA來說有助于回答問題—這個可以解決很多問題
      • 傳統的方法中類僅僅是索引，并且不編碼類的任何信息
    • QA框架提供了一種同時提取實體和關系的自然方式
      • 回答問題
        • 有答案，則關系成立，且結果為我們希望的實體抽取
  • 兩個階段
    • 1)頭部實體提取階段
    • 2）關系和尾部實體提取階段：
  • work:
    • 生成問題
    • 通過MRC確定答案范圍
    • 強化學習
      • 處理多回合問題的連接

1.Introduction

識別實體及其關系是從非結構化原始文本中提取結構化知識的先決條件，這些知識近年來越來越受到關注。給定一大塊自然語言文本，實體關系提取的目標是將其轉換為結構知識庫。例如，給出以下文本：
In 2002, Musk founded SpaceX, an aerospace manufacturer and space transport services Company, of which he is CEO and lead designer. He helped fund Tesla, Inc., an electric vehicle and solar panel manufacturer, in 2003, and became its CEO and product architect. In 2006, he inspired the creation of SolarCity, a solar energy services Company, and operates as its chairman. In 2016, he co-founded Neuralink, a neurotechnology Company focused on developing braincomputer interfaces, and is its CEO. In 2016, Musk founded The Boring Company, an infrastructure and tunnel-construction Company.

大多數現有模型通過從文本中提取三元組列表來接近該任務，即REL（），其表示實體與實體之間的REL關系。以前的模型分為兩大類：流水線方法，首先使用標記模型來識別實體，然后使用關系提取模型來識別每個實體對之間的關系;聯合方法，通過不同的策略，如約束或參數共享，將實體模型和關系模型結合起來。

• 關系抽取方法
  • pipeline
  • joint model(通過參數共享、約束等策略）

當前的ap apaches存在幾個關鍵問題，無論是在任務形式化還是算法方面。在形式化級別，REL（）三元組結構不足以完全表達文本背后的數據結構。以Musk案例為例，標簽之間存在層次依賴關系：時間的提取取決于位置，因為一個人可以在不同的時間段內在公司中持有多個職位;職位的提取也取決于公司，因為一個人可以為多家公司工作。在算法層面，對于大多數現有的關系提取模型（Miwa和Bansal，2016; Wang等，2016a; Ye等，2017），模型的輸入是一個帶有兩個標記提及的原始句子，并且輸出是兩個提及之間是否存在關系。正如Wang等人所指出的那樣。 （2016a）;曾等人。 （2018），神經模型很難捕捉到這種形式化中的所有詞匯，語義和句法線索，特別是當（1）實體很遠時; （2）一個實體涉及多個三胞胎; （3）一個句子包含多個相同類型的關系; （4）關系跨度有重疊3。

• 以前方法的問題：
  • 任務形式化：標簽有層次依賴關系
  • 算法：
    • 神經模型很難捕捉到這種形式化中的所有詞匯，語義和句法線索，特別是當
      • （1）實體很遠時;
      • （2）一個實體涉及多個三元組(重疊關系）;
      • （3）一個句子包含多個相同類型的關系; （n-ary)
      • （4）關系跨度有重疊。
        • e.g., in text A B C D, (A, C) is a pair and (B, D) is a pair.

在本文中，我們提出了一個新的范例來處理實體關系提取的任務。我們將任務形式化為多回答問題回答任務：每個實體類型和關系類型以問答模板為特征，通過回答模板問題來提取實體和關系。

將實體關系提取任務視為多回合QA任務具有以下關鍵優勢：
（1）多回合QA設置提供了捕獲標簽的層次依賴性的優雅方式。隨著多回合QA的進行，我們逐步獲得下一回合所需的實體。這與多回合插槽填充對話系統（Williams和Young，2005; Lemon等，2006）非常相似.
（2）問題查詢為我們想要識別的實體/關系類編碼重要的先驗信息。例如，文本中提到的PER標記類的查詢中的信息有助于模型提取相關的名稱實體。相反，在傳統的非QA實體關系提取模型中，標記類或關系類僅僅是索引（class1，class2，…），并且不編碼關于類的任何信息。這種信息性可以潛在地解決現有關系提取模型無法解決的問題，例如遠程分離的實體對，關系跨度重疊等;
（3）QA框架提供了一種同時提取實體和關系的自然方式：大多數MRC模型支持輸出特殊的NONE標記，表明該問題沒有答案。通過這個，原始的兩個任務，實體提取和關系提取可以合并為一個QA任務：如果對應于該關系的問題的返回答案不是NONE，則關系成立，并且返回的答案是我們希望的實體提取。

3.相關工作

許多早期的實體關系提取系統是流水線的（Zelenko等，2003; Miwa等，2009; Chan和Roth，2011; Lin等，2016）：實體提取模型首先識別感興趣的實體和關系然后，提取模型構造提取的實體之間的關系。雖然流水線系統具有集成不同數據源和學習算法的靈活性，但它們受錯誤傳播的影響很大。

• pipeline
  • 靈活，但受錯誤傳播影響大

為了解決這個問題，提出了聯合學習模型。

• 基于約束的：
  • 早期的聯合學習方法通過各種依賴關系連接兩個模型，包括
  • 通過整數線性規劃解決的約束（Yang和Cardie，2013; Roth和Yih，2007），
  • 卡片金字塔解析（Kate和Mooney，2010），以及
  • 全局概率圖形模型（Yu和Lam，2010; Singh等，2013）。
• 在后來的研究中，Li和Ji（2014）使用結構感知器和有效的波束搜索提取實體提及和關系，這比基于約束的方法顯著更有效，更省時。
• Miwa and Sasaki (2014); Gupta et al. (2016); Zhang et al. (2017) 提出了表格填充方法，該方法提供了將更復雜的特征和算法結合到模型中的機會，例如解碼中的搜索順序和全局特征。
• 神經網絡模型也已在文獻中廣泛使用。
  • Miwa和Bansal（2016）引入了一種端到端方法，該方法使用具有共享參數的神經網絡模型提取實體及其關系，即使用神經標記模型提取實體并使用基于樹LSTM的神經多類分類模型提取關系
  • （Wang et al. (2016a)使用多層次關注CNN提取關系。
  • Zeng等人。 （2018）提出了一種新的框架，它使用序列到序列模型來生成實體關系三元組，自然地結合了實體檢測和關系檢測。
• 聯合實體和關系提取模型的另一種方法是使用強化學習或最小風險訓練，其中訓練信號是基于兩個模型的聯合決策給出的。
  • Sun等人。 （2018）優化全局損失函數，在最小風險培訓框架下共同培養這兩個模型。
  • Takanobu等。 （2018）使用分層強化學習以分層方式提取實體和關系。

2.2MRC(機器閱讀理解）

• 主流MRC模型（Seo等，2016; Wang和Jiang，2016; Xiong等，2017; Wang等，2016b）在給定查詢的段落中提取文本跨度。文本跨度提取可以簡化為兩個多類分類任務，即預測答案的開始和結束位置。
• 類似的策略可以擴展到多段落MRC（Joshi等，2017; Dunn等，2017），其中答案需要從多個段落中選擇。
• 多通道MRC任務可以通過連接段落輕松簡化為單通道MRC任務（Shen et al。，2017; Wang et al。，2017b）。
  • Wang等人。 （2017a）首先對通道進行排名，然后在選定的段落上運行單通道MRC。
  • Tan等人。 （2017）與閱讀理解模型一起訓練通道排名模型。
  • 像BERT（Devlin等，2018）或Elmo（Peters等，2018）這樣的預訓練方法已被證明對MRC任務非常有幫助。

2.3 非QA->QA

存在將非QA NLP任務作為QA任務投射的趨勢（McCann等，2018）。我們的工作受到Levy等人的高度啟發。 （2017）。

• Levy et al. (2017) and McCann et al. (2018)專注于識別兩個預定實體之間的關系，并且作者將關系提取的任務形式化為單轉QA任務。
• 在本文中，我們研究了一個更復雜的場景，其中需要對層次標簽依賴關系進行建模，并且單轉QA方法不再適用。我們表明，我們的多轉QA方法能夠解決這一挑戰并獲得最新的最新結果。

3.數據集和任務

3.1別人的數據集

• 我們使用ACE04，ACE05和CoNLL04（Roth和Yih，2004），這是廣泛使用的實體關聯提取基準，用于評估。
• ACE04定義了7種實體類型，包括人員（PER），組織（ORG），地理實體（GPE），位置（loc），設施（FAC），武器（WEA）和車輛（VEH）。
  • 對于每對實體，它定義了7個關系類別，包括物理（PHYS），人 - 社會（PERSOC），就業 - 組織（EMP-ORG），代理 - 工件（ART），PER / ORG Affliation（OTHER-AFF） ，GPE- Affliation（GPE-AFF）和話語（DISC）。
• ACE05建立在ACE04之上。
  • 它保留了ACE04的PER-SOC，ART和GPE-AFF類別，但將PHYS分為PHYS和新的關系類別PART-WHOLE。
  • 它還刪除了DISC，并將EMP-ORG和OTHER-AFF合并為一個新的EMP-ORG類別。
• 至于CoNLL04，
  • 它定義了四種實體類型（LOC，ORG，PER和OTHERS）和
  • 五種關系類別（LOCATED IN，WORK FOR，ORGBASED IN，LIVE IN）和KILL）。
• 對于ACE04和ACE05，我們遵循Li和Ji（2014）以及Miwa和Bansal（2016）4中的培訓/開發/測試分組。
• 對于CoNLL04數據集，我們遵循Miwa和Sasaki（2014）。

3.2我們建立的數據集RESUME

• RESUME的新數據集。
  • 我們從IPO招股說明書中描述管理團隊的章節中提取了841段。
  • 每個段落都描述了一位高管的一些工作經歷。
  • 我們希望從簡歷中提取結構數據。
  • 四種類型的實體：
    • 人（行政人員的姓名），
    • 公司（行政人員工作/工作的公司），
    • 職位（他/她持有/持有的職位）和
    • 時間（執行的時間段）占據/占據那個位置）。
    • 值得注意的是，一個人可以在不同的時間段內為不同的公司工作，并且一個人可以在不同的時間段內為同一公司擔任不同的職位。
• 我們將數據集隨機分為訓練（80％），驗證（10％）和測試集（10％）。

4.Model

4.1概述

• （1）頭部實體提取階段（第4-9行）：多圈QA的每一集都由一個實體觸發。為了提取這個起始實體，我們使用EntityQuesTemplates（第4行）將每個實體類型轉換為問題，并通過回答問題（第5行）來提取實體e。如果系統輸出特殊的NONE令牌，則表示s不包含該類型的任何實體。
• 2）關系和尾部實體提取階段（第10-24行）：
  • ChainOfRelTemplates定義了一系列關系，我們需要遵循該關系來運行多轉QA。
    • 原因是某些實體的提取取決于其他實體的提取。例如，在RESUME數據集中，執行人員持有的職位依賴于他所工作的公司。
    • 此外，時間實體的提取依賴于公司和職位的提取。
  • 提取順序是手動預定義的。
  • ChainOfRelTemplates還為每個關系定義模板。
    * 每個模板都包含一些要填充的插槽。
    • 為了生成問題（第14行），我們將先前提取的實體/實體插入模板中的插槽/槽。
    • REL和尾部實體e的關系將通過回答生成的問題來共同提取（第15行）。
    • 返回的NONE標記表示給定句子中沒有答案。
• 值得注意的是，從頭部實體提取階段提取的實體可能并非都是頭部實體。在隨后的關系和尾部實體提取階段中，首先假設來自第一階段的提取的實體是頭部實體，并且將其提供給模板以生成問題。如果從第一階段提取的實體e確實是關系的頭部實體，則QA模型將通過回答相應的問題來提取尾部實體。否則，答案將為NONE，從而被忽略。
  

對于ACE04，ACE05和CoNLL04數據集，只需要兩次QA轉彎。因此ChainOfRelTemplates只包含1的鏈。對于RESUME，我們需要提取4個實體，因此ChainOfRelTemplates包含3個鏈。

4.2生成問題

每個實體類型都與模板生成的類型特定問題相關聯，如表3所示。有兩種方法可以根據模板生成問題：自然語言問題或偽問題。偽問題不一定是語法問題。例如，Facility類型的自然語言問題可能是文本中的哪一個是設施，而偽問題可能只是實體：設施
在關系和尾部實體聯合提取階段，通過將關系特定模板與提取的headentity相結合來生成問題。問題可能是自然語言問題或偽問題。實例顯示在表4和表5中。

• 頭實體提取階段:
  • 實體類型：nlp或pseudo-questions
• 關系和尾實體提]階段
  • 模板+head-entity來生成問題

4.3通過MRC來獲取答案范圍

已經提出了各種MRC模型，例如BiDAF（Seo等人，2016）和QANet（Yu等人，2018）。在標準MRC設置中，給出一個問題，其中表示Q中的字數，以及上下文，其中表示C中的字數，我們需要預測答案范圍。對于QA框架，我們使用BERT（Devlin等，2018）作為主干。BERT使用變換器對大規模數據集進行預訓練（Vaswani等，2017），并在SQUAD等MRC數據集上實現SOTA結果（Rajpurkar等，2016）。為了與BERT框架保持一致，通過連接列表[CLS，Q，SEP，C，SEP]來組合問題Q和上下文C，其中CLS和SEP是特殊令牌，Q是標記化問題，C是上下文。使用多層變換器獲得每個上下文令牌的表示。

• QA框架
  • 主干：BERT
  • concate[CLS，Q，SEP，C，SEP]–為了與bert保持一致，這個當做是個問題

傳統的MRC模型（Wang和Jiang，2016; Xiong等，2017）通過將兩個softmax層應用于上下文令牌來預測起始和結束指數。這種基于softmax的跨度提取策略僅適用于單答案提取任務，但不適用于我們的任務，因為我們設置中的一個句子/段落可能包含多個答案。為了解決這個問題，我們將任務正式化為基于查詢的標記問題（Lafferty等，2001; Huang等，2015; Ma和Hovy，2016）。特別地，我們預測給定查詢的上下文中的每個標記的BMEO（開始，內部，結束和外部）標簽。每個單詞的表示被饋送到softmax層以輸出BMEO標簽。人們可以認為我們正在改變兩個N級分類任務，即預測起始和結束指數（其中N表示句子的長度）到N 5級分類任務

• 本文將任務形式化為：基于查詢的標記問題（Lafferty等，2001; Huang等，2015; Ma和Hovy，2016）
  • QA:答案是序列標注的（BMEO（開始，內部，結束和外部）
• 這兩個模型都使用標準BERT模型進行初始化，并在訓練期間共享參數。在測試時，基于兩個目標分別提取頭部實體和尾部實體。
  • 目標函數:$L=(1?\lambda )L(head?entity)+\lambda L(tail?entity,rel)$

4.4 強化學習

請注意，在我們的設置中，從一個回合中提取的答案不僅會影響其自身的準確性，還會確定如何為下游轉彎構建問題，從而影響以后的準確性。

• 用強化學習解決（多輪對話中就用強化學習解決的這個問題(Mrkˇsi′c et al., 2015; Li et al., 2016a; Wen et al., 2016)
• 行動和策略：
  • 在RL環境中，我們需要制定行動和策略。
    • 行動：在多回合QA設置中，行動是在每個回合中選擇文本范圍。
    • 策略：定義了在給定問題和上下文的情況下選擇特定跨度的概率。
    • 依賴于上一步的BMEO的標注
    • 選擇一個跨度{$w_1,w_2,...,w_n$}的概率–以下的聯合概率
      • $w_1為B$
      • $w_2,...,w_{n?1}為M$
      • $w_n為E$
      • $P(answer=y(w_1,w_2,...,w_n)|s,question)=P(w_1=B)\times P(w_n=E){\Pi }_{i\in [2,n?1]}P(w_i=M)$
      • s：特定句子
• Reward：
  • 獎勵：我們使用正確檢索的三元組的數量作為獎勵。
• 我們使用REINFORCE算法（Williams，1992），一種策略梯度方法，找到最優策略，最大化預期獎勵$E_{\pi }[R(w)]$。通過從策略π中抽樣來近似期望，并使用似然比計算梯度：
  • $?E(\theta )\approx [R(w)?b]?log\pi (y(w))$
  • 答案正確r+1
  • 最終獎勵：所有回合的累積
• 策略網絡：利用前面訓練的實體抽取模型
• the experience replay strategy（Mnih等，2015）
  • 對于每個批次，一半的示例是模擬的，另一半是從先前生成的示例中隨機選擇的。
• 對RESUME數據集：使用the strategy of curriculum learning (Bengio et al., 2009),
  • 我們在訓練時逐漸將turn從2增加到4

對于多回合QA設置中的每個回合，獲得正確答案會獲得+1的獎勵。最終的獎勵是所有回合的累積回報。基線值設置為所有先前獎勵的平均值。我們不會從頭開始初始化策略網絡，而是使用前一節中描述的預先訓練的頭部實體和尾部實體提取模型。我們還使用the experience replay strategy（Mnih等，2015）：對于每個批次，一半的示例是模擬的，另一半是從先前生成的示例中隨機選擇的。
對于ACE04，ACE05和CoNLL-04，不需要課程學習，因為只有兩個回合。

5.實驗

5.1RESUME結果

答案是根據人（第一個轉彎），公司（第二個轉彎），位置（第三個轉彎）和時間（第四個轉彎）的順序提取的，每個答案的提取取決于之前的答案。

• 基線
  • ( tagging+relation).
    • As in Zheng et al. (2017),
      • entities are extracted using BERT tagging models, and
      • relations are extracted by applying a CNN to representations output by BERT transformers.
      • 并不適用于本文任務
  • tagging+dependency
    • 使用BERT標記模型為每個單詞分配標記標簽，并修改當前SOTA依賴性解析模型Biaffine (Dozat and Manning, 2016)以構建標記之間的依賴關系。
    • Biaffine依賴模型和實體提取模型是聯合訓練的。

涉及實體和關系識別階段（流水線或聯合）的現有基線非常適合三重提取，但不適合我們的設置，因為在第三輪和第四輪，我們需要更多信息來決定關系而不僅僅是兩個實體。例如，要提取職位，我們需要人和公司，并提取時間，我們需要人，公司和職位。這類似于依賴性解析任務，但是在標記級而不是單詞級（Dozat和Manning，2016; Chen和Manning，2014）。因此，我們提出了以下基線，它將前一個實體+關系策略修改為實體+依賴關系，用標記+依賴關系表示。我們使用BERT標記模型為每個單詞分配標記標簽，并修改當前SOTA依賴性解析模型Biaf fi ne（Dozat和Manning，2016）以構建標記之間的依賴關系。Biaf fi ne依賴模型和實體提取模型是聯合訓練的。
結果如表6所示。可以看出，標記+依賴模型優于標記+關系模型。所提出的多轉QA模型表現最佳，RL增加了額外的性能提升。特別地，對于僅需要單匝QA的人員提取，多匝QA + RL模型執行與多匝QA模型相同的操作。這也是標記+關系和標記+依賴的情況。

5.2 其他結果

6 Ablation Studies

6.2問題生成策略的影響

在這一小節中，我們比較了自然語言問題和偽問題的影響。結果顯示在表8中。我們可以看到自然語言問題導致所有數據集中的F1嚴格改進。這是因為自然語言問題提供了更細粒度的語義信息，可以幫助實體/關系提取。相比之下，偽問題提供了非常粗粒度，模糊和隱含的實體和關系類型提示，這甚至可能使模型混淆。

• 自然語言問題>偽問題
  • 自然語言問題:有更細粒度的語義信息
  • 偽問題：粒度粗，可能讓模型混淆
    

6.2聯合訓練的影響

• the entity-relation extraction task into two subtasks:
  • a multi-answer task for head-entity extraction and
  • a single-answer task for joint relation and tail-entity extraction.
  • parameters shared,聯合訓練
• ACE05:不同$\lambda 的設置$
  

6.3case study

• SOTA MRT model (Sun et al., 2018).
  • 無法識別遠距離實體的關系，multi-QA可以
  • 無法識別重疊關系，multi-QA可以

總結

以上是生活随笔為你收集整理的文献阅读6-Entity-Relation Extraction as Multi-turn Question Answering（实体关系联合抽取,层次标签依赖关系，multi-turn QA）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。