?PaperWeekly 原創 ·?作者 | 王增志

單位 | 南京理工大學碩士生

研究方向 | 情感分析與觀點挖掘

引言

2020 年自然語言處理方向出現了很多令人印象深刻的工作, 其中就包括了這一系列 Seq2Seq 大規模預訓練語言模型，比如 BART [1]，T5 [2] 和 GPT-3 [3]，直覺上這些生成模型一般會用于摘要和翻譯這種典型的生成任務，2021年的很多工作開始嘗試利用這些強大的生成模型來建模一些復雜的自然語言理解任務，比如命名實體識別，屬性級情感分析和事件抽取任務等等。本文將會按照時間線簡要對基于生成式方法的事件抽取相關的工作進行梳理。

事件抽取（Event Extraction, EE）是指從自然語言文本中抽取事件并識別事件類型和事件元素的技術。其任務目標是根據觸發詞識別句子中所有目標事件類型的事件，并根據論元角色集合抽取事件所對應的論元，這里的事件類型和論元都是預定義好的。舉個例子，給定一個句子，事件抽取旨在識別出句子中包含的結構化事件。

• Input: The man returned to Los Angeles from Mexico following his capture Tuesday by bounty hunters.

• Output:

該任務分為如下幾個子任務：

• Trigger Identification：檢測（抽取）句子中的事件的觸發詞，可以是一個詞也可以是一個span；

• Trigger Classification：判斷抽取到的觸發詞對應的事件類型；

• Argument Identification：檢測（抽取）句子中的論元比如某種事件發生的時間，地點等；

• Argument Classification：判斷抽取到的論元對應的論元角色；

TANL

這是一篇來自 AWS 團隊 ICLR 2021 的工作 [4]，作者致力于研究結構預測任務（比如命名實體識別，實體關系抽取，語義角色標注，共指消解，事件抽取，對話狀態追蹤等）的多任務學習，之前的大多數方法都是針對具體的特定的任務進行建模，訓練一個任務特定的判別器，但是這樣的方法一方面結構不能被適配到其他類似的任務上，給遷移學習帶來了困難，另一方面這種判別式的結構很難利用標簽的語義知識。

基于此，作者提出了 TANL 模型（Translation between Augmented Natural Language），即給定輸入，輸出原有文本和對應的文本標注。如下圖所示，輸入文本，輸出的文本在原文本的上做了 augmented，即加上了標注，圖中的實體關系聯合抽取任務，會在頭實體上加上對應的實體類別，在尾實體上除了加上實體類型，還會加上關系，以及對應的頭實體 span；語義角色標注任務，模型會標注出主語，謂語，時間地點等；共指消解任務，模型會標注出所有的第一個 mention，然后在后續出現的 mention 上標注對應的本體，最后對輸出的文本進行解析，得到預測的結構。

下圖是模型對事件抽取任務的建模示例，首先進行觸發詞的抽取，輸出的句子會在觸發詞后面加上對應的事件類型，然后針對事件論元的抽取，輸入會標注出觸發詞和對應的事件類型，然后輸出時會在相關的 span 標注實體的類型，比如個人，時間等，還會標注出論元的類型，用“=”來對應觸發詞。

作者在 single-model-single-dataset，multi-dataset 和 multi-task 三種 setting 上進行了實驗，實驗結果顯示模型在實體關系聯合抽取，關系分類和語義角色標注達到了新的 SOTA，在其他的任務上取得了跟 SOTA 相比還可以的（comparable）實驗結果。在事件抽取任務上的實驗結果如下圖所示：

整體來說該工作就是一個 unified 的框架可以建模多種常見的結構預測任務（這里可能會有一個問題，既然是結構預測問題，為什么沒有做依存句法解析這種經典的結構預測任務，作者在 OpenReview 上的回答是主要考慮對于標簽語義知識進行建模，因此并沒有在依存句法任務上進行實驗），而且有助于遷移學習。其實早在的 EMNLP2020 上的一篇工作已經有了這樣的做法來做序列標注和分類任務 [5]，作者同樣來自 AWS，而這篇 ICLR 可以看作一個擴展/進一步推廣。后續這種方法也被在其他下游任務上，比如屬性級情感分析 [6]。

BART-Gen

這是一篇發表在 NAACL 2021 [7] 的工作，針對常見的句子級的任務存在信息不完整的問題，作者研究文檔級的事件論元抽取任務，并將其建模為按照事件模板進行生成的形式。同時作者還提出了一個文檔級的事件抽取 Benchmark: WIKIEVENTS，并且包含了完整的事件和共指標注。

模型如下圖所示，整體的思路是用標記好觸發詞的文檔和觸發詞對應的事件類型的預定義模板（用 < arg> 做為論元的占位符）拼到一起，送入 BART，然后按照模板生成對占位符進行填充，生成完整的模板句子。作者還對生成策略加上了約束，比如生成時的詞表限制在輸入的文本中。該模型不需要提前進行共指消極的預處理，而且能夠輕易處理不完整的論元和相同的 role 存在多個論元的情況，不再需要像之前的 BERT-QA [8] 那種方法一樣需要設置閾值，僅需一步就可以抽取出所有的論元。

上述只是提到了事件的論元抽取，但是模型的輸入需要含有對觸發詞的標注，故此作者提出了一個基于關鍵詞的觸發詞抽取方法（抽取觸發詞和對應的類型），不用于常見的全監督的 setting，這里只提供關鍵詞級別的監督，即針對每個類別，提供幾個描述該類別的詞匯，作為監督信號，然后通過 BERT 獲得關鍵詞的平均詞向量作為類別的表示，然后使用 BERT-CRF 模型和 IO 的標注方案，對 CRF 中的特征/發射分數和轉移分數進行了一定的改動（畢竟沒有完整的標注信息）。

此外作者還提出了一個新的更有挑戰性的任務：文檔級信息化的論元抽取任務，動機是考慮到文檔的特殊性，希望模型能夠捕捉到更加長距離的信息，具體來說作者定義名詞比代詞含有更多的信息，在 mention 的類型相同的條件下，選擇最長的 mention（具備更多的信息）。在這個任務設定下，希望模型能夠抽取具備更多信息的論元。（簡而言之，希望能夠對共指問題有一個很好的處理）。實驗結果如下表所示：無論是在跨句的 RAMS 數據集上還是該論文提出的新的 WIKIEVENTS 數據集上，都是大幅超過了之前方法。

Text2Event

這是一篇發表在 ACL 2021 [9] 上的一個工作，之前的事件抽取的工作主要是將任務拆解成幾個子任務分開來解決，在這個工作中作者提出模型 Text2Event，將事件抽取建模成 Seq2Seq 的形式，輸入句子，輸出結構化的事件。下面是一個輸入輸出的例子，輸出的結構格式為 ((事件類型 觸發詞 (角色 論元)) ...)，然后對輸出的文本進行解析就可以得到結構化的事件。

• Input: The man returned to Los Angeles from Mexico following his capture Tuesday by bounty hunters.

• Output: ((Transport returned, (Artifact The man), (Destination Los Angeles), (Origin Mexico)), (Arrest-Jail capture (Person The man), (Time Tuesday) (Agent bounty hunters))

為了避免模型的生成式自由隨便地生成，作者還用 event schema 對解碼做一個約束，使用基于字典樹的解碼算法。不同于常規的生成策略（每次生成 token 都是在全詞表上做選擇），基于字典樹的解碼算法會根據當前的狀態對詞表做剪枝，這里簡單理解就是對生成的詞表做約束，詞表中的詞除了來自于輸入的 text，還來自于事件類型中的詞，當然還有用于格式控制的'(' , ')'。

為了避免使用生成模型（T5）直接生成這種非自然的句子過于困難，作者使用課程學習的思路，先去訓練做簡單的子任務比如生成（type, trigger words）和（role, argument words）這種相對簡單的格式，最后再去訓練學習直接生成完整的事件抽取任務的句子格式。

整體實驗結果如下圖所示，相比之前的方法需要 token-level 的標注信息，Text2Event 只需要粗粒度的標注信息，即不需要定位到 token，只需給出完整的事件即可。可以發現，相比其他的方法，Text2Event 取得了相對有競爭力的性能。

消融實驗的實驗結果如下圖所示，課程學習（CL）和約束解碼策略（CD）尤其在低資源的情況下提升顯著，生成的格式中將其中的事件類型和角色名字換成沒有真實意義的符號（w/o ES）之后，性能有大幅下降，這也證明了生成含有真實意義的詞更具備豐富的語義，可以更好的利用預訓練模型。

TempGen

這是一篇發表在 EMNLP 2021 [10] 上的工作，雖然做的任務不是事件抽取，但是任務形式上跟事件抽取很像。該工作通過將文檔級的角色填充的實體抽取（role-filler entity extraction (REE)）和關系抽取任務轉換成 seq2seq 的形式來解決在對文檔級建模存在的實體間長程依賴問題。

任務形式如下圖所示：針對 REE 任務，使用預先定義的模板，<SOT> 和 <EOT> 表示模板的開始和結束，<SOSN> 和 <EOSN> 表示 slot name 的開始和結束，<SOE> 和 <EOE> 表示實體的開始和結束；針對關系抽取任務，同樣使用以上類似的模板。

實驗結果如下圖所示，可以發現 TempGen 在角色填充的實體抽取和二元，四元關系抽取任務上，均取得了最好的性能。

DEGREE

該工作 [11] 也是類似的做法，是采用生成式的方法利用 Prompt 去生成預定義的模板。這樣做可以融入標簽的知識，而且還是一種端到端的設計，模型能夠捕捉到觸發詞與論元之間的依賴。模型如下圖所示：整體的思路是給定模型 passage 和事件類型，然后將 passage 和對應的 prompt 拼接到一起，然后模型按照模板生成，最后從生成的模板中解析事件。

首先考慮事件檢測任務（Event Detection），我們將給定的事件類型對應的描述和事件關鍵詞，還有生成的事件檢測的模板 'Event trigger is <Trigger>' 以上內容作為 Prompt 跟 passage 拼接到一起，模型將會把 trigger 詞填充后的模板輸出出來。針對事件論元抽取任務，對應的 Prompt 是事件類型的描述，和第一步檢測出來的觸發詞，還有針對論元抽取設計的模板，模型將會輸出用 passage 中的詞填充過的模板。以上是一種 Pipeline 的方法，Joint 的方法的就是將事件類型的描述，事件的關鍵詞，還有針對端到端設計的生成模板（如下圖最下方），最終按照模板生成。

在最開始的時候提到事件類型是給定的，實際上的做法是對所有的事件類型進行采樣 m 個，然后枚舉這 m 個事件類型，然后進行訓練。其中 m 是超參。

實驗結果如下表所示，在端到端的事件抽取任務上，DEGREE 雖然沒有取得 SOTA 的性能，但是也是相對比較有競爭力。

在低資源的端到端事件抽取任務上的實驗結果如下表所示，可以發現 DEGREE 在這種低資源的設定下更加有效，基本上超過了所有的 baseline，正如模型的名字那樣：A Data-Efficient Generative Event Extraction Model.

PoKE

該工作 [12] 同樣也是利用 Prompt 做事件抽取任務，之前的 Prompt 相關的工作大多基于簡單的文本分類任務，對于事件抽取這樣復雜的任務還很少被被探究過，作者使用 Prompt 來探測語言模型中的知識。

PoKE 模型用于事件檢測任務的模型結構如下圖所示，Prompt 分為兩部分一部分是 external 的，一部分是 internal 的，這個主要是看 mask 的地方是在 passage 內部還是在添加的 prompt 上。具體來說針對 External 的 Prompt，在 passage 后面拼接上橋接詞 'In the passgae above'，還有針對每個事件類型的 Prompt （格式為：verb <X> indictates xxx Event）然后送進 T5 中預測 mask 處的詞。為了幫助模型更好地理解，作者還使用了 internal 的 Prompt，內容上跟前者一樣，只是在前者 mask 的地方填上正確的 trigger 詞，反而將上下文中的 trigger 詞 mask 掉，然后送入 T5 預測。

本質上這樣做的動機還是靠近T5的預訓練任務，更好地探測和利用模型。

下面介紹用于論元抽取的模型架構，如下圖所示，整體思路也跟上面事件檢測的一致，也是分為兩種 Prompt 方式，這里稱為 Single Argument Prompt 和 Joint Argument Prompt。針對前者，在送入的 passage 中標出 trigger 詞，然后拼上橋接詞 'In the passgae above'，每個 trigger 對應一個事件類型以及相關的論元，構造簡單的 Prompt 來抽取對應的論元，然后在最后拼上后綴用來指明事件類型和 trigger 詞，最后送入 T5 中得到相關的論元的預測。Joint 的 Prompt 也是類似，只是將 mask 的位置放在了 passage 的對應的論元上，將原本的 mask 的位置替換成了真實的論元，最后同樣送入 T5 中輔助模型理解上下文。

事件抽取的實驗結果如下表所示，PoKE 可以取得相對有競爭力的性能。

總結

本文梳理了六篇 2021 年的使用 seq2seq 的語言模型去建模事件抽取任務的相關工作，按照他們做的任務，使用的語言模型以及是否在解碼時做了一定的約束這個三個信息將這六篇工作做一個簡單的對比，如下表所示。可以發現 T5 和 BART 是選擇比較多的 Seq2Seq 預訓練模型，大部分工作都是做的端到端的事件抽取，也有很多工作對解碼做了約束以便更好地生成。從以上的工作不難看出更加強有力的端到端的事件抽取模型，文檔級的事件抽取建模依舊是個挑戰。

參考文獻

[1] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL 2020

[2] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. PMLR 2020

[3] Language Models are Few-Shot Learners.

[4] Structured Prediction as Translation between Augmented Natural Languages. ICLR 2021

[5] Augmented Natural Language for Generative Sequence Labeling. EMNLP 2020

[6] Towards Generative Aspect-Based Sentiment Analysis. ACL 2020

[7] Document-Level Event Argument Extraction by Conditional Generation. NAACL 2021

[8] Event Extraction by Answering (almost) Natural Questions. EMNLP 2020

[9] TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction. ACL 2021

[10] Document-level Entity-based Extraction as Template Generation. EMNLP 2021

[11] DEGREE: A Data-Efficient Generative Event Extraction Model. ArXiv 2021

[12] Eliciting Knowledge from Language Models for Event Extraction. ArXiv 2021

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的乘风破浪的Seq2Seq模型：在事件抽取上的应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。