轉(zhuǎn)載公眾號 |?浙大KG

---

論文題目：MLBiNet: A Cross-Sentence Collective Event Detection Network

本文作者：婁東方、廖智霖、鄧淑敏、張寧豫、陳華鈞（浙江大學）

接收會議：ACL 2021

論文鏈接：https://arxiv.org/pdf/2105.09458.pdf

開源代碼：https://github.com/zjunlp/DocED

歡迎轉(zhuǎn)載，轉(zhuǎn)載請注明出處

引言

跨句事件抽取旨在研究如何同時識別篇章內(nèi)多個事件。我們提出多層雙向網(wǎng)絡MLBiNet（Multi-Layer Bidirectional Network）融合跨句語義和關聯(lián)事件信息，從而增強內(nèi)各事件提及的判別。首先，為建模句子內(nèi)部事件關系，我們提出雙向解碼器用于同時捕捉前向和后向事件依賴；然后，我們利用信息聚合器匯總句子語義和事件提及信息；最后，通過迭代多個由雙向解碼器和信息聚合器構(gòu)造的單元，并在每一層傳遞鄰近句子的匯總信息，最終感知到整個文檔的語義和事件提及信息。實驗表明，跨句語義信息和事件依賴關系對事件抽取有效，我們的方法在ACE05數(shù)據(jù)集上取得最優(yōu)表現(xiàn)。

一、前言

事件抽取包括事件觸發(fā)詞檢測（識別事件觸發(fā)詞，并明確所觸發(fā)事件的類型）和屬性抽取（識別觸發(fā)事件的屬性，并標注各屬性對應角色）兩個子任務。例如，“He died in hospital”中“died”作為一個Die類型事件的觸發(fā)詞，該事件中，屬性“He”的角色為Person, “hospital”的角色為Place. 本文主要探討事件觸發(fā)詞檢測任務中的跨句觸發(fā)詞聯(lián)合抽取問題。

圖1? ACE05樣例

當下，事件觸發(fā)詞檢測任務面臨的挑戰(zhàn)主要包括：（1）句子上下文表示及篇章級信息整合[1],[2]。候選觸發(fā)詞類型的判定一般需要結(jié)合上下文信息，包括關聯(lián)實體信息（類型等）、其他候選觸發(fā)詞等。例如，圖1中句子3中的“firing”可能是開槍（觸發(fā)Attack事件）或離職（觸發(fā)End_Position事件），Attack事件的確立需要融合句子2,4等的信息。（2）句內(nèi)和句間事件關聯(lián)性建模[1],[3]。句4包含事件觸發(fā)詞fight和death，ACE05數(shù)據(jù)集中超過40%觸發(fā)詞如此共現(xiàn)；類似句2、句3和句4中的連續(xù)關聯(lián)事件同樣普遍。因此，建模事件之間依賴對于同時抽取句子、跨句多事件尤為重要。

現(xiàn)有方法主要專注于句子級事件抽取，忽略了存在于其他句子中的信息。通過對事件抽取benchmark數(shù)據(jù)集ACE05的分析，我們得出如下結(jié)論。（1）可將事件觸發(fā)詞檢測任務視為一個Seq2Seq任務，其中，source序列為文本篇章或句子，target序列是事件標簽序列。對應基于RNN的encoder-decoder框架能有效處理該類問題，其中encoder建模豐富的上下文語義信息，decoder在解碼過程中捕捉標簽的依賴性。（2）對于當前句子，與之關聯(lián)最密切的信息主要存在于鄰近句子，相距較遠的文本影響較小。

基于上述現(xiàn)象和結(jié)論，我們提出基于encoder-decoder框架的多層雙向網(wǎng)絡MLBiNet，嘗試融合跨句語義和事件信息以提升事件觸發(fā)詞檢測效果。

二、方法

模型包括四部分：語義編碼器、雙向解碼器、信息整合層、多層雙向打標器等。其中，語義編碼層由BiLSTM和自注意力機制構(gòu)成；雙向解碼層融合前向解碼和后向解碼，有助于捕捉雙向事件依賴關系；信息整合層基于簡單LSTM結(jié)構(gòu)整合句子內(nèi)部事件標簽信息和語義信息；多層雙向打標器則逐層傳遞鄰近句子信息，最終捕捉更大鄰域范圍內(nèi)的語義和事件信息，進而實現(xiàn)跨句事件聯(lián)合抽取。

具體而言，雙向解碼器（給定輸入文本，target序列的長度已知，它與輸入文本等長）表達如下：

其中，編碼器和解碼器定義為

對于多層雙向打標器，它的結(jié)構(gòu)主要約束包括：（1）信息傳遞只發(fā)生在相鄰句子間；（2）當前句子中的所有token可見跨句信息是相同的；（3）隨著層數(shù)增加，較遠距離的句子信息可被當前句子獲取到；（4）每層的雙向打標器都由一個雙向解碼器和一個信息整合層構(gòu)成。對于第k層事件標簽向量信息計算方法為：

其中，?

?表示鄰近句子在上一層中整合得到的信息。最終事件標簽向量?

?.

三、實驗

我們在ACE05數(shù)據(jù)集上進行了試驗，如下兩個表所示，我們的方法在不同維度都能取得較好的效果。雙向解碼器有效，它在1層時較之于HBTNGMA更優(yōu)；跨句信息整合有意義，多層網(wǎng)絡下，我們的方法在單事件句子和多事件句子的抽取效果都得到提升。

模塊剖析進一步了驗證雙向解碼器和信息整合層的作用。具體而言，雙向解碼器較之于單向方法顯著更優(yōu)；層數(shù)增加情況下，不同解碼機制下的效果都能得到提升；不同信息整合機制也能引起一定表現(xiàn)變動。

四、總結(jié)與展望

在本文中，我們提出了一種跨句事件觸發(fā)詞聯(lián)合識別方法MLBiNet，它能同時實現(xiàn)篇章信息整合和跨句事件依賴建模，最終實驗證明該方法能有效提升事件觸發(fā)詞識別效果。接下來，我們可嘗試將該方法的推廣到其他篇章級信息抽取任務（Docred, NER等），整合跨句語義信息，并建模標簽關系。

[1] Collective event detection via a hierarchical and bias tagging networks with gated multi-level attention mechanisms. EMNLP2018

[2] Document embedding enhanced event detection with hierarchical and supervised attention. ACL2018

[3] Jointly multiple events extraction via attention-based graph information aggregation. EMNLP2018

[4] Event extraction via dynamic multi-pooling convolutional neural networks. ACL2015

[5] Edge-enhanced graph convolution networks for event detection with syntactic relation. EMNLP2020

[6] Meta-learning with dynamic-memory-based prototypical network for few-shot event detection. WSDM2020

[7] Event extraction as multi-turn question answering. EMNLP2020

[8] A joint neural model for information extraction with global features. ACL2020

[9] Exploiting the ground-truth: An adversarial imitation based knowledge distillation approach for event detection. AAAI2019

[10] Exploiting argument information to improve event detection via supervised attention mechanisms. ACL2017

[11] Graph convolutional networks with argument-aware pooling for event detection. AAAI2018

[12] Event detection with multi-order graph convolution and aggregated attention. EMNLP2019

[13] Ontoed: Low-resource event detection with ontology embedding. ACL2021

[14] Docred: A large-scale document-level relation extraction dataset. ACL2019

---

?

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進知識圖譜算法、工具及平臺的開源開放。

點擊閱讀原文，進入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - ACL2021 | 探讨跨句事件联合抽取问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。