論文筆記整理：郝凱龍，南京大學碩士

---

鏈接：https://www.aclweb.org/anthology/P19-1522.pdf

動機

傳統的 ACE 事件抽取任務依賴于人工標注的數據，耗費大量的人力并且數據量有限，數據量不足給事件抽取帶來了阻礙。傳統的事件抽取不能解決 role overlap 角色重疊的問題。PLMEE 模型通過對不同的角色分別進行 augument prediction 論元預測解決了角色重疊問題。另外，論文提出了一種利用BERT生成訓練數據的方法，并證明有效。在 ACE2005 數據集上，超過了 state-of-the-art 的結果，將觸發詞分類和論元分類的 F1 值分別提高到了 81.1 和 58.9。

亮點

PLMEE 的亮點主要包括：

（1）解決了一個論元扮演多個角色即角色重疊問題，通過對不同的角色構建多個分類器的方式。例如“The explosion killed thebomber and three shopers”在這句話中，bomber既是Attacker也是Victim。

（2）提出了利用BERT生成訓練數據的方法，并證明方法有效。

概念及模型

• 事件抽取

事件抽取分為觸發詞抽取、論元抽取、論元范圍檢測、損失函數重寫

1.????觸發詞抽取

將觸發詞抽取建模為多分類問題，在BERT后添加MLP做分類，用cross-entropy作為損失函數。

2.????論元抽取

對于每一個token有多組二分類器，每個分類器決定改token是否為對應role的開頭或結尾。通過這種方式，一個token/argument可以是多個role，可解決role overlap問題。

3.????論元范圍檢測

利用一個有限自動機，進行短語的檢測，可以表示成下圖：

盡可能的選擇概率更高的token作為argument的開頭和結尾。并且可以為一個role檢測出多個argument。

4.????損失函數重寫

按照TF-IDF的方式，計算不同role的重要程度，作為weight。

r表示role，即角色。v 代表某一事件類型，V代表所有事件類型集合。

對RF-IEF規范化，得到I(r, v)代表對于事件v角色r的重要程度。

Ls表示start，即論元開頭的loss；Le表示end的損失。兩者求和為最終的損失函數。

• 事件生成

首先在數據集中進行論元收集，將角色相同并且上下文相似的token/phrase構成集合，如上圖框中示例。

對于句子，對其中的argument論元，在構建的相似集合中隨機選擇進行替換。

對于觸發詞和論元以外的詞，即附加詞，利用bert進行[mask]遮掩，利用BERT預測的結果作為替換。

?

最后得到打分函數，用于篩選生成數據。

理論分析

實驗

1.?????實驗結果

作者采用了相較于以往方法更嚴苛的評判標準。

但是實驗的結果依然是極好的，對于Trigger Identification觸發詞檢測和Trigger Classification觸發詞分類甚至提升了10%

?

1.?????觸發詞只有類型和范圍均檢測正確，才認為結果正確

2.?????論元只有范圍正確，并且所有的role overlap重疊角色均被檢測出來，才認為結果正確。

總結

本文利用預訓練語言模型，對事件抽取證明有極大的提高，說明 BERT 得到的 embedding 蘊含的語義信息是非常有意義的。另外，采用 BERT 生成數據也是一種不錯的思路。對于 role overlap 等問題，論文提出了一種基于多分類器的改進方式。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 探索将预训练语言模型用于事件抽取和事件生成的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。