論文筆記整理：余海陽，浙江大學碩士，研究方向為知識圖譜、自然語言處理。

---

鏈接：https://wvvw.aaai.org/ojs/index.php/AAAI/article/view/4591

?

動機

之前的聯合抽取實體以及實體間的關系的方法，主要是采用管道模型，即先識別出實體，再找出實體間的關系。這樣的框架容易推導但易導致錯誤傳播，以及忽略了實體和關系間的內在聯系。Copyre的方法采用seq2seq2連續生成三元組的方式進行抽取，卻不容易處理當實體是多個多個詞組成的情況。本文提出了一種新的統一框架，通過查詢次同時對實體和關系進行序列標注的方式聯合抽取出三元組。

亮點

與之前的模型相比，我們提出了新的統一框架進行聯合抽取。給定一個句子和一個查詢位置p，我們的模型將回答兩個偽問題：“p處的實體及其類型是什么？”和“ p處的實體與哪個實體有關系？”通過回答這兩個問題我們將聯合抽取問題轉化為序列標注問題，對于n個單詞的句子我們根據n個查詢位置注釋了n個不同的標簽序列。為了在單個統一模型中對這n個標記序列建模，我們將一種新穎的位置注意力機制引入序列標記模型以生成n個不同的位置感知語句表示。另外，所提出的注意力機制可以在單詞（實體）之間建立直接連接，這可能有助于提取遠程關系（兩個實體之間的距離很長）。

模型

模型的標注方式如下圖。

我們的標記方案是，對于n個單詞的句子，根據不同的查詢位置p對n個不同的標記序列進行注釋。在每個標簽序列中，如果實體類型是在實體的開始處，則在當前查詢位置p標記實體類型，而在p處與該實體有關系的其他實體則用關系類型標記，其余令牌被分配了標簽“O”（外部），表明它們與所關注的實體不對應。因此，可以基于標簽序列提取由三元組（Entity1，RelationType，Entity2）表示的關系。顯然，第一個實體可以多次使用組成重疊的關系。

?

模型的整體架構如下圖。

首先使用 word-level embedding 和 charcter-level embedding 一同喂到 Bi-LSTM 網絡中，得到雙向的 rnn 結果，拼接后即可得到整個句子的表征信息。

檢測一個實體與另一個實體存在關系的關鍵信息包括：（1）實體本身內部的單詞；（2）依賴的另一個實體；（3）表征關系的上下文。基于這些考慮，我們提出了位置注意力機制，它可以對查詢位置處的實體信息以及整個句子的上下文信息進行編碼，生成位置感知和上下文感知的信息表征，其中 c_t 是整個句子在注意力池化后的向量表征。

最后使用CRF解碼句子即可得到最終的標記結果，得到對應的三元組。

實驗

我們使用紐約時報（(Ren et al. 2017）和??????????? Wiki-KBP （Xiao and Weld 2012）的數據集來評估該方法。NYT和Wiki-KBP的統計數據如下表所示。

為了證明我們的模型對實體間長距離的抽取效果更好，我們和lstm-lstm-bias模型做了對比，如下圖。

總結????????????????????????

在本文中，我們提出了一個統一的位置注意力的序列標注框架，用于聯合抽取實體和重疊關系。實驗表明，我們的方法可以有效地提取重疊關系，并在兩個公共數據集上取得了最先進的結果。此外我們發現注意力機制有助于建模遠程依賴關系，提高了模型在遠程關系檢測中的性能。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 使用位置敏感的序列标注联合抽取实体和重叠关系的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。