文章目錄

• abstract
• 1.Introduction
• 2.相關工作
• 3.回顧GCN
• 4.方法
• • 4.1第一階段
  • • 4.1.1 Bi-LSTM
    • 4.1.2 Bi_GCN
    • 4.1.3 實體關系抽取
• 4.2 第二階段
• • 4.2.1 構建關系權圖
  • 4.3訓練
  • 4.4 inference
• 5.實驗
• • 5.1 settings
  • 5.1.1數據集
  • 5.2 baseline and evaluation metrics
  • 5.3 Quantitative Results
  • 5.4 細節分析

Fu, T.-J., et al. (2019). GraphRel Modeling Text as Relational Graphs for Joint Entity and Relation Extraction. Proceedings ofthe 57th Annual Meeting ofthe Association for Computational Linguistics.

原文code

https://www.cnblogs.com/conghuang/p/11923788.html

abstract

本文提出了一種基于圖卷積網絡(GCNs)的端到端關聯抽取模型GraphRel，該模型利用圖卷積網絡(GCNs)聯合學習命名實體和關聯。與以前的基線相比，我們通過關系加權的GCN來考慮命名實體和關系之間的相互作用，以更好地提取關系。利用線性和依賴結構提取文本的序列特征和區域特征，利用完整的詞圖提取文本所有詞對之間的隱含特征。使用基于圖的方法，對重疊關系的預測比以前的順序方法有了很大的改進。我們在兩個公共數據集上評估GraphRel: NYT和WebNLG。結果表明，GraphRel在大幅度提高查全率的同時，保持了較高的查全率。同時，GraphRel比之前的工作分別高出3.2%和5.8% (F1分數)，實現了一種新的關系提取技術。

• GraphRelFu, T.-J., et al. (2019).：
  • 實體關系聯合抽取
  • 關系加權的GCNs
    • 考慮實體關系間的相互作用
  • 線性核依賴結構->文本的序列特征和區域特征
  • 完整的詞圖：->提取文本所有詞對之間的隱含特征
  • 基于圖的方法，有利于對重疊關系的預測
  • 數據集：NYT,WebNLG
  • 三個關鍵
    • 想要自動提取特征的聯合模型
      • 通過堆疊Bi-LSTM語句編碼器和GCN (Kipf和Welling, 2017)依賴樹編碼器來自動學習特征
      • 用以考慮線性和依賴結構
        • 類似于Miwa和Bansal(2016)（一樣是堆疊的）
          • 每個句子使用Bi-LSTM進行自動特征學習，
          • 提取的隱藏特征由連續實體標記器和最短依賴路徑關系分類器共享。
          • 然而，在為聯合實體識別和關系提取引入共享參數時，
            • 它們仍然必須將標記者預測的實體提及通過管道連接起來，
            • 形成關系分類器的提及對。
    • 考慮重疊關系
    • 如何考慮關系之間的相互作用
      • 2nd-phase relation-weighted GCN
      • 重疊關系(常見）
        • 情況
          • 兩個三元組的實體對重合
          • 兩個三元組都有某個實體mention
        • 推斷
          • 困難（對聯合模型尤其困難，因為連實體都還不知道）
  • work
    • 學習特征
      • 通過堆疊Bi-LSTM語句編碼器和GCN (Kipf和Welling, 2017)依賴樹編碼器來自動學習特征
    • 第一階段的預測：
      • GraphRel標記實體提及詞，預測連接提及詞的關系三元組
      • 同時，用關系權重的邊建立一個新的全連接圖（中間圖）
      • 指導：關系損失和實體損失
    • 第二階段的GCN
      • 通過對這個中間圖的操作
      • 考慮實體之間的交互作用和可能重疊的關系
      • 對每條邊進行最終分類
      • 在第二階段，基于第一階段預測的關系，我們為每個關系構建完整的關系圖，并在每個圖上應用GCN來整合每個關系的信息，進一步考慮實體與關系之間的相互作用。
  • 本文貢獻
    • 我們的方法考慮了線性和依賴結構，以及文本中所有詞對之間的隱含特征;
    • 我們對實體和關系進行端到端的聯合建模，同時考慮所有的詞對進行預測;
    • 仔細考慮實體和關系之間的交互。

1.Introduction

提取具有語義關系的實體提及對，即像 (BarackObama, PresidentOf, UnitedStates)這樣的三元組是信息提取的中心任務，它允許從非結構化文本中自動構建知識。盡管這方面的研究很重要，但在一個統一的框架中，還有三個關鍵的方面需要全面處理

• 三個關鍵
  • 實體識別和關系提取的端到端聯合建模
  • 預測重疊關系，即，共同提及的關系;
  • 考慮關系之間的相互作用，尤其是重疊關系。

傳統上，使用pipeline方法首先使用指定的實體識別器提取實體提及，然后預測每對提取的實體提及之間的關系(Zelenko,et al., 2003; Zhou et al., 2005; Chan and Roth, 2011).
聯合實體識別和關系提取模型(Yu和Lam, 2010;Li and Ji, 2014;Miwa和Sasaki, 2014;Ren等人，2017)已經建立了利用這兩個任務之間的密切互動。在展示聯合建模的優點的同時，這些復雜的方法是基于特征的結構化學習系統，因此嚴重依賴于特征工程。

• 早期的聯合模型
  • 嚴重依賴于特征

隨著深度神經網絡的成功，基于神經網絡的特征自動學習方法被應用到關系提取中。這些方法使用CNN、LSTM或Tree-LSTM對兩個實體提及之間的單詞序列進行處理(Zeng et al.， 2014;dos Santos等，2015)，兩個實體提及之間的最短依賴路徑(Yan et al., 2015; Li et al., 2015),或the minimal constituency sub-tree spanning two entity mentions(Socher et al.， 2012)，為每對實體提及編碼相關信息。然而，這些方法并不是實體和關系的端到端聯合建模。他們假設實體提及是給定的，并期望在管道中需要一個命名實體識別器時顯著降低性能。

• 自動學習特征的神經網絡方法（非聯合模型）
  • CNN、LSTM或Tree-LSTM對兩個實體提及之間的單詞序列進行處理(Zeng et al.， 2014;dos Santos等，2015)
  • 兩個實體提及之間的最短依賴路徑(Yan et al., 2015; Li et al., 2015)
  • the minimal constituency sub-tree spanning two entity mentions(Socher et al.， 2012)，為每對實體提及編碼相關信息

關系提取的另一個挑戰是如何考慮關系之間的相互作用，這對于重疊關系尤其重要，即，關系共享共同實體提及。
例如，(BarackObama, PresidentOf, UnitedStates)可以從(BarackObama, Governance, UnitedStates)中推出;據說這兩個三元組實體對重疊了。
另一種情況是，前三個詞也可以從(巴拉克·奧巴馬，LiveIn，白宮)和(白宮，總統官邸，美國)推斷出來，后兩個詞有單一的重合之處。盡管在知識庫完成中很常見，但是這種交互，無論是通過直接推斷還是間接證據，對于聯合實體識別和關系提取模型來說都是特別困難的，因為實體并不存在于輸入中。事實上，盡管Zheng等人(2017)提出了一種基于LSTM序列標記器的實體與關系的強神經端到端聯合模型，但它們必須完全放棄重疊關系。

• 兩個挑戰
  • 想要自動提取特征的聯合模型
  • 如何考慮關系之間的相互作用
• 重疊關系(常見）
  • 情況
    • 兩個三元組的實體對重合
    • 兩個三元組都有某個實體mention
  • 推斷
    • 困難（對聯合模型尤其困難）
• 自動學習特征的方法
  • Zheng等人(2017)提出了一種基于LSTM序列標記器的實體與關系的強神經端到端聯合模型
    • 放棄了重疊關系

在本文中，我們提出了一種用于實體識別和關系提取的神經端到端聯合模型GraphRel，它是處理關系提取中所有三個關鍵方面的第一個模型。GraphRel通過堆疊Bi-LSTM語句編碼器和GCN (Kipf和Welling, 2017)依賴樹編碼器，學會自動提取每個單詞的隱藏特征。然后GraphRel標記實體提及詞，預測連接提及詞的關系三元組，這是為第一階段預測。
為了優雅地預測三元關系，同時考慮到它們之間的相互作用，我們在GraphRel中添加了一個2nd-phase relation-weighted GCN。在實體損失和關系損失的指導下，第一階段的GraphRel沿著依賴鏈接提取節點隱藏特征，同時建立一個新的具有關系加權邊的全連通圖。然后，通過對中間圖進行操作，第2階段的GCN在對每條邊進行最終分類之前，有效地考慮實體之間的交互作用和(可能重疊的)關系。對于GraphRel，我們的貢獻有三

• work
  • 學習特征
    • 通過堆疊Bi-LSTM語句編碼器和GCN (Kipf和Welling, 2017)依賴樹編碼器來自動學習特征
  • 第一階段的預測：
    • GraphRel標記實體提及詞，預測連接提及詞的關系三元組
    • 同時，用關系權重的邊建立一個新的全連接圖（中間圖）
    • 指導：關系損失和實體損失
  • 第二階段的GCN
    • 通過對這個中間圖的操作
    • 考慮實體之間的交互作用和可能重疊的關系
    • 對每條邊進行最終分類
• 本文貢獻
  • 我們的方法考慮了線性和依賴結構，以及文本中所有詞對之間的隱含特征;
  • 我們對實體和關系進行端到端的聯合建模，同時考慮所有的詞對進行預測;
  • 仔細考慮實體和關系之間的交互。

2.相關工作

• Miwa和Bansal(2016)：
  • 本文模型的BiLSTM-GCN編碼器部分類似于Miwa和Bansal(2016)提出的BiLSTM-TreeLSTM模型，因為它們也是堆疊的序列上的依賴樹，用于聯合建模實體和關系。每個句子使用Bi-LSTM進行自動特征學習，提取的隱藏特征由連續實體標記器和最短依賴路徑關系分類器共享。然而，在為聯合實體識別和關系提取引入共享參數時，它們仍然必須將標記者預測的實體提及通過管道連接起來，形成關系分類器的提及對。
• Zheng,et al(2017)
  • 與在以前的工作中試圖把每一對提到分類的工作不同,Zheng，et al。(2017)將關系提取和實體識別問題一樣作為一個序列標注問題(NovelTagging)。這使他們關系提取的LSTM解碼器的Bi-LSTM編碼器。然而,盡管在《紐約時報》的數據集上顯示出可喜的成果,他們的力量來自于專注于孤立的關系,完全放棄在數據集中出現少的重疊關系。
  • 相比之下,提出所有類型的關系而被GraphRel以端到端的方式聯合建模識別。
• Zeng等(2018)提出了一種端到端序列到序列的關系提取模型。
  • 編碼：它們使用一個Bi-LSTM對每個句子進行編碼，
  • 解碼：并使用最后一個編碼器隱藏狀態初始化一個(一個解碼器)或多個(多解碼器)LSTMs，
    • 以便動態解碼關系三元組。
    • 解碼時，通過選擇一個關系并從句子中復制兩個單詞來生成三元組。
    • eq2seq設置部分處理三元組之間的交互。
    • 然而，關系之間的相互作用只能通過在生成新關系時考慮以前生成的帶有強制線性順序的三元組來單向捕獲。
    • 在Graph-rel中，我們在LSTM-GCN編碼器的基礎上，采用2dn-phase的GCN來實現自動學習鏈接的字圖上的實體和關系信息的傳播。
• 近年來，在自然語言處理(NLP)任務中，GCN考慮依賴結構已經得到了廣泛的應用。
  • Marcheggiani和Titov(2017)將GCN應用于語義角色標記的單詞序列。
  • Liu等(2018)通過GCN對長文檔進行編碼，進行文本匹配。
  • Cetoli等人(2016)將RNN和GCN結合起來識別命名實體。
  • 也有一些作品(Peng et al.， 2017;Zhang等，2018;Qian等。2019; Luan et al., 2019) 考慮詞序列的依存結構進行關系提取。
  • 在GrpahRel中，不僅將Bi-LSTM和GCN堆疊起來考慮線性和依賴結構，還采用了2nd-phase關系加權的GCN來進一步建模實體和關系之間的交互

3.回顧GCN

圖卷積網絡(Graph convolutional neural network, CNN) (Kipf and Welling, 2017)是卷積神經網絡(convolutional neural network, GCN)的一種，它對相鄰節點的特征進行卷積，并將一個節點的信息傳播給最近的鄰居。如圖1所示，通過疊加GCN層，GCN可以提取每個節點的區域特征。
GCN層通過考慮相鄰節點的特征來獲取新的節點特征，其計算公式如下:

• $h_i^{k+1}=f({\Sigma }_{u\in v(i)}(W^k{h}_u^k+b^k))$

4.方法

所提出的包含兩階段預測的GraphRel整體結構如圖2所示。

• 在第一個階段，
  • 我們采用bi-RNN來提取序列，
  • 用Bi-GCN來提取區域依賴詞特征。
  • 依據上述單詞特征，我們預測每個單詞對的關系和所有單詞的實體。
• 在第二階段，
  • 基于預測的第一階段關系，
  • 我們為每個關系構建完整的關系圖，
  • 并在每個圖上應用GCN來整合每個關系的信息，
  • 進一步考慮實體與關系之間的相互作用。

4.1第一階段

第一階段：依據最先進的文本特征提取器(Marcheggiani和Titov, 2017;為了同時考慮序列依賴和區域依賴，我們首先使用雙向RNN提取序列特征，然后使用雙向GCN進一步提取區域依賴特征。然后，根據提取的詞特征，預測每個詞對與詞實體之間的關系。

4.1.1 Bi-LSTM

• 輸入：單詞u的單詞嵌入Word(u)+詞性嵌入POS(u)
  • 嵌入矩陣：
    • 單詞：glove
    • 詞性：隨機初始化，一起訓練
• 公式:$h_u^0=Word(u)\oplus POS(u)$
  • ⊕？？異或？只是個連接符號

4.1.2 Bi_GCN

由于原始輸入句是一個序列，沒有內在的圖結構，就像Cetoli et al.(2016)，我們使用依賴解析器為輸入句創建一個依賴樹。我們使用依賴樹作為輸入句子的鄰接矩陣，使用GCN提取區域依賴特征。
最初的GCN是為無向圖設計的。考慮到傳入和傳出的word特性，我們遵循Marcheggiani和Titov(2017)，實現bi-GCN

• 輸入：句子的依賴樹的鄰接矩陣
• 公式：
  • ${\overrightarrow{h}}_i^{k+1}=ReLU({\Sigma }_{u\in (\overrightarrow{v}(i)}({\overrightarrow{W}}^k{h}_u^k+{\overrightarrow{b}}^k))$
  • ${\overleftarrow{h}}_i^{k+1}=ReLU({\Sigma }_{u\in \overleftarrow{v}(i)}({\overleftarrow{W}}^k{h}_u^k+{\overleftarrow{b}}^k))$
  • $h_i^{k+1}={\overleftarrow{h}}_i^{k+1}\oplus {\overleftarrow{h}}_i^{k+1}$–concatenate

4.1.3 實體關系抽取

利用從bi-RNN和bi-GCN中提取的詞特征，預測詞的實體，并提取每對詞之間的關系。對于單詞實體，我們根據1層LSTM上的單詞特征對所有單詞進行預測，并應用分類損失(categorical loss，記為eloss1p)對它們進行訓練。

• 輸入：上面的特征
• 損失：分類損失函數–記做$elos{s}_{1p}$
• 預測詞的實體
• 提取每一對詞的關系
  • 對于關系提取，我們刪除了依賴邊并對所有的詞對進行預測。對于每個關系r，我們學習了權值矩陣$W_r^1,W_r^2,W_r^3$，并計算了關系傾向score
  • $score(w1,r,w2)=W_r^{3}ReLU(W_r^1{h}_{w1}\oplus W_r^2{h}_{w2})$
  • 正向和反向不同
  • 無關系score(w1,null,w2)
  • 概率$P_r(w1,w2)=softmax(score(w1,r,w2))$
  • 無三元組計數約束
  • 損失函數：利用$P_r(w1,w2),記做rlos{s}_{1p}$

因為我們提取每個詞對之間的關系，所以我們的設計不包含三元組計數限制。通過研究每個詞對之間的關系，GraphRel標識盡可能多的關系。利用Pr(w1, w2)，我們也可以計算出這里的關系范疇損失，記為rloss1p。請注意，雖然eloss1p和rloss1p都不是最終預測，但它們也是訓練第一階段圖形的良好輔助損失。

4.2 第二階段

在第一階段提取的實體和關系不考慮彼此。為了考慮命名實體和關系之間的相互作用，并考慮文本中所有詞對之間的隱含特征，我們提出了一個新穎的2nd-phase關系加權GCN來進一步提取。

• 2nd-phase relation-weighted GCN
  • 希望
    • 考慮實體和關系之間的相互作用(這一部分說的）
    • 考慮關系之間的關系（前面說的）

4.2.1 構建關系權圖

• 對每一個關系
  • 依據$P_r(w1,w2)$(作為邊權）構建圖（一個關系一個圖）
  • 對每一個圖用Bi-GCN
  • $h_u^{k+1}=ReLU({\Sigma }_{v\in V}{\Sigma }_{r\in R}{P}_r(u,v)\times (W_r^k{h}_v^k+b_r^k))+h_u^k$
  • 考慮出度和入度兩個方向
  • 第二階段的Bi-GCN考慮關系權重的傳遞并且從每個詞中提取出更充足的信息
• 再分類
  • 對得到的新的特征，在進行一次命名實體識別和關系分類，可以得到更穩定的庴預測。
  • 損失函數：$elos{s}_{2p},rlos{s}_{2p}$

4.3訓練

在RelGraph中，我們使用了兩種類型的損失:實體損失和關系損失，它們都屬于分類損失（categorical loss）。對于實體損失，我們使用傳統的標記(Begin, Inside, End, Single, Out)。每個單詞都屬于這五個類中的一個。eloss1p和eloss2p的ground-truth實體標簽是相同;在訓練過程中，我們使用交叉熵作為分類損失函數。

• 實體識別：
  • 標簽：(Begin, Inside, End, Single, Out)
  • 損失：交叉熵（分類損失
    • 對eloss1p和eloss2p來說，ground-truth的實體(標準答案）是相同的
• 關系抽取
  • 使用one-hot關系向量對每一個單詞對
  • 既然我們是基于詞組來預測關系，那么ground truth(標準答案）也應該基于詞組。
    • 也就是說，word United與word Barack和word Obama都有“總統”的關系，word States也是如此。
  • 我們認為，這種基于單詞對的關系表示為GraphRel提供了它需要學習提取關系的信息。對rloss1p和rloss2p來說，groundtruth(標準答案）關系向量是相同的。
  • 作為實體損失，我們也使用交叉熵作為訓練中的分類損失函數。
• 對于eloss和rloss，我們為類內的實體或關系項添加了額外的double-weighted。
• 總的損失：$los{s}_{all}=(elos{s}_{1p}+rlos{s}_{1p})+\alpha (elos{s}_{2p}+rlos{s}_{2p})$
• 以end-to-end的方式最小化loss

4.4 inference

在推理過程中，基線預測的方法是頭部預測，一個關系(BarackObama,PresidentOf, UnitedStates)被提取當且僅當BarackObama和UnitedStates都被標識為提及的實體，且總統(PresidentOf)有最大的可能P(Obama,States)

• head prediction:
  • 關系被提取的前提：
    • 兩個實體均被識別
    • 且Pr(e1,e2)最大

另一種可能更穩定的基線提取方法是平均預測，即考慮實體提及對之間的所有詞對，并確定具有最大平均概率的關系。

• 平均預測
  • 一對實體提及對的所有詞對的概率平均最大的關系

最后，我們提出一種閾值預測方法，該方法仍然以獨立的方式考慮實體提及對的所有詞對。例如,如果2/4分布都認為最可能的類是PresidentOf,然后三元組(BarackObama,PresidentOf, UnitedStates)被提取當且僅當2/4 = 50% >θ,θ是一個自由的閾值參數。這種方式,用戶可以選擇他們喜歡的精度和召回權衡通過調整θ。在實驗中,如果未指定,閾值推理與θ= 0。

• threshold閾值預測
  • 獨立地思考實體提及對的所有詞對
  • 實體提及對中的所有詞對中有θ以上占比認為此關系最有可能，則提取此關系

5.實驗

5.1 settings

• 輸入embedding:
  • word embedding:glove-300d
  • pos embedding:15d,隨機初始化
  • concate作為輸入
• 詞性標注和依賴樹：spaCy(Honnibal and Johnson, 2015)
• 1st-phase
  • bi-LSTM：256 units
  • bi-GCN:256 feature size,2 layer
• 2nd-phase
  • 關系權重的bi-GCN:1-layer,256 feature size
• 訓練
  • LSTM:dropout=0.5
  • lr=0.0008
  • 損失函數中的$\alpha$=3
  • 優化器：adam optimizer
• pytorch

5.1.1數據集

• NYT
  • 用于
    • 傳統信息抽取
    • 開放信息抽取
    • 遠程監督
  • 介紹
    • NYT數據集是關于遠程監督關系抽取任務的廣泛使用的數據集。該數據集是通過將freebase中的關系與紐約時報（NYT）語料庫對齊而生成的。紐約時報New York Times數據集包含150篇來自紐約時報的商業文章。抓取了從2009年11月到2010年1月紐約時報網站上的所有文章。在句子拆分和標記化之后，使用斯坦福NER標記器（URL：http://nlp.stanford.edu/ner/index.shtml）來標識PER和ORG從每個句子中的命名實體。對于包含多個標記的命名實體，我們將它們連接成單個標記。然后，我們將同一句子中出現的每一對（PER，ORG）實體作為單個候選關系實例，PER實體被視為ARG-1，ORG實體被視為ARG-2。
  • GraphRel用
• WebNLG
  • python
  • • GraphRel用
      

們使用NYT (Riedel et al.， 2010)和WebNLG (Gardent et al.， 2017)的數據集來評估所提出的方法。作為NovelTagging和多譯碼器，對于《紐約時報》，我們過濾超過100個單詞的句子;對于WebNLG，我們在實驗中每次只使用第一個句子。NYT和WebNLG的統計數據如表2所示。
我們將關系三元組分為三類:正常關系、實體對重復的關系（EPO)和單個實體重復(SPO)的關系。每個類別的計數也顯示在表2中。由于一個實體屬于幾個不同的關系，因此，整型和單型重疊是比較困難的任務。我們在詳細分析中討論了不同類別的結果。

5.2 baseline and evaluation metrics

• baseline
  • NovelTagging (Zheng et al., 2017)
    • 一個序列標記器，它預測每個句子詞的實體和關系類
  • MultiDecoder (Zeng et al., 2018). (最先進的方法）
    • 將關系提取看作一個seq-seq問題，使用動態解碼器提取關系三元組
    • oneDecoder(出自同一篇）
• evaluation metrics
  • 作為兩個基線，我們采用標準F1評分來評價結果。
  • 當且僅當兩個對應實體的關系和頭部均與標準答案相同時，預測的三元組才被認為是正確的。

5.3 Quantitative Results

• GraphRel1p比baseline好：因為同時獲得了順序和區域依賴詞的特征，因此它在精度和召回率方面都有更好的表現，從而獲得更高的F1分數。
• GraphRel2p更好的原因：考慮名稱實體和關系之間的交互
• 從NYT和WebNLG的結果中，我們發現GCN的區域依賴特征和2期預測在精度、召回率和F1分數方面都有助于關系預測。
• NovelTagging和MultiDecoder都使用sequence結構。
• 因為NovelTagging假設一個實體屬于單一關系，所以精確度高，但回憶率低。
• MultiDecoder使用動態的解碼器生成關系三元組。由于對RNNrolling的固有限制，它能生成的三元組數目有限。
• 但是，對于GraphRel，因為我們預測每個詞對之間的關系，所以我們不受這個限制。我們認為GraphRel是最平衡的方法，因為它保持了較高的精確度和較高的召回率，可以產生較高的F1分數。

5.4 細節分析

• 對于GraphRel，正如我們預測所有單詞對的關系一樣，所有單詞都可以與其他單詞有關系:因此實體重疊不是問題。
  
• 用閾值好

可以看出閾值推理方法有效地調整之間的權衡精度和召回θ的不同的選擇。通過減少閾值從0.8->θ= 0,召回明顯分別增加了1.8%和1.4%在紐約時報和WebNLG,只有邊際損失0.6%的精度。該閾值方法的有效性使其在兩個數據集上都達到了最佳性能，超過了頭和平均水平。

總結

以上是生活随笔為你收集整理的论文阅读课3-GraphRel: Modeling Text as Relational Graphs for(实体关系联合抽取，重叠关系，关系之间的关系，自动提取特征）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。