1. 問題

• 句間關系
  • 很多
  • 約等于文檔級關系抽取
• 文檔級關系抽取
  • 句子間關系多
    • 生物醫藥領域尤其多
  • 需求/困難
    • 整合同一文檔不同句子間的信息
    • 處理句間實體復雜的交互

2.相關工作

• 文檔級別關系抽取

  • 結論：
    • 實體mention之間的交互促進推理過程（文檔級關系抽取中）
      • 因而使用MIL
  • MIL
    • Verge2018,Jia2019
    • 缺點：
      * 無法捕捉豐富的非局部交互
  • 使用結構信息獲取更好的推理
    • 優點：可以捕捉到非局部依賴
    • 整合不同句子的信息
    • 構建靜態的文檔級別圖
      • 來源：非結構化文本
      • 依賴：規則和共指消解
        • 語義信息
        • co-references
        • heuristics:啟發式
      • eg
        • Peng2017:構建依賴圖：句間，多元實體
        • Sahu,2019:用共指消解擴展了Peng的圖，構建了文檔級別的圖
        • Christopoulou，2019利用結構信息基于一組啟發式構建一個異構圖，并使用一個特定于邊的模型

• 句子內關系抽取

• 句子間關系抽取

  • Peng:句間關系多，尤其是生物醫藥領域
  • 生物醫藥領域
    • l (Quirk and Poon, 2017;
    • Gupta et al., 2018;
    • Song et al., 2019)

3.本文方法

• 本文模型：LSR
  • 構建隱式文檔級別圖
    • 自動的
    • 目的：加強句子間的關系推理
      • 捕捉實體間的非局部交互
    • 構建：
      • 不依賴于規則和共指消解
      • 將圖結構視作隱式的變量，并以端到端的形式引入它
      • 基于：結構化的attention
      • 使用：矩陣樹理論
      • 可以：生成一個任務特定的依賴結構
    • 進一步：迭代的細化策略：
      • 目的：使得模型能夠增量地聚合多條推理的相關信息
      • 做到:基于上一次迭代，動態第構建隱式結構
  • 組件
    • node constructor
      • encoder：文檔中的每個句子編碼表示-上下文的表示
      • node:最短依賴路徑的mention和tokens的向量表示作為node
    • dynamic reasoner
      • 生成結構：基于被提取的節點生成文檔級結構
      • 更新node表示：
        • 基于隱式結構上的信息傳遞
        • 迭代細化
    • classifier
      • 分類：節點最后的表達被用于計算分類的分數

3.1 Node constructor

• encoder：文檔中的每個句子編碼表示
• node:最短依賴路徑的mention和tokens的向量表示作為node
  • mention node
  • entity node
  • meta dependency paths node（MDP）
    • 所有mentions最短依賴路徑的集合
    • token–>node

3.1.1 context encoding

• 文檔d，文檔內句子$d_i$
• 編碼器：LSTM(BiLSTM)/Bert
  • BiLSTM
    • $h_j^i=LST{M}_l(h_{j+1}^i,{\gamma }_j^i)$
    • $h_j^i=LST{M}_l(h_{j?1}^i,{\gamma }_j^i)$
    • j-di中的第j個token
    • $\gamma :wordembedding$
    • $h_j^i=[h_j^i;h_j^i]$

3.1.2 Node Extraction

• node:最短依賴路徑的mention和tokens的向量表示作為node
  • mention node
  • entity node
    • mentions的平均
  • meta dependency paths node（MDP）
    • 所有mentions最短依賴路徑的集合
    • token–>node
• 構建圖
  • Sahu:使用一個句子的依賴樹中的所有節點
  • Christopoulou:通過對句子的所有標記求平均來構建一個句子級別的節點
  • 或者:使用mention之間的最短依賴路徑上的tokens
    • 這個廣泛用于句子級關系抽取，因為他可以有效使用相關信息，忽視無關信息

3.2 Dynamic Reasoner

• structure induction
  • 學習隱式的文檔級圖結構
• multi-hop reasoning
  • 在圖上推理
  • 更新節點表示（基于信息傳遞）
• 迭代
  • N blocks
  • 為了迭代細化隱式的文檔級圖，為了更好的推理

3.2.1 Structure Induction

• 不依賴于規則和共指消解
• 將圖結構視作隱式的變量，并以端到端的形式引入它
• 基于：結構化的attention
• 公式
  • node:$u_i,u_j$上下文表示
  • pair-wise unnormalized attention score
    • $s_{ij}=(tanh(W_p{u}_i){)}^T{W}_b(tanh(W_c{u}_j))$
      • 2個ff
      • 1個bilinear transformation
    • root score$s_i^r=W_r{u}_i$–第i個節點被選作root的概率
    • 邊的權重$P_{ij}=\{\begin{array}{ll}0& \text{if?i=j}\\ exp(s_{ij})& \text{otherwise}\end{array}$
    • 拉普拉斯矩陣
      • $L_{ij}=\{\begin{array}{ll}{\Sigma }_{i^{\prime }=1}^n{P}_{i^{\prime }j}& \text{if?i=j}\\ ?P_{ij}& otherwise\end{array}$
      • variant: $\widehat{L_{ij}}=\{\begin{array}{ll}exp(s_i^r)& \text{if?i=1}\\ L_{ij}& \text{if?i>1}\end{array}$
  • marinal probability of the dependency edge:
    • $A_{ij}=(1?{\delta }_{1,j})P_{ij}[\widehat{L^{?1}}{]}_{ij}?(1?{\delta }_{i,1})P_{ij}[\widehat{L^{?1}}{]}_{ji}$
    • 輸出給下一組件

3.2.2 Multi-hop Reasoning

• GCN
  • dense connection
    • 捕捉到更多結構信息
    • 幫助訓練更深的網絡
      • –獲取更豐富的局部和非局部的信息
  • $u_i^l=Relu({\Sigma }_{j=1}^n{A}_{ij}{W}^l{u}_i^{l?1}+b^l)$

3.2.3 Iterative Refinement

• structured attention誘導的圖結構不足
  • 相對較淺
  • 無法建模復雜的依賴
• 解決：在更新后的表示上細化圖
  • 堆疊N個動態reasoner
    • 誘導N次圖
    • 早期：更多的是相鄰的信息
    • 迭代多了之后，結構獲得了更豐富的非局部信息的交互，因而誘導模塊能夠生成包含更多信息的結構

3.3 分類器

$$P(r|e_i,e_j)=\sigma (e_i^T{W}_e{e}_j+b_e{)}_r$$

4.結果

• 數據集：
  • DocRED
    • F1:59.05\
  • CDR
  • GDA
• DocRED結論
  • 該模型可以更準確地發現句間關系
    • 靜態的基于文檔圖的模型不能夠捕捉到復雜的交互
    • LSR比動態的基于局部attention的模型能夠得到更多信息的文檔級結構，獲得更好的推理
  • 直接編碼整個文檔的模型不能夠捕捉到句間關系
  • 好于Bert：捕捉到了長期依賴，而沒有使用上下文的模型
• CDR
  • LSR 打不過：
    • Spacy在生物領域很弱，所以不行
  • 簡化的LSR:去除MDP,使用全連接圖
    • 打不過Li2016b:因為他用了額外的無標簽訓練數據進行co-training
      • 本文要是用了的話他也行（他自己說的）
• GDA:
  • Christopoulou2019全連接圖的變體：他的句間關系好于句內關系，因為他忽略了不同句子間的差異（當一個句子處理了）

4.6.1 Latent Structure Matter的有效性

• 相同block num下，效果最好，證明了有效

4.6.2 細化

• 第二次迭代時（2個block)最好，所以細化有效，但是太多次就會過擬合。

4.7 Ablation Study

• Structure Induction
  • 去掉這個性能下降最多，且都是句間關系抽取性能下降的結果
  • 隱式結構有用

4.8 Case Study

總結

以上是生活随笔為你收集整理的【ACL2020】Reasoning with Latent Structure Refinement for Document-Level Relation Extraction的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。