文章目錄

• abstract
• 1.Introduction
• 2.相關工作
• 3 TEMPROB: A Probabilistic Resource for TempRels
• • 3.1 事件抽取
  • 3.2TempRel提取
  • • 3.2.1 features
    • 3.2.2 learning
  • 3.3 Interence
  • 3.4 corpus
  • 3.5有趣的統計
  • 3.6 極端情況
  • 3.7 下列事件的分布
• 4.實驗
• • 4.1 Quality Analysis of TEMPROB
  • 4.2 Improving TempRel Extraction
  • • 4.2.1 Improving Local Methods
    • 4.2.2 Improving Global Methods
• 5 結論

Improving Temporal Relation Extraction with a Globally Acquired Statistical Resource
系統和數據集
EventCausality

abstract

時間關系抽取（之前，之后，重疊等）是理解以自然語言描述的事件的關鍵方面。我們認為，這項任務將得益于資源的可用性，該資源以事件通常遵循的時間順序的形式提供先驗知識。本文通過從20年來（1987年至2007年）的《紐約時報》（NYT）文章中提取事件之間的時間關系，來開發這種資源（在新聞領域中獲得的概率知識庫）。我們表明可以通過此資源改進現有的時間提取系統。作為副產品，我們還顯示可以從該資源中檢索有趣的統計信息，這可能會有益于其他時間感知任務。擬議的系統和資源均可公開獲得1

• Temporal Relation Extraction
  • 過去，重疊，未來
  • 先驗知識：事件遵循時間順序
  • 數據集：NYT（跨度20年）
    • 以此改進現有的時間抽取系統
  • 副產品：可從NYT中得到有趣的統計信息—可能有益于其他時間感知任務

1.Introduction

時間是知識表示的重要方面。用自然語言，時間信息通常表示為事件之間的關系。對這些關系進行推理可以幫助弄清事情發生的時間，估計事情需要多長時間以及總結一系列事件的時間表。最近舉行的幾次SemEval研討會很好地展示了該主題的重要性(Verhagen et al., 2007, 2010; UzZaman et al., 2013; Llorens et al., 2015; Minard et al., 2015; Bethard et al., 2015, 2016, 2017).

• 時間關系抽取的挑戰之一：
  • 需要的通常遵循時間順序的先驗知識更高級
    • 也就是常識
    • 沒有常識，人也很難知曉時間關系
      • 在例1中不知道，因為沒有先驗知識（事件內容）
      • 而例2中有，人類就可以知道時間關系，任務變容易了
      • 得證，先驗的重要性
  • 以前：
    • 只用局部特征，不包含人類的先驗知識–解決：TEMPROB

時間關系提取中的挑戰之一是，它需要事件通常遵循的時間順序的高級先驗知識。在示例1中，我們從CNN的幾個摘要中刪除了事件，因此我們無法使用對這些事件的先驗知識。我們還被告知e1和e2具有相同的時態，而e3和e4具有相同的時態，因此我們無法求助于它們的時態來判斷哪個發生較早。結果，即使是人類，也很難弄清這些事件之間的時間關系（以下稱為“ TempRels”）。這是因為豐富的時間信息被編碼在事件的名稱中，并且在做出決策時通常起著不可或缺的作用。在示例1的第一段中，很難理解沒有實際事件動詞時實際發生的情況。更不用說它們之間的TempRel了。在第二段中，事情變得更加有趣：如果我們有e3：dislike和e4：stop，那么我們很容易知道“我不喜歡”發生在“他們停止專欄”之后。但是，如果我們有e3：ask和e4：help，則e3和e4之間的關系現在相反，而e3在e4之前。我們需要事件名稱來確定TempRel。但是，示例1中沒有它們。在示例2中，我們顯示了完整的句子，由于我們的先驗知識，該任務對人類而言變得容易得多，即爆炸通常會導致人員傷亡，并且人們通常會在獲得幫助之前詢問。受這些示例（實際上很常見）的激勵，我們相信在確定事件之間的TempRel時，此類先驗知識的重要性。
但是，大多數現有系統僅利用這些事件的相當局部的特征，不能代表人類對這些事件及其“典型”順序的先驗知識。結果，現有系統幾乎總是嘗試解決示例1中所示的情況，即使實際上像示例2中那樣用輸入呈現它們。因此，這項工作的第一個貢獻就是以概率知識庫的形式構建這種資源，該知識庫是由大型《紐約時報》（NYT）語料庫構建的。我們在下文中將資源命名為TEMporal關系概率知識庫（TEMPROB），該知識庫可能會益于許多時間感知任務。表1顯示了TEMPROB的一些示例條目。其次，我們表明，可以使用TEMPROB改進現有的TempRel提取系統，無論是局部方法還是全局方法（稍后說明），都可以在基準TimeBank-Dense數據集上顯著提高性能（Cassidy等，2014） ）。

• 本文貢獻
  • TEMPROB（時間關系概率知識庫）
    • 來自NYT
    • 用于
      • 有益于時間感知任務
      • 可以用TEMPROB改進現有的時間關系抽取系統(TempRel)
        • 局部方法或全局方法均可
        • 向時間關系抽取系統中注入先驗知識

2.相關工作

• 事件之間的TempRel可以用邊緣標記的圖表示，
  • 其中節點是事件，
  • 邊緣用TempRels標記
  • （Chambers和Jurafsky，2008； Do等，2012； Ning等，2017）。
  • 給定所有節點，我們將進行TempRel提取任務，該任務是將標簽分配給時間圖中的邊緣（通常包括 “vague” or “none” 標簽以說明不存在邊緣）。
• 分類模型：早期工作包括
  • Mani等。 （2006）；錢伯斯等。 （2007）； Bethard等。 （2007）； Verhagen和Pustejovsky（2008），
  • 將問題表述為學習用于在不參考其他邊的情況下確定局部每個邊的標簽的分類模型（即局部方法）。
  • 缺點：通過這些方法預測的時間圖可能會違反時間圖應具有的傳遞特性。
    • 例如，給定三個節點e1，e2和e3，本地方法可以將（e1，e2）= before，（e2，e3）= before和（e1，e3）= after分類，這顯然是錯誤的，因為before是傳遞關系，并且（e1，e2）= before和（e2，e3）= before指示（e1，e3）= before。
• 貪婪方法：
  • 最近的最新方法（Chambers等人，2014； Mirza和Tonelli，2016）通過
  • 方法：以多步方式增長預測的時間圖來規避此問題，
    • 其中每次標記新邊時，都會對圖執行傳遞圖閉合
  • 從概念上講，這是在貪婪地解決結構化預測問題。
• 整數線性規劃：
  • 另一類使用**整數線性規劃（ILP）**的方法
  • 全局方法：（Roth和Yih，2004）來獲得對該問題的精確推斷（即全局方法），
    • 其中整個圖被同時求解，
    • 并且傳遞特性通過ILP約束自然地得到了強制執行
    • （Bramsen等人，2006； Chambers and Jurafsky，2008； Denis and Muller，2011； Do等人，2012）。
• 通過將結構性約束也納入學習階段，最新的工作將這一想法進一步推向了新的境界（Ning等人，2017）。
• 如我們前面的示例所示，TempRel提取任務強烈依賴于先驗知識。但是，對于產生和利用這種資源的關注非常有限。據我們所知，這項工作中提出的TEMPROB是全新的。
  • Jiang et al. (2016) 提出的時間敏感關系（文學領域）是接近的（盡管還是很不一樣）。
    • Jiang et al. (2016) 從事知識圖完成任務。
  • 基于YAGO2（Hoffart等，2013）和Freebase（Bollacker等，2008），它手動選擇了少數對時間敏感的關系（分別來自YAGO2的10個關系和Freebase的87個關系）。
    • wasBornIn→diedIn
    • graduateFrom→workAt
  • 本文與Jiang的差別
    • 一，規模差異：
      • 蔣等。 （2016年）只能提取少量關系（<100），但我們研究的是通用語義框架（數以萬計）以及其中任何兩個之間的關系，我們認為它們具有更廣泛的應用。
    • 第二，粒度差異：
      • Jiang等人中最小的粒度。 （2016）是一年，即只有當兩個事件在不同年份發生時，他們才能知道它們的時間順序，但是我們可以處理隱式時間順序，而不必參考事件的物理時間點（即粒度可以任意小）。
    • 第三，領域的差異：
      • 江等。 （2016年）從結構化知識庫（事件明確地錨定到某個時間點）中提取時間敏感關系，
      • 我們從非結構化自然語言文本（其中物理時間點甚至不存在于文本中）中提取關系。
      • 我們的任務更加籠統，它使我們能夠提取出更多的關系，正如上面的第一個差異所反映的那樣。
  • VerbOcean（Chklovski和Pantel，2004），
    • 它使用人工設計的詞匯-句法模式（總共有12種這樣的模式）來提取動詞對之間的時間關系，這與本文提出的自動提取方法相反。
    • 在VerbOceans中考慮的唯一詞間關系是之前的，
      • 而我們還考慮了諸如之后，包含，包含，相等和模糊的關系。
    • 數量少：正如預期的那樣，VerbOcean中的動詞總數和之前的關系分別約為3K和4K，兩者都比TEMPROB小得多，TEMPROB包含51K個動詞框架（即，已消除歧義的動詞），920萬個條目以及最多總共80M個時間關系。

3 TEMPROB: A Probabilistic Resource for TempRels

3.1 事件抽取

提取事件及其之間的關系（例如，共指，因果關系，蘊含性和時間性）一直是NLP社區中的一個活躍領域。一般而言，事件被認為是與參與該動作的相應參與者相關聯的動作。在這項工作中（Peng and Roth，2016; Peng et al。，2016; Spiliopoulou et al。，2017），我們考慮基于語義框架的事件，可以通過現成的語義角色標記（SRL）直接檢測）工具。這與以前的事件檢測工作非常吻合（Hovy等，2013； Peng等，2016）。
取決于感興趣的事件，SRL結果通常是事件的超集，需要隨后進行過濾（Spiliopoulou等，2017）。例如，在ERE（Song等人，2015）和事件塊檢測（Mitamura等人，2015）中，事件僅限于一組預定類型（例如“業務”，“沖突”和“司法”）。 ）;在TempRels的背景下，現有的數據集更多地側重于謂語動詞而不是名詞4（Pustejovsky等，2003； Graff，2002； UzZaman等，2013）。因此，由于很難獲得名詞性事件的TempRel注釋，因此本文僅著眼于動詞語義框架，而在下文中，我們將“動詞（語義框架）”與“事件”互換使用。

• 事件抽取：使用現有工具（SRL)
  • 結果通常是事件的超集
  • 需要過濾
  • 在TEmpRels背景下：
    • 將動詞（語義框架）與事件互相使用

3.2TempRel提取

3.2.1 features

• 我們采用TempRel提取中常用的特征集（Do等，2012; Ning等，2017），
  • （i）每個單獨動詞及其相鄰三個詞的詞性（POS）標簽。
  • （ii）兩者之間的距離，以tokens數量表示。
  • （iii）事件提及之間的情態動詞（即，意愿，意愿，可以，可能，可能和可能）。
  • （iv）事件提及之間的時間聯系詞（例如，之前，之后和之后）。
  • （v）這兩個動詞是否在WordNet的同義詞集中具有共同的同義詞（Fellbaum，1998）。
  • （vi）輸入事件提及是否具有從WordNet派生的通用派生形式。
  • （vii）介詞短語的主詞分別覆蓋每個動詞。

3.2.2 learning

• 目標：需要訓練一個可以在每個文檔中注釋TempRel的系統
• 數據集：，TimeBank-Dense數據集（TBDense）（Cassidy等人，2014）
  • 質量最好
  • 標簽集R:before, after, includes, included, equal, vague
  • 訓練集：
    • 抽取所有動詞語義框架
    • 僅保留與事件匹配的那些語義框架
• 算法
  • the averaged perceptron algorithm (Freund and Schapire, 1998) implemented in the Illinois LBJava package (Rizzolo and Roth, 2010)
    • 兩個分類器
      • 一個用于相同的句子關系
      • 一個用于相鄰的 句子關系

利用上面定義的特征，我們需要訓練一個可以在每個文檔中注釋TempRel的系統。就其高密度TempRel而言，TimeBank-Dense數據集（TBDense）（Cassidy等人，2014）是已知質量最高的，并且是TempRel提取任務的基準數據集。它包含36個來自TimeBank的文檔（Pustejovsky等，2003），這些文檔使用（Cassidy等，2014）中提出的密集事件排序框架進行了重新注釋。在本研究中，我們遵循其之前，之后，包含，包含，相等和模糊的標簽集（用R表示）。

• 訓練集

由于TBDense中事件注釋的細微差異，我們按以下方式收集訓練數據。我們首先從TBDense的原始文本中提取所有動詞語義框架。然后，我們僅在TBDense中保留與事件匹配的那些語義框架（此階段中保留了約85％的語義框架）。這樣，我們可以簡單地使用TBDense中提供的TempRel注釋。此后，除非另有說明，否則本文中使用的TBDense數據集均指該版本。
我們將TempRel按每個關系的兩個事件的句子距離進行分組5。然后，我們使用在伊利諾伊州LBJava軟件包（Rizzolo和Roth，2010）中實現的平均感知器算法（Freund和Schapire，1998）從上述訓練數據中學習。由于在TBDense中僅注釋了句子距離為0或1的關系，因此我們將有兩個分類器，一個分類器用于相同的句子關系，一個分類器用于相鄰的句子關系。

• 三重交叉驗證
  • 請注意，TBDense最初分為Train（22個文檔），Dev（5個文檔）和Test（9個文檔）。在隨后的所有分析中，我們將Train和Dev結合在一起，并對27個文檔（總共約10K關系）進行了3倍交叉驗證，以調整任何分類器中的參數。

3.3 Interence

生成TEMPROB時，我們需要處理大量文章，因此由于其計算效率高，我們采用了前面所述的貪婪推斷策略（Chambers等人，2014； Mirza和Tonelli，2016）。具體來說，我們在鄰近句子關系分類器之前應用相同句子關系分類器。每當在本文中添加新關系時，將立即執行可傳遞圖閉包。這樣，如果在閉合階段已經對邊緣進行了標記，則不會再次對其進行標記，因此可以避免沖突。

• 策略:貪婪推斷策略（Chambers等人，2014； Mirza和Tonelli，2016）
  • 效率高
  • 先用相同句子關系分類器
  • 再用相鄰句子關系分類器
  • 添加新關系：執行傳遞圖閉包
  • 可避免沖突： 如果在閉合階段已經對邊緣進行了標記，則不會再次對其進行標記

3.4 corpus

如前所述，我們將用來構建TEMPROB的源語料庫由20年（1987-2007）的NYT文章組成。它包含超過一百萬個文檔，我們使用Amazon Web Services（AWS）云上的Illinois Curator軟件包（Clarke等人，2012）從每個文檔中提取事件和相應的功能。總共，我們在NYT語料庫中發現了51K個獨特的動詞語義框架和80M個關系（其中15K個動詞框架提取了20多個關系，而9K個動詞框架則提取了100多個關系）。

3.5有趣的統計

• 符號
  
• 容易混淆
  • 時間上的先后T-Before
  • 文本上（物理上）的先后P-Before

3.6 極端情況

• 極端情況
  • 某些事件在語料庫中幾乎總是被標記為T-Before或T-After(如table 2)
  • $$\begin{gathered} {\eta }_b=\frac{C(v_i,v_j,before)}{C(v_i,v_j,before)+C(v_i,v_j,after)},{\eta }_a=1?{\eta }_b \\ C??統計計數，r\in R \\ C(v_i,v_j,r)={\Sigma }_{i=1}^N{\Sigma }_{(v_m,v_n,r_{mn})\in E_i}{L}_{\{v_m=v_i\&v_n=v_j\&r_{mn}=r\}} \end{gathered}$$
  • 重要的是，如果想了解動詞的時間含義，能夠捕捉其時間順序，而不是簡單地獲取其物理順序。
    

我們認為表2中的示例具有直覺上的appeal：chop發生在味道之前，清潔發生在污染之后，等等。更有趣的是，在表格的下部，我們顯示了物理順序不同于時間順序的對：例如，當實現是P-Before欲望時，在大多數情況下它仍被標記為T-After（104） （111次）中，這在直覺上是正確的。實際上，例如在TBDense數據集中（Cassidy等人，2014），大約30％-40％的P-Before對是T-After。因此，

3.7 下列事件的分布

• 對每一個動詞v，$$\begin{gathered} C(v,r)={\Sigma }_{v_i\in V}C(v,v_i,r) \\ P(v，T?Before，v^{\prime }|v，T?Before）=\frac{C(v,v^{\prime },before)}{C(v,before)} \\ P(v，T?After，v^{\prime }|v，T?After）=\frac{C(v,v^{\prime },after)}{C(v,after)} \end{gathered}$$

對于特定動詞，例如v = investigate，每個動詞均按上述兩個條件概率排序。然后，在時間上位于v之前或之后的最可能動詞如圖1所示，其中y軸是相應的條件概率。我們可以看到合理的事件序列，例如{參與，殺死，懷疑，竊取調查報告，起訴，支付，懲罰}，這表明可以將TEMPROB用于事件序列預測或故事完結任務。在T-Before調查清單（圖1a），炸彈的T-Before清單（圖1b）和在T-After哀悼清單（圖1c）中也有可疑的配對。 ）。由于此處未考慮這些動詞框架的論點，因此這幾對看似反直覺的對是來自系統錯誤還是來自特殊上下文，需要進一步研究。

4.實驗

在上面，我們已經解釋了TEMPROB的構造，并從中展示了一些有趣的示例，這些示例旨在可視化其正確性。在本節中，我們首先對TEMPROB中獲得的先驗數據的正確性進行量化，然后說明TEMPROB可用于改進現有的TempRel提取系統。

4.1 Quality Analysis of TEMPROB

• ${\eta }_b和{\eta }_a$的值確實表示置信度級別

在表2中，我們顯示了使用${\eta }_b或{\eta }_a>0.9$的示例。我們認為它們似乎是正確的。在這里，我們基于TBDense量化${\eta }_b和{\eta }_a$的“正確性”。具體來說，我們收集了所有的T-Before和T-After金對。令為常數閾值。想象一個naive的預測器，對于每對事件vi和vj，如果為${\eta }_b>\tau$，它將預測為T-Before；如果為${\eta }_a>\tau$，則預測為T-After ；否則，它預測是的T-Vague。我們期望較高的${\eta }_b(或{\eta }_a)$表示對標記為T-Before（或T-After）的實例的較高置信度。
表3顯示了該預測器的性能，該性能符合我們的預期，因此證明了TEMPROB的有效性。隨著我們逐漸增加表3中τ的值，精度以與τ大致相同的速度增加，這表明TEMPROB的${\eta }_b和{\eta }_a$的值確實表示置信度級別。由于τ較大時，更多示例被標記為T-Vague，因此召回率也有望降低。

• 另一個數據集上EventCausality
  • 不在TempRel域中的另一個數據集。相反，我們下載了EventCausality數據集8（Do等，2011）。
  • 改為TempRel的數據集
    • 對于每個因果相關的對e1和e2，如果EventCausality注釋e1導致e2，我們將其更改為T-Before；
    • 如果EventCausality注釋e1是由e2引起的，我們將其更改為T-after。
    • 假設：基于原因事件為結果事件發生之前發生
    • 因此它也可以用于評估TEMPROB的質量。
  • 我們采用了與和表4相同的表3中的預測變量，將其與兩個基線進行了比較：
    • i）始終預測T-Before和（ii）始終預測T-After。
    • 首先，表4中的準確性（66.2％）與表3中的準確性相當，從而確認了TEMPROB統計數據的穩定性。
    • 其次，通過直接使用TEMPROB的在先統計信息和，我們可以提高兩個標簽的精度，相對于兩個基線（“ T-Before”為17.0％，“ T-After”為15.9％）具有顯著的裕度。 總體而言，準確性提高了11.5％。

4.2 Improving TempRel Extraction

• TEMPROB的最初目的：是改善TempRel提取。
• 我們從兩個角度進行說明：從TEMPROB獲得的先驗分布如何有效
• （i）作為局部方法的特征和
• （ii）作為全局方法的正則化項。
• 以下結果是根據TB-Dense的測試樣本評估的（Cassidy等，2014）。

4.2.1 Improving Local Methods

• baseline:3.2.1提到的基本特征
• 對比：3.2.1+TEMPROB得到的先驗分布
  • 先驗分布$f_r(v_i,v_j)=\frac{C(v_i,v_j,r)}{{\sigma }_{r^{\prime }\in R}C(v_i,v_j,r^{\prime })},r\in R$
• 分類器：the averaged perceptron algorithm (Freund and Schapire, 1998)
• 3-fold cross validation.
  

4.2.2 Improving Global Methods

如前所述。如圖2所示，許多系統通過整數線性規劃（ILP）采用全局推斷方法（Roth和Yih，2004），以在整個時間圖上施加傳遞約束（Bramsen等，2006； Chambers和Jurafsky，2008； Denis和Muller， 2011; Do等，2012; Ning等，2017）。除了第二節中所示的用法。 4.2.1中，TEMPROB的先前分布也可以用于規范化常規ILP公式。具體來說，在每個文檔中，讓為事件i和事件j的關系r的指示符函數；令為從本地分類器獲得的相應softmax分數（取決于i和j之間的句子距離）。那么，全局推理的ILP目標是

• 全局方法：ILP(整數線性規劃采用全局推斷–>時間圖+傳遞約束
• +TEMPROB：先驗分布用于ILP公式
  • 在每個文檔中，事件i和事件j的關系r的指示符函數$L_r(ij)\in (0,1)$
  • $x_r(ij)\in [0,1]$:從本地分類器獲得的相應softmax分數
  • 目標函數：$$\begin{gathered} \hat{L}=argma{x}_L{\Sigma }_{ij\in ?}{\Sigma }_{r\in R}(x_r(ij)+\lambda f_r(ij))L_r(ij) \\ s.t.(uniqueness):{\Sigma }_r{L}_r(ij)=1 \\ (symmetry):L_r(ij)=L_{\bar{r}}(ji) \\ (transitivity）傳遞性：L_{r_1}(ij)+L_{r_2}(jk)?{\Sigma }_{m=1}^M{L}_{r_3^m}(ik)\le 1 \end{gathered}$$
    
• 無gold properties ,也比最新的model（ CAEVO）好

對于對完整的TBDense數據集感興趣的讀者，我們還進行了如下幼naive的擴充。回想一下，系統3僅對完整的TBDense數據集的子集進行預測。我們保留了這一預測子集，并填補了Ning等人遺漏的預測。 （2017）。將該天真增強的提議系統的性能與CAEVO和Ning等進行了比較。 （2017）在完整的TBDense數據集上。我們可以看到，用我們提出的系統Ning等人的預測代替。 （2017）獲得了更好的精度，召回率，F1和認知度F1，這是該數據集上所有已報告績效的最新技術水平。請注意，第4-5行的意識F1得分與Ning等人報道的值一致。 （2017）。據我們所知，表8中的結果是文獻中第一個報告這兩個指標的性能的結果，并且有希望看到所提出的方法在兩個指標上均優于最新方法。

5 結論

時間關系（TempRel）提取在NLP中是一項重要且具有挑戰性的任務，部分原因是它對先驗知識的強烈依賴。受實際示例的啟發，本文認為事件通常遵循的時間順序資源很有幫助。為了構建這樣的資源，我們使用現有的TempRel提取系統自動處理了來自NYT的大型語料庫，其中包含超過100萬個文檔，并獲得了TEMporal關系概率知識庫（TEMPROB）。TEMPROB很好地展示了這些先驗知識的能力，并且它已經展示了其在基準數據集TBDense上改進現有TempRel提取系統的能力。本文報告的資源和系統都可以公開獲得12，我們希望它可以促進對與時間有關的任務的更多調查。

總結

以上是生活随笔為你收集整理的论文阅读课11-TEMPROB：Improving Temporal Relation Extraction with a Globally Acquired Statistical Resource的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。