文章目錄

• abstract
• 1.introduction
• 2.相關(guān)工作
• 3.model
• • 3.1嵌入層
  • 3.2 序列層
  • 3.3實體檢測
  • 3.4 依賴層
  • 3.5 Stacking Sequence and Dependency Layers
  • 3.6關(guān)系分類
  • 3.7 訓(xùn)練
• 4 實驗
• 總結(jié)

本文：Miwa, M. and M. Bansal “End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures.”

abstract

提出了一種新的端到端神經(jīng)網(wǎng)絡(luò)模型來提取實體及其之間的關(guān)系。我們的遞歸神經(jīng)網(wǎng)絡(luò)模型通過在雙向序列LSTM-RNNs上疊加雙向樹型結(jié)構(gòu)LSTM-RNNs來捕獲單詞序列和依賴樹的子結(jié)構(gòu)信息。這使得我們的模型可以在單個模型中使用共享參數(shù)聯(lián)合表示實體和關(guān)系。我們進一步鼓勵在訓(xùn)練期間發(fā)現(xiàn)實體，并通過實體培訓(xùn)前和計劃抽樣在關(guān)系提取中使用實體信息。我們的模型在基于端到端關(guān)系提取的最先進特征模型的基礎(chǔ)上進行了改進，分別實現(xiàn)了ACE2005和ACE2004上的F1score的12.1%和5.7%的相對誤差降低。我們還表明，我們基于LSTMRNN的模型在名義關(guān)系分類(SemEval-2010 Task 8)方面優(yōu)于最先進的基于CNN的模型(F1-score)。最后，我們提出了一個廣泛的燒蝕分析的幾個模型組件（an extensive ablation analysis of several model components）。

• model：端到端神經(jīng)網(wǎng)絡(luò)模型來提取實體及其之間的關(guān)系
  • 遞歸神經(jīng)網(wǎng)絡(luò)：雙向序列LSTM-RNNs上疊加雙向樹型結(jié)構(gòu)LSTM-RNNs–> 捕獲單詞序列和依賴樹的子結(jié)構(gòu)信息
  • 共享參數(shù)
  • extensive ablation analysis 組件
  • 在訓(xùn)練中發(fā)現(xiàn)尸體，在關(guān)系抽取中使用實體信息

1.introduction

(聯(lián)合)實體和關(guān)系的建模對高性能很重要(Li和Ji, 2014;(Miwa and Sasaki, 2014)因為關(guān)系與實體信息密切互動。例如，Toefting和Bolton在Toefting轉(zhuǎn)移到Bolton這句話中有一個Organization (ORG-AFF)關(guān)系，Toefting和Bolton是個體和組織實體的實體信息是重要的。反過來，這些實體的提取又受到轉(zhuǎn)到表示雇傭關(guān)系的上下文詞的鼓勵。之前的聯(lián)合模型采用了基于特征的結(jié)構(gòu)化學(xué)習(xí)。這種端到端關(guān)系提取任務(wù)的另一種方法是通過基于神經(jīng)網(wǎng)絡(luò)(NN)的模型實現(xiàn)自動特征學(xué)習(xí)。

• 以前：管道（兩個任務(wù)分開處理）
• 端到端：聯(lián)合模型更好
  • 關(guān)系與實體密切相關(guān)
  • 以前的模型：基于特征的結(jié)構(gòu)化學(xué)習(xí)
  • 本文：基于NN的自動特征學(xué)習(xí)

使用神經(jīng)網(wǎng)絡(luò)表示實體之間的關(guān)系有兩種方法:遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)和卷積神經(jīng)網(wǎng)絡(luò)(CNNs)。其中，RNNs可以直接表示基本的語言結(jié)構(gòu)，即，單詞序列(Hammerton, 2001)和成分/依賴樹(Tai et al.， 2015)。盡管有這種表示能力，但在關(guān)系分類任務(wù)中，之前報道的基于長短時記憶(LSTM)的RNNs的性能(Xu et al.， 2015b;Li et al.， 2015)比使用CNNs更糟糕(dos Santos et al.， 2015)。這些以前的基于lstm的系統(tǒng)大多包括有限的語言結(jié)構(gòu)和神經(jīng)結(jié)構(gòu)，并且不聯(lián)合建模實體和關(guān)系。我們能夠通過基于包含互補語言結(jié)構(gòu)的更豐富的LSTM-RNN體系結(jié)構(gòu)的實體和關(guān)系的端到端建模來實現(xiàn)對最先進模型的改進。

• NN的方法
  • RNNs:直接表示基本的語言結(jié)構(gòu)
    • 但LSTM<CNNs
      • 原因:以前的基于lstm的系統(tǒng)大多包括有限的語言結(jié)構(gòu)和神經(jīng)結(jié)構(gòu)，并且不聯(lián)合建模實體和關(guān)系
  • CNNs:
  • 本文：通過基于包含互補語言結(jié)構(gòu)的更豐富的LSTM-RNN體系結(jié)構(gòu)的實體和關(guān)系的端到端建模來實現(xiàn)對最先進模型的改進。

詞序列和樹結(jié)構(gòu)是提取關(guān)系的互補信息。例如，單詞之間的依賴關(guān)系僅僅預(yù)測來源和美國在句子This is…一位美國消息人士說，這個語境詞是這個預(yù)測所需要的。許多傳統(tǒng)的基于特征的關(guān)系分類模型從序列和解析樹中提取特征(Zhou et al.， 2005)。然而，以往基于RNN的模型只關(guān)注這些語言結(jié)構(gòu)中的一種(Socher et al.， 2012)。

• 詞序列和樹結(jié)構(gòu)是提取關(guān)系的互補信息
  • 往基于RNN的模型只關(guān)注這些語言結(jié)構(gòu)中的一種（詞序列或樹結(jié)構(gòu)

我們提出了一種新的端到端模型來提取詞序列和依賴樹結(jié)構(gòu)上實體之間的關(guān)系。我們的模型通過使用雙向順序(從左到右和從右到左)和雙向樹結(jié)構(gòu)(自底向上和自頂向下)LSTM-RNNs，允許在單個模型中對實體和關(guān)系進行聯(lián)合建模。我們的模型首先檢測實體，然后使用單個增量解碼的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提取被檢測實體之間的關(guān)系，并使用實體和關(guān)系標(biāo)簽聯(lián)合對神經(jīng)網(wǎng)絡(luò)參數(shù)進行更新。與傳統(tǒng)的增量端到端關(guān)系提取模型不同，我們的模型在訓(xùn)練中進一步加入了兩個增強:實體預(yù)訓(xùn)練(對實體模型進行預(yù)訓(xùn)練)和計劃抽樣(Bengio et al.， 2015)，后者以一定的概率將(不可靠的)預(yù)測標(biāo)簽替換為黃金標(biāo)簽。這些增強減輕了在培訓(xùn)的早期階段發(fā)現(xiàn)性能低下的實體的問題，并允許實體信息進一步幫助下游關(guān)系分類。

• NN：
  • 使用雙向順序(從左到右和從右到左)和雙向樹結(jié)構(gòu)(自底向上和自頂向下)LSTM-RNNs
  • 允許在單個模型中對實體和關(guān)系進行聯(lián)合建模
• 操作：
  • 先檢測實體，
  • 然后使用單個增量解碼的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提取被檢測實體之間的關(guān)系，
  • 并使用實體和關(guān)系標(biāo)簽聯(lián)合對神經(jīng)網(wǎng)絡(luò)參數(shù)進行更新。
• 兩個增強：
  • 實體預(yù)訓(xùn)練(對實體模型進行預(yù)訓(xùn)練
  • 計劃抽樣(Bengio et al.， 2015)
    • 后者以一定的概率將(不可靠的)預(yù)測標(biāo)簽替換為黃金標(biāo)簽
  • 作用：減輕了在培訓(xùn)的早期階段發(fā)現(xiàn)性能低下的實體的問題，并允許實體信息進一步幫助下游關(guān)系分類。

在端到端關(guān)系提取方面，我們改進了最先進的基于特征的模型，在F1-score中減少了12.1% (ACE2005)和5.7% (ACE2004)的相對錯誤。在名義關(guān)系分類(SemEval-2010 Task 8)上，我們的模型在F1-score上優(yōu)于最先進的基于cnn的模型。最后，我們還對我們的各種模型組件進行了刪減和比較，得出了關(guān)于不同RNN結(jié)構(gòu)、輸入依賴關(guān)系結(jié)構(gòu)、不同解析模型、外部資源和聯(lián)合學(xué)習(xí)設(shè)置的貢獻和有效性的一些關(guān)鍵結(jié)論(積極的和消極的)。

• 改進了最先進的基于特征的模型
• 組件刪減和比較

2.相關(guān)工作

LSTM-RNNs被廣泛用于順序標(biāo)記，如從句識別(Hammerton, 2001)、語音標(biāo)記(Graves and Schmidhuber, 2005)和NER (Hammerton, 2003)。最近，Huang等人(2015)證明了這一點在雙向LSTM-RNNs上構(gòu)建條件隨機域(CRF)層的性能與partof-speech (POS)標(biāo)記、分塊和NER中的最新方法相當(dāng)。

• 對于關(guān)系分類，除了傳統(tǒng)的基于特征/內(nèi)核的方法外(Zelenko et al.， 2003;Bunescu和Mooney(2005)在semevalv -2010 Task 8 (Hendrickx et al.， 2010)中提出了幾種神經(jīng)模型，包括
  • 基于嵌入的模型(Hashimoto et al.， 2015)、
  • 基于cnn的模型(dos Santos et al.， 2015)和
  • 基于rnn的模型(Socher et al.， 2012)。
  • 最近，Xu et al. (2015a)和Xu et al. (2015b)表明，基于特征/內(nèi)核的系統(tǒng)中使用的關(guān)系參數(shù)之間的最短依賴路徑在基于nn-based的模型中也很有用(Bunescu和Mooney, 2005)。
  • Xu等人(2015b)也表明LSTMRNNs在關(guān)系分類中是有用的，但其性能不如基于cnn的模型。
  • Li等(2015)使用基本的RNN模型結(jié)構(gòu)，比較了單獨的基于序列和樹型的LSTM-RNNs在關(guān)系分類上的差異。
    樹結(jié)構(gòu)LSTM-RNNs的研究(Tai et al.， 2015)修正了從下到上的信息傳播方向，也不能像類型化依賴樹那樣處理任意數(shù)量的類型化子節(jié)點。此外，沒有一種基于RNNbased的關(guān)系分類模型同時使用詞序列和依賴樹信息。我們提出了幾個這樣的新模型結(jié)構(gòu)和訓(xùn)練設(shè)置，研究了同時使用雙向順序和雙向樹狀結(jié)構(gòu)LSTM-RNNs來聯(lián)合捕獲線性和依賴上下文來提取實體之間的關(guān)系。

• 沒有一種基于RNNbased的關(guān)系分類模型同時使用詞序列和依賴樹信息
• 本文用了

對于實體間關(guān)系的端到端(聯(lián)合)提取，現(xiàn)有的模型都是基于特征的系統(tǒng)(沒有提出基于nn的模型)。這些模型包括結(jié)構(gòu)化預(yù)測(Li和Ji, 2014;Miwa和Sasaki, 2014)，整數(shù)線性規(guī)劃(Roth和Yih, 2007;Yang和Cardie, 2013)，卡片金字塔解析(Kate和Mooney, 2010)，全球概率圖形模型(Yu和Lam, 2010;辛格等人，2013)。其中，結(jié)構(gòu)化預(yù)測方法在一些語料庫上是最先進的。我們提出了一種改進的基于nn的端到端關(guān)系提取方法。

• 以前只有基于特征的聯(lián)合抽取
• 本文提出了基于nn的聯(lián)合抽取

3.model

我們使用表示字序列和依賴樹結(jié)構(gòu)的LSTM-RNNs來設(shè)計我們的模型，并在這些RNNs之上執(zhí)行實體之間關(guān)系的端到端提取。圖1為模型概述。該模型主要由三層表示層組成:單詞嵌入層(embeddings layer，即嵌入層)、基于單詞序列的LSTM-RNN層(sequence layer，即序列層)，最后是基于依賴子樹的LSTM-RNN層(dependency layer，即依賴層)。在解碼過程中，我們在序列層上建立貪婪的從左到右的實體檢測，在依賴層上實現(xiàn)關(guān)系分類，每個基于LSTM-RNN的子樹對應(yīng)兩個被檢測實體之間的關(guān)系候選。在解碼整個模型結(jié)構(gòu)之后，我們通過時間反向傳播(BPTT)同時更新參數(shù)(Werbos, 1990)。依賴層疊加在序列層上，嵌入層和序列層由實體檢測和關(guān)系分類共享，共享參數(shù)由實體標(biāo)簽和關(guān)系標(biāo)簽共同影響。

• 三層
  • 嵌入層
  • lstm-rnn層（序列層
  • 依賴層（基于依賴子樹的LSTM-RNN層
• 解碼
  • 貪婪的實體檢測（左-》右）
  • 在依賴層上實現(xiàn)關(guān)系分類
    • 每個基于LSTM-RNN的子樹對應(yīng)兩個被檢測實體之間的關(guān)系候選
• 參數(shù)更新
  • BPTT（同時更新
• 共享參數(shù)
  • 依賴層疊加在序列層上，嵌入層和序列層由實體檢測和關(guān)系分類共享，共享參數(shù)由實體標(biāo)簽和關(guān)系標(biāo)簽共同影響。

3.1嵌入層

• 向量表示
  • $v^{(w)}:n_w維，單詞嵌入$
  • $v^{(p)}:n_p維，part?of?speech(POS）標(biāo)簽$
  • $v^{(d)}:n_d維，依賴類型嵌入$
  • $v^{(e)}:n_e維，實體標(biāo)簽嵌入$

3.2 序列層

序列層使用來自嵌入層的表示以線性序列表示單詞。該層表示句子上下文信息并維護實體，如圖1左下角所示
我們用雙向LSTM-RNNs表示句子中的單詞序列(Graves et al.， 2013)。第t字處的LSTM單元由一組nls維向量組成:一個輸入門it、一個遺忘門ft、一個輸出門ot、一個存儲單元ct和一個隱藏狀態(tài)ht。該單元接收一個n維輸入向量xt、先前的隱藏狀態(tài)ht 1和內(nèi)存單元ct 1，并使用以下方程計算新的向量

• KaTeX parse error: Undefined control sequence: \sigmoid at position 1: \?s?i?g?m?o?i?d?:是sigmoid函數(shù)（log…
• $x_t=[v_t^{(w)};v_t^{(p)}]$
• 輸出向量的兩個方向也聯(lián)合成一個st
  

3.3實體檢測

我們將實體檢測視為一個序列標(biāo)記任務(wù)。我們使用一個常用的編碼方案BILOU (Begin, Inside, Last, Outside, Unit)為每個單詞分配一個實體標(biāo)記(Ratinov和Roth, 2009)，其中每個實體標(biāo)記表示實體類型和單詞在實體中的位置。例如，在圖1中，我們將B-PER和L-PER(分別表示person實體類型的開頭和結(jié)尾)分配給Sidney Yates中的每個單詞，以將該短語表示為PER (person)實體類型。

• 序列標(biāo)注問題
  • 使用BILOU(Begin, Inside, Last, Outside, Unit)
    

我們以貪婪的從左到右的方式為單詞分配實體標(biāo)簽。在這個解碼過程中，我們使用一個單詞的預(yù)測標(biāo)簽來預(yù)測下一個單詞的標(biāo)簽，從而考慮到標(biāo)簽的相關(guān)性。上面的NN接收它在序列層中相應(yīng)輸出的拼接和它前面單詞的標(biāo)簽嵌入(圖1)。

3.4 依賴層

• 找一對目標(biāo)詞之間的最短路徑
• 我們使用雙向樹結(jié)構(gòu)的LSTM-RNNs(即。底->上，上->下）
• 我們提出了一種新的樹結(jié)構(gòu)LSTM-RNN的變體，它可以共享同類型子節(jié)點的權(quán)矩陣，并且允許子節(jié)點的數(shù)目是可變的。

依賴層表示依賴樹中一對目標(biāo)詞(對應(yīng)關(guān)系分類中的關(guān)系候選詞)之間的關(guān)系，負責(zé)關(guān)系的特定表示，如圖1右上角所示。這一層主要關(guān)注依賴樹中一對目標(biāo)詞之間的最短路徑。因為這些路徑被證明在關(guān)系分類中是有效的(Xu et al.， 2015a)。例如，我們在圖1的底部顯示了Yates和Chicago之間的最短路徑，這條路徑很好地捕捉了他們關(guān)系的關(guān)鍵短語，即borin-in。
我們使用雙向樹結(jié)構(gòu)的LSTM-RNNs(即。底->上，上->下）通過捕獲目標(biāo)詞對周圍的依賴關(guān)系結(jié)構(gòu)來表示候選關(guān)系。這種雙向結(jié)構(gòu)不僅向每個節(jié)點傳播來自葉節(jié)點的信息，而且還傳播來自根節(jié)點的信息。這對于關(guān)系分類特別重要，因為它利用了樹底部附近的參數(shù)節(jié)點，而我們的自頂向下LSTM-RNN將樹頂部的信息發(fā)送到這些近葉節(jié)點(與標(biāo)準(zhǔn)的自底向上LSTM-RNNs不同)。注意，Tai等人(2015)提出的樹結(jié)構(gòu)LSTM-RNNs的兩個變體不能表示我們的目標(biāo)結(jié)構(gòu)，這些目標(biāo)結(jié)構(gòu)的子類型數(shù)量是可變的:子和樹lstm不處理類型，而N-ary樹假設(shè)有固定數(shù)量的子類型。因此，我們提出了一種新的樹結(jié)構(gòu)LSTM-RNN的變體，它可以共享同類型子節(jié)點的權(quán)矩陣，并且允許子節(jié)點的數(shù)目是可變的。對于該變量，我們使用以下公式計算LSTM單元第t個節(jié)點上的nlt維向量和C(t)個子節(jié)點上的nlt維向量

• m–一種映射函數(shù)

為了研究合適的結(jié)構(gòu)來表示兩個目標(biāo)詞對之間的關(guān)系，我們用三種結(jié)構(gòu)選項進行了實驗。我們主要使用最短路徑結(jié)構(gòu)(SPTree)，它捕獲目標(biāo)詞對之間的核心依賴路徑，廣泛用于關(guān)系分類模型，例如Bunescu和Mooney, 2005; Xu et al., 2015a). 我們還嘗試了另外兩種依賴結(jié)構(gòu):SubTree 和FullTree。SubTree 是目標(biāo)詞對的最低共同祖先的子樹。這為SPTree中的路徑和單詞對提供了額外的修飾符信息。FullTree是完整的依賴樹。這捕獲了整個句子的上下文。當(dāng)我們?yōu)镾PTree使用一個節(jié)點類型時，我們?yōu)樽訕浜虵ullTree定義了兩個節(jié)點類型，即，一個用于最短路徑上的節(jié)點，另一個用于所有其他節(jié)點。我們使用類型映射function m(·)來區(qū)分這兩個節(jié)點類型。

• 用了三種結(jié)構(gòu)選項實驗
  • 最短路徑結(jié)構(gòu)(SPTree)，它捕獲目標(biāo)詞對之間的核心依賴路徑
  • SubTree :目標(biāo)詞對的最低共同祖先的子樹
  • FullTree:完整的依賴樹,這捕獲了整個句子的上下文。

3.5 Stacking Sequence and Dependency Layers

我們將依賴層(對應(yīng)于候選關(guān)系)堆疊在序列層的頂部，以便將單詞序列和依賴樹結(jié)構(gòu)信息合并到輸出中。

• 第t個字的依賴層LSTM單元接收xt作為輸入
  

3.6關(guān)系分類

• 我們使用檢測到的實體的最后幾個字的所有可能組合，逐步構(gòu)建候選關(guān)系。
• 負關(guān)系：實體錯誤或沒關(guān)系–無方向
• 關(guān)系標(biāo)簽：類型+方向
• 將關(guān)聯(lián)候選向量構(gòu)造為串聯(lián)KaTeX parse error: Undefined control sequence: \toparrow at position 6: d_p=[\?t?o?p?a?r?r?o?w? ?h_{pA};\downarr…

我們使用檢測到的實體的最后幾個字的所有可能組合，逐步構(gòu)建候選關(guān)系。即是說，譯碼過程中，BILOU方案中帶有L或U標(biāo)簽的單詞。例如，在圖1中，我們使用帶有L-PER標(biāo)簽的Yates和帶有U-LOC標(biāo)簽的Chicago來構(gòu)建關(guān)系候選。對于每個關(guān)系候選對象，我們實現(xiàn)了與關(guān)系候選對象中對p之間的路徑相對應(yīng)的依賴層dp(如上所述)，神經(jīng)網(wǎng)絡(luò)接收由依賴樹層輸出構(gòu)造的關(guān)系候選向量，并預(yù)測其關(guān)系標(biāo)簽。當(dāng)被檢測到的實體是錯誤的或者是沒有關(guān)系的時候，我們將一對視為負關(guān)系。除了沒有方向的負關(guān)系外，我們用類型和方向來表示關(guān)系標(biāo)簽。

我們從基于順序LSTM-RNNs+樹型LSTM-RNNs的關(guān)系分類中構(gòu)造了輸入dp，因此序列層對輸入的貢獻是間接的。此外，我們的模型使用單詞來表示實體，因此它不能完全使用實體信息。為了緩解這些問題，我們直接將從序列層到輸入dp再到關(guān)系分類的每個實體的隱藏狀態(tài)向量的平均值連接起來

• 問題
  • 貢獻是簡介的
  • 不能完全使用實體信息
• 解決：直接將從序列層到輸入dp再到關(guān)系分類的每個實體的隱藏狀態(tài)向量的平均值連接起來–dp’=
  

此外，由于我們同時考慮了從左到右和從右到左的方向，所以我們在預(yù)測時為每個詞對分配了兩個標(biāo)簽。當(dāng)預(yù)測的標(biāo)簽不一致時，我們選擇積極和更自信的標(biāo)簽，類似于Xu等人(2015a)。

3.7 訓(xùn)練

更新：權(quán)重，bias，embeddings

• 方法
  • BPTT
  • adam（梯度裁剪）
  • 參數(shù)平均
  • L2-regularization(W，U),不對biases正則化
  • dropout
    • 嵌入層
    • 實體檢測的最后一層的隱層
    • 關(guān)系分類
• 兩個增強
  • 為了減輕培訓(xùn)初期實體預(yù)測不可靠的問題和鼓勵從被檢測的實體構(gòu)建積極的關(guān)系實例
  • scheduled sampling
    • $概率{?}_i??依賴于epoch：{?}_i=k/(k+exp(i/k)$
  • 實體預(yù)訓(xùn)練

4 實驗

為了分析我們的端到端關(guān)系提取模型的各個組成部分的貢獻和影響，我們對ACE05開發(fā)集進行了消融測試(表2)。在不進行計劃采樣的情況下，性能略有下降，在去除實體預(yù)訓(xùn)練或同時去除實體預(yù)訓(xùn)練或同時去除兩者時，性能顯著下降(p<0.05)。這是合理的，因為模型只能在發(fā)現(xiàn)兩個實體時創(chuàng)建關(guān)系實例，如果沒有這些增強，發(fā)現(xiàn)一些關(guān)系可能就太晚了。

我們還展示了在不共享參數(shù)的情況下的性能，即、嵌入層和序列層，用于檢測實體和關(guān)系(共享參數(shù));我們首先訓(xùn)練實體檢測模型，用模型檢測實體，然后利用被檢測實體建立一個單獨的關(guān)系提取模型，即，沒有實體檢測。這個設(shè)置可以看作是一個流水線模型，因為兩個單獨的模型是按順序訓(xùn)練的。在沒有共享參數(shù)的情況下，實體檢測和關(guān)系分類的性能都略有下降，盡管存在差異但不重要。當(dāng)我們刪除所有的增強時，即的性能顯著低于SPTree (p<0.01)，表明這些增強為端到端關(guān)系提取提供了互補優(yōu)勢

總結(jié)

提出了一種基于雙向序列和雙向樹結(jié)構(gòu)的LSTM-RNNs的端到端關(guān)系抽取模型，該模型同時表示字序列和依賴樹結(jié)構(gòu)。這允許我們代表實體和關(guān)系在一個模型中,實現(xiàn)先進的收益,基于功能的系統(tǒng)端到端關(guān)系提取(ACE04和ACE05),并顯示類似的性能要優(yōu)于最新最先進的CNNbased模型名義關(guān)系分類任務(wù)(semeval - 2010 8)。我們的評估和燒蝕導(dǎo)致三個重要發(fā)現(xiàn)。首先，單詞序列和依賴樹結(jié)構(gòu)的使用是有效的。其次，使用共享參數(shù)進行訓(xùn)練可以提高關(guān)系提取的準(zhǔn)確性，特別是在使用實體預(yù)訓(xùn)練、計劃抽樣和標(biāo)簽嵌入時。最后，在關(guān)系分類中得到廣泛應(yīng)用的最短路徑也適用于神經(jīng)LSTM模型中樹結(jié)構(gòu)的表示。

總結(jié)

以上是生活随笔為你收集整理的论文学习14-End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures（端到端实体关系抽取）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。