文章目錄

• abstract
• 1.introduction
• 2.相關(guān)工作
• • 2.1. Named entity recognition
  • 2.2. Relation classi?cation
  • 2.3 聯(lián)合模型
  • 2.4. LSTM and CNN models On NLP
• 3.模型
• • 3.1. Bidirectional LSTM encoding layer
  • 3.2. Named entity recognition (NER) module:LSTM decoder
  • 3.3. Relation classi?cation (RC) module
  • 3.4. Training and implementation
• 4. Experiment
• • 4.1. Experimental setting
  • 4.2. Results
• 5. Analysis and discussions
• • 5.1. Analysis of named entity recognition module
  • 5.2. Analysis of relation classi?cation module
  • 5.3. The effect of two entities’ distance
  • 5.4. Error analysis
• 6. Conclusion
• 參考文獻(xiàn)

Zheng, S., et al. (2017). “Joint entity and relation extraction based on a hybrid neural network.” Neurocomputing 257(000): 1-8.

abstract

實(shí)體和關(guān)系提取是一個(gè)結(jié)合檢測(cè)實(shí)體提及和從非結(jié)構(gòu)化文本識(shí)別實(shí)體的語義關(guān)系的任務(wù)。我們提出了一種混合神經(jīng)網(wǎng)絡(luò)模型來提取實(shí)體及其關(guān)系，而不需要任何手工制作的特征。混合神經(jīng)網(wǎng)絡(luò)包含用于實(shí)體提取的新型雙向編碼器 - 解碼器L STM模塊（BiL STM-ED）和用于關(guān)系分類的CNN模塊。在BiLSTM-ED中獲得的實(shí)體的上下文信息關(guān)鍵詞：進(jìn)一步通過CNN模塊以改進(jìn)關(guān)系分類。我們?cè)诠矓?shù)據(jù)集ACE05（自動(dòng)內(nèi)容提取程序）上進(jìn)行實(shí)驗(yàn)神經(jīng)網(wǎng)絡(luò)，以驗(yàn)證我們的信息提取方法的有效性。我們提出的方法實(shí)現(xiàn)了實(shí)體和關(guān)系提取標(biāo)記分類任務(wù)的最新結(jié)果。

• 任務(wù)：實(shí)體關(guān)系聯(lián)合抽取
• 模型：
  • 實(shí)體抽取：BiLSTM編碼器-解碼器
    • 獲取實(shí)體的上下文信息
  • 關(guān)系分類：CNN
• 數(shù)據(jù)集：ACE05

1.introduction

實(shí)體和關(guān)系提取是檢測(cè)實(shí)體提及并從文本中識(shí)別它們的語義關(guān)系。它是知識(shí)提取中的一個(gè)重要問題，在知識(shí)庫的自動(dòng)構(gòu)建中起著至關(guān)重要的作用。傳統(tǒng)系統(tǒng)將此任務(wù)視為兩個(gè)獨(dú)立任務(wù)的管道，即命名實(shí)體識(shí)別（NER）[1]和關(guān)系分類（RC）[2]。這個(gè)分離的框架使任務(wù)易于處理，每個(gè)組件都可以更靈活。但它很少關(guān)注兩個(gè)子任務(wù)的相關(guān)性。聯(lián)合學(xué)習(xí)框架是一種有效的方法來關(guān)聯(lián)NER和RC，這也可以避免錯(cuò)誤的級(jí)聯(lián)[3]。然而，大多數(shù)現(xiàn)有的聯(lián)合方法是基于特征的結(jié)構(gòu)化系統(tǒng)[3-7]。它們需要復(fù)雜的特征工程，并且嚴(yán)重依賴于受監(jiān)督的NLP工具包，這也可能導(dǎo)致錯(cuò)誤傳播。為了減少特征提取中的手工工作，最近，Miwa和Bansal [8]提出了一種基于神經(jīng)網(wǎng)絡(luò)的端到端實(shí)體和關(guān)系提取方法。然而，當(dāng)檢測(cè)到實(shí)體時(shí)，它們使用NN結(jié)構(gòu)來預(yù)測(cè)實(shí)體標(biāo)簽，這忽略了標(biāo)簽之間的長(zhǎng)關(guān)系。基于上述分析，我們提出了一種混合神經(jīng)網(wǎng)絡(luò)模型來解決這些問題，

• pipeline
  • 命名實(shí)體識(shí)別
  • 關(guān)系分類
  • 分開處理，優(yōu)點(diǎn)靈活，缺點(diǎn)沒有關(guān)注兩個(gè)子任務(wù)的相關(guān)性
• 聯(lián)合學(xué)習(xí)框架
  • 優(yōu)點(diǎn)：避免錯(cuò)誤的級(jí)聯(lián)
  • 以前：基于特征，依賴于受監(jiān)督的nlp工具包，這也有錯(cuò)誤傳播
  • 神經(jīng)網(wǎng)絡(luò)方法：
    • Miwa和Bansal端到端的方法
      • LSTM(encode)+softmax（NN-decode):實(shí)體提取
      • dependency Tree LSTM：關(guān)系抽取
      • NN的解碼忽略了標(biāo)簽之間的長(zhǎng)關(guān)系
• LSTM-ED+CNN
  • 優(yōu)點(diǎn)：
    • 聯(lián)合模型：無錯(cuò)誤傳遞
    • 混合神經(jīng)網(wǎng)絡(luò)：不用nlp工具（依賴樹）
    • LSTM-decoder:可以獲取標(biāo)簽之間的長(zhǎng)關(guān)系依賴
  • 結(jié)構(gòu)
    • 共享編碼層:BiLSTM，獲取實(shí)體的上下文信息
    • 實(shí)體抽取：LSTM解碼器
      • decoder：也用Lstm，可以獲得標(biāo)簽之間的長(zhǎng)關(guān)系
    • 關(guān)系分類：CNN

2.相關(guān)工作

• 信息抽取
  • pipeline
    • 命名實(shí)體識(shí)別
    • 關(guān)系分類
    • 分開處理，優(yōu)點(diǎn)靈活，缺點(diǎn)沒有關(guān)注兩個(gè)子任務(wù)的相關(guān)性
  • 聯(lián)合學(xué)習(xí)框架
    • 優(yōu)點(diǎn)：避免錯(cuò)誤的級(jí)聯(lián)
    • 以前：基于特征，依賴于受監(jiān)督的nlp工具包，這也有錯(cuò)誤傳播
    • 神經(jīng)網(wǎng)絡(luò)方法：
      • Miwa和Bansal端到端的方法
        • LSTM(encode)+softmax（NN-decode):實(shí)體提取
        • dependency Tree LSTM：關(guān)系抽取
        • NN的解碼忽略了標(biāo)簽之間的長(zhǎng)關(guān)系

2.1. Named entity recognition

• 特征
  • CRF[14,20] .
  • HMM
• 神經(jīng)網(wǎng)絡(luò)
  • 序列標(biāo)注
    • CNN
      • Collobert et al[21]：CNN+CRF
    • RNN
      • Chiu and Nichols [15]:character level+word level混合特征
        • decode:線性層+softmax
      • BiLSTM+CRF[16,17,22]
        • decode:CRF
      • Miwa and Bansal [8] :
        • encode:BiLSTM
        • decode:NN+softmax
• decode不同

2.2. Relation classi?cation

• 特征
  • Kambhatla [23] employs Maximum Entropy model
    • 結(jié)合從文本中衍生出的各種詞匯，句法和語義特征
  • Rink [2]設(shè)計(jì)了16種使用許多有監(jiān)督的NLP工具包和資源提取的功能，包括POS，Word-Net，依賴解析等。
  • 手工設(shè)計(jì)的特征不全面
  • 依賴于nlp工具
  • 手工特征設(shè)計(jì)需要大量工作
• 神經(jīng)網(wǎng)絡(luò)
  • CNN
  • RNN
    • RecNN
    • LSTM
• 其他
  • 基于核的方法
    • Nguyen et al. [28] ：探索基于句法和語義結(jié)構(gòu)的創(chuàng)新內(nèi)核的使用
    • Sun and Han [34]:提出了一種新的樹內(nèi)核，稱為特征豐富的樹內(nèi)核（FTK），用于關(guān)系提取。
  • 組合方法
    • FCM [25]：學(xué)習(xí)了一個(gè)句子的子結(jié)構(gòu)的表示。與現(xiàn)有的組合模型相比，FCM可以輕松處理任意類型的輸入和組合的全局信息。

2.3 聯(lián)合模型

• pipeline
  • 學(xué)習(xí)了一個(gè)句子的子結(jié)構(gòu)的表示。與現(xiàn)有的組合模型相比，FCM可以輕松處理任意類型的輸入和組合的全局信息。
• 聯(lián)合模型
  • 特征
    • 基于特征的結(jié)構(gòu)化系統(tǒng)[3,4,35-37]，需要復(fù)雜的特征工程。 [35,36]提出了一個(gè)聯(lián)合模型，該模型使用子任務(wù)的最佳結(jié)果并尋求全局最優(yōu)解。
    • Singh et al. [37]：單一圖模型，它表示了子任務(wù)之間的各種依賴關(guān)系
    • Li and Ji [3]：逐步預(yù)測(cè)，結(jié)構(gòu)感知器，具有高效的beam搜索
    • Miwa and Sasaki [4]:引入了一個(gè)表格來表示句子中的實(shí)體和關(guān)系結(jié)構(gòu)，并提出了一種基于歷史的波束搜索結(jié)構(gòu)化學(xué)習(xí)模型。
  • 神經(jīng)網(wǎng)絡(luò)：
    • Miwa和Bansal [8]：LSTM+Tree-LSTM使用基于LSTM的模型來提取實(shí)體和關(guān)系，這可以減少手工工作。

2.4. LSTM and CNN models On NLP

• CNN
  • 視覺：圖像特征
  • 用于nlp:能夠提取句子語義和關(guān)鍵詞信息
• LSTM
  • 有長(zhǎng)期記憶

本文使用的方法基于神經(jīng)網(wǎng)絡(luò)模型：卷積神經(jīng)網(wǎng)絡(luò)（CNN）和長(zhǎng)短期記憶（LSTM）。CNN最初是為計(jì)算機(jī)視覺而發(fā)明的[38]，它總是被用來提取圖像的特征[39,40]。近年來，CNN已成功應(yīng)用于不同的NLP任務(wù)，并且還顯示了提取感知語義和關(guān)鍵詞信息的有效性[27,41-43]。長(zhǎng)短期記憶（LSTM）模型是一種特定的復(fù)發(fā)性神經(jīng)網(wǎng)絡(luò)（RNN）。LSTM用帶有門的內(nèi)存塊替換了一個(gè)重復(fù)神經(jīng)網(wǎng)絡(luò)的隱藏向量。它可以通過訓(xùn)練適當(dāng)?shù)拈T控權(quán)重來保持長(zhǎng)期記憶[44,45]。LSTM還在許多NLP任務(wù)上展示了強(qiáng)大的能力，如機(jī)器翻譯[46]，句子表示[47]和關(guān)系提取[26]。在本文中，我們提出了一種基于聯(lián)合學(xué)習(xí)實(shí)體及其關(guān)系的混合神經(jīng)網(wǎng)絡(luò)。與手工制作的基于特征的方法相比，它可以從給定的句子中學(xué)習(xí)相關(guān)的特征而無需復(fù)雜的特征工程工作。當(dāng)與其他基于神經(jīng)網(wǎng)絡(luò)的方法[8]進(jìn)行比較時(shí)，我們的方法考慮了實(shí)體標(biāo)簽之間的長(zhǎng)距離關(guān)系。

3.模型

混合神經(jīng)網(wǎng)絡(luò)的框架如圖1所示。混合神經(jīng)網(wǎng)絡(luò)的第一層是雙向LSTM編碼層，由命名實(shí)體識(shí)別（NER）模塊和關(guān)系分類（RC）模塊共享。在編碼層之后有兩個(gè)“通道”，一個(gè)鏈接到NER模塊，它是LSTM解碼層，另一個(gè)鏈接到CNN層以提取關(guān)系。在以下部分中，我們將詳細(xì)描述這些組件。

• LSTM-ED+CNN
  • 優(yōu)點(diǎn)：
    • 聯(lián)合模型：無錯(cuò)誤傳遞
    • 混合神經(jīng)網(wǎng)絡(luò)：不用nlp工具（依賴樹）
    • LSTM-decoder:可以獲取標(biāo)簽之間的長(zhǎng)關(guān)系依賴
  • 結(jié)構(gòu)
    • 共享編碼層:BiLSTM，獲取實(shí)體的上下文信息
    • 實(shí)體抽取：LSTM解碼器
      • decoder：也用Lstm，可以獲得標(biāo)簽之間的長(zhǎng)關(guān)系
    • 關(guān)系分類：CNN

3.1. Bidirectional LSTM encoding layer

• BiLSTM encoder
  • 字嵌入層
  • 平行的層
    • 前向lstm層$\overrightarrow{h}$
      • 考慮前文(1-t)和wt
    • 后向lstm層$\overleftarrow{h}$
  • 連接層:$h=[\overrightarrow{h};\overleftarrow{h}]$
  • LSTM的公式
    • $$\begin{gathered} i_t=\delta (W_{xi}{x}_t+W_{hi}{h}_{t?1}+W_{ci}{c}_{t?1}+b_i) \\ {f}_t=\delta (W_{xf}{x}_t+W_{hf}{h}_{t?1}+W_{cf}{c}_{t?1}+b_f) \\ {z}_t=tanh(W_{xc}{x}_t+W_{hc}{h}_{t?1}+b_c) \\ {c}_t=f_t{c}_{t?1}+i_t{z}_t \\ {o}_t=\delta (W_{xo}{x}_t+W_{ho}{h}_{t?1}+W_{co}{c}_t+b_o) \\ {h}_t=o_{t}tanh(c_t) \end{gathered}$$

3.2. Named entity recognition (NER) module:LSTM decoder

• NER:LSTM decoder
  • 輸入：
    • BiLSTM encoder:$h_t$
    • 先前預(yù)測(cè)的標(biāo)簽：$T_{t?1}$
    • decoder的前隱藏狀態(tài)：$s_{t?1}$
  • LSTM
    • LSTM的公式
      • $$\begin{gathered} i_t=\delta (W_{xi}{h}_t+W_{hi}{s}_{t?1}+W_{ti}{T}_{t?1}+b_i)<???這個(gè)變了 \\ {f}_t=\delta (W_{xf}{x}_t+W_{hf}{s}_{t?1}+W_{cf}{c}_{t?1}+b_f) \\ {z}_t=tanh(W_{xc}{x}_t+W_{hc}{s}_{t?1}+b_c) \\ {c}_t=f_t{c}_{t?1}+i_t{z}_t \\ {o}_t=\delta (W_{xo}{x}_t+W_{ho}{h}_{t?1}+W_{co}{c}_t+b_o) \\ {s}_t=o_{t}tanh(c_t) \end{gathered}$$
    • 轉(zhuǎn)換$T_t=W_{ts}{s}_t+b_{ts}$
    • softmax:
      • $y_t=W_y{T}_t+b_y$
      • $p_t^i=\frac{exp(y_t^i)}{{\Sigma }_{j=1}^{nt}exp(y_t^j)}$
  • 因?yàn)門類似于tag embedding,而LSTM可以學(xué)習(xí)長(zhǎng)期依賴–>類似于標(biāo)簽交互

3.3. Relation classi?cation (RC) module

• CNN
  • 輸入：LSTM編碼出來的，實(shí)體的隱層表示h和實(shí)體之間的單詞的嵌入表示q
  • CNN:$R=CNN([h_{e1},w_{e1},w_{e1+1}...w_{e2},h_{e2}])$
    • $$\begin{gathered} s=[h_{e1},w_{e1},w_{e1+1}...w_{e2},h_{e2}] \\ 卷積：z_l^{(i)}=\sigma (W_c^{(i)}\times s_{l:l+k?1}+b{r}^{(i)})，filters的尺寸（k,d),i??第i個(gè)filters \\ 結(jié)果：z^{(i)}=[z_1^{(i)},...,z_{l?k+1}^{(i)}] \\ max?pooling:z_{max}^{(i)}=max\{z^{(i)}\}=max\{z_1^{(i)},...,z_{l?k+1}^{(i)}\} \end{gathered}$$–把句子長(zhǎng)度所在的維度pool了，獲取最顯著特征
    • 結(jié)合多個(gè)卷積核(softmax+dropout)
      • $R_s=[z_{max}^{(1)},...,z_{max}^{(nr)}]$
      • $y_r=W_R?(R_s°r)+b_R??°是元素級(jí)乘法$
      • $p_r^i=\frac{exp(y_r^i)}{{\Sigma }_{j=1}^{nc}exp(y_r^j)}$
  • !!: 實(shí)體內(nèi)有多個(gè)單詞：隱層表示（h)相加以表示實(shí)體向量

3.4. Training and implementation

• 目標(biāo)函數(shù)：最大化似然函數(shù)
  • ner:$L_{ner}=max{\Sigma }_{j=1}^{|D|}{\Sigma }_{t=1}^{L_j}log(p_t^{(j)}=y_t^{(j)}|x_j,{\Theta }_{ner})$
  • RC:$L_{rc}=max{\Sigma }_{j=1}^{|D|}log(p_r^{(j)}=y_r^{(j)}|x_j,{\Theta }_{rc})$
  • 先訓(xùn)練ner，再訓(xùn)練RC
  • 如果兩個(gè)實(shí)體的距離>$L_{max}$,則不可能存在關(guān)系如圖4
• 優(yōu)化方法：Hinton在[52]中提出的RMSprop

我們首先訓(xùn)練NER模塊識(shí)別實(shí)體并獲得實(shí)體的編碼信息，然后進(jìn)一步訓(xùn)練RC模塊根據(jù)編碼信息和實(shí)體組合對(duì)關(guān)系進(jìn)行分類。特別地，我們發(fā)現(xiàn)如果兩個(gè)實(shí)體之間存在關(guān)系，則兩個(gè)實(shí)體的距離總是小于約20個(gè)字，如圖4所示。因此，在確定兩個(gè)實(shí)體之間的關(guān)系時(shí)，我們也充分利用了這個(gè)屬性，即如果兩個(gè)實(shí)體的距離大于L max，我們認(rèn)為它們之間不存在關(guān)系。基于圖4的統(tǒng)計(jì)結(jié)果，ACE05數(shù)據(jù)集中的L max約為20。

4. Experiment

4.1. Experimental setting

• 數(shù)據(jù)集
  • ACE05
    • 考慮關(guān)系的方向
• baseline
  • a classical pipeline model [3] ：CRF+最大熵模型
  • a joint feature-based model called Joint w/Global [3] ,
    • 聯(lián)合w / Global [3]使用單個(gè)模型逐步提取實(shí)體提及及其關(guān)系。他們開發(fā)了許多新的有效的全局功能作為軟約束，以捕獲實(shí)體提及和關(guān)系之間的相互依賴性。
  • an end-to-end NN-based model SPTree [8] .M. Miwa , M. Bansal ,2016
    • 通過使用雙向順序和雙向樹狀結(jié)構(gòu)LSTM-RNN來表示單詞序列和依存關(guān)系樹結(jié)構(gòu)。
• 評(píng)估
  • Precision §, Recall ? and F- Measure (F1)
  • 正確：h,r,t均對(duì)
• 超參數(shù)
  

4.2. Results

• 本文模型有效：效果最好
• 神經(jīng)網(wǎng)絡(luò)模型和聯(lián)合模型是可行的
  • 聯(lián)合模型好于pipeline
  • 神經(jīng)網(wǎng)絡(luò)模型好于基于特征的模型
• 精度差不多，區(qū)別集中于recall，本文模型平衡了精度和recall

5. Analysis and discussions

5.1. Analysis of named entity recognition module

NER模塊包含雙向LSTM編碼層和LSTM解碼層。我們使用BiLSTM-ED來表示NER模塊的結(jié)構(gòu)。為了進(jìn)一步說明BiLSTM-ED對(duì)實(shí)體提取任務(wù)的有效性，我們將BiLSTM-ED與其不同的變異和其他有效的序列標(biāo)記模型進(jìn)行了比較。對(duì)比方法是：

• NER:BiLSTM-ED
• 對(duì)比
  • Forward-LSTM：使用單向LSTM對(duì)從w 1到w n的輸入語句進(jìn)行編碼，然后還應(yīng)用LSTM結(jié)構(gòu)對(duì)實(shí)體標(biāo)簽進(jìn)行解碼。
  • Backward-LSTM ：具有與Forward-LSTM類似的方式，不同之處在于從w n到w 1的編碼順序。
  • BiLSTM-NN：使用雙向LSTM編碼輸入語句，并使用前饋神經(jīng)網(wǎng)絡(luò)（NN）體系結(jié)構(gòu)預(yù)測(cè)實(shí)體標(biāo)簽。它忽略了標(biāo)簽之間的關(guān)系。
  • BiLSTM-NN-2 [8]Miwa：使用雙向LSTM編碼輸入句子，并通過考慮相鄰標(biāo)簽信息而不是標(biāo)簽之間的長(zhǎng)距離關(guān)系使用新穎的前饋神經(jīng)網(wǎng)絡(luò)（NN）。
  • CRF [53]:是經(jīng)典且有效的序列標(biāo)記模型。在本節(jié)中，我們使用CRF作為強(qiáng)大的比較方法之一，并且CRF中使用的功能與所使用的[3]相同。
    
• 結(jié)論：
  • 考慮其他標(biāo)簽信息好于不考慮
    • BiLSTM-NN-2>BiLSTM-NN
  • 考慮長(zhǎng)距離標(biāo)簽信息比僅考慮相鄰標(biāo)簽信息好
    • BiLSTM-ED>BiLSTM-NN-2

5.2. Analysis of relation classi?cation module

在關(guān)系分類模塊中，我們使用兩種信息：實(shí)體之間的子句和從雙向LSTM層獲得的實(shí)體的編碼信息。為了說明我們考慮過的這些信息的有效性，

• RC
  • 信息有效性：
    • 實(shí)體間子句
    • 實(shí)體編碼信息（LSTM)
• 實(shí)驗(yàn)
  • pipeline:我們首先使用NER模塊檢測(cè)句子中的實(shí)體，然后使用步驟1的正確實(shí)體識(shí)別結(jié)果來測(cè)試RC模塊。
  • Full-CNN使用整個(gè)句子來識(shí)別實(shí)體的關(guān)系。
  • sub-CNN僅使用兩個(gè)實(shí)體之間的子句。
  • Sub-CNN-H：子句+實(shí)體編碼信息
• 結(jié)果
  • Full-CNN<sub-CNN<sub-CNN-H
    

5.3. The effect of two entities’ distance

• sub-CNN來獲取下圖
  

從圖4中，我們知道當(dāng)水平軸是兩個(gè)實(shí)體之間的距離時(shí)，數(shù)據(jù)分布顯示長(zhǎng)尾屬性。因此，我們?cè)O(shè)置閾值L max來過濾數(shù)據(jù)。如果兩個(gè)實(shí)體的距離大于L max，我們認(rèn)為這兩個(gè)實(shí)體沒有任何關(guān)系。為了分析閾值L max的影響，我們使用Sub-CNN來基于不同的L max值來預(yù)測(cè)實(shí)體關(guān)系。效果如圖5所示.L max越小，過濾的數(shù)據(jù)越多。因此，如果L max太小，它可能會(huì)過濾正確的數(shù)據(jù)并使F 1結(jié)果下降。如果L max太大，則無法過濾噪聲數(shù)據(jù)，這也可能損害最終結(jié)果。圖5顯示當(dāng)L max在10和25之間時(shí)，它可以表現(xiàn)良好。該范圍也與圖4的統(tǒng)計(jì)結(jié)果相匹配。

• Lmax用以過濾數(shù)據(jù)
  • 因?yàn)殚L(zhǎng)尾性
  • 結(jié)果與統(tǒng)計(jì)相符合

5.4. Error analysis

• 對(duì)角線：正確結(jié)果
• 其他：錯(cuò)誤結(jié)果
• 結(jié)果顯示：
  • 除了“P-S”.其他表現(xiàn)良好
    • 原因：
      • 測(cè)試集中“P-S”少，因此“P-S”無法反應(yīng)真實(shí)分布.
      • “person-social”.多是代詞，難以判別
  • 大多數(shù)被預(yù)測(cè)為了Other(忽略了某些關(guān)系）
    • 我們還可以看到預(yù)測(cè)關(guān)系的分布相對(duì)分散在“OTHER”的第一行，這意味著大多數(shù)特定關(guān)系類可以被預(yù)測(cè)為“OTHER”。
    • 也就是說，我們無法識(shí)別某些關(guān)系，直接導(dǎo)致相對(duì)較低的召回率。
    • 從“OTHER”的第一列，我們可以看到，如果兩個(gè)實(shí)體之間沒有關(guān)系，那么模型就可以被有效地區(qū)分開來。
  • 具有相反方向的相同關(guān)系類型易于混淆
    • 例如：P-W（e2e1）和P-W（e1e2），ART（e1e1）和ART（e2e1），O-A（e1e1）和O-A（e2e1）。
    • 原因是相同的關(guān)系類型總是具有類似的描述，即使它們不在同一方向上。

6. Conclusion

實(shí)體和關(guān)系抽取是知識(shí)提取中的一個(gè)重要問題，在知識(shí)庫的自動(dòng)構(gòu)建中起著至關(guān)重要的作用。在本文中，我們提出了一種混合神經(jīng)網(wǎng)絡(luò)模型來提取實(shí)體及其語義關(guān)系，而不需要任何手工制作的特征。當(dāng)與其他基于神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行比較時(shí)，我們的方法考慮了實(shí)體標(biāo)簽之間的長(zhǎng)距離關(guān)系。為了說明我們的方法的有效性，我們?cè)诠矓?shù)據(jù)集ACE05（自動(dòng)內(nèi)容提取程序）上進(jìn)行了實(shí)驗(yàn)。公共數(shù)據(jù)集ACE05的實(shí)驗(yàn)結(jié)果驗(yàn)證了我們方法的有效性。在未來，我們將探索如何基于神經(jīng)網(wǎng)絡(luò)更好地鏈接這兩個(gè)模塊，以便它可以更好地執(zhí)行。此外，我們還需要解決忽視某些關(guān)系的問題，并試圖提升召回價(jià)值。

參考文獻(xiàn)

[1] D. Nadeau , S. Sekine , A survey of named entity recognition and classification, Lingvisticae Investigationes 30 (1) (2007) 3–26 .
[2] B. Rink , Utd: classifying semantic relations by combining lexical and semantic resources, in: Proceedings of the 5th International Workshop on Semantic Evaluation, 2010, pp. 256–259 .
[3] Q. Li , H. Ji , Incremental joint extraction of entity mentions and relations., in: Proceedings of the 52rd Annual Meeting of the Association for Computational Linguistics, 2014, pp. 402–412 .
[4] M. Miwa , Y. Sasaki , Modeling joint entity and relation extraction with table representation., in: Proceedings of Conference on Empirical Methods in Natural Language Processing, 2014, pp. 1858–1869 .
[5] Y.S. Chan , D. Roth , Exploiting syntactico-semantic structures for relation extraction, in: Proceedings of the 49rd Annual Meeting of the Association for Computational Linguistics, 2011, pp. 551–560 .
[6] X. Yu , W. Lam , Jointly identifying entities and extracting relations in encyclopedia text via a graphical model approach, in: Proceedings of the 21th COLING International Conference, 2010, pp. 1399–1407 .
[7] L. Li , J. Zhang , L. Jin , R. Guo , D. Huang , A distributed meta-learning system for chinese entity relation extraction, Neurocomputing 149 (2015) 1135–1142 .
[8] M. Miwa , M. Bansal , End-to-end relation extraction using lstms on sequences and tree structures, in: Proceedings of the 54rd Annual Meeting of the Association for Computational Linguistics, 2016 .
[9] C.N. dos Santos , B. Xiang , B. Zhou , Classifying relations by ranking with convolutional neural networks, in: Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, vol. 1, 2015, pp. 626–634 .
[10] Y. Xu , L. Mou , G. Li , Y. Chen , H. Peng , Z. Jin , Classifying relations via long short term memory networks along shortest dependency paths, in: Proceedings of Conference on Empirical Methods in Natural Language Processing, 2015 .
[11] L. Zou , R. Huang , H. Wang , J.X. Yu , W. He , D. Zhao , Natural language question answering over RDF: a graph data driven approach, in: Proceedings of the 2014 ACM SIGMOD international conference on Management of data, ACM, 2014, pp. 313–324 .
[12] J. Sang , C. Xu , J. Liu , User-aware image tag refinement via ternary semantic analysis, IEEE Trans. Multimed. 14 (3) (2012) 883–895 .
[13] J. Sang , C. Xu , Right buddy makes the difference: An early exploration of social relation analysis in multimedia applications, in: Proceedings of the 20th ACM International Conference on Multimedia, ACM, 2012, pp. 19–28 .
[14] G. Luo , X. Huang , C.-Y. Lin , Z. Nie , Joint entity recognition and disambiguation, in: Proceedings of the Conference on Empirical Methods in Natural Language Processing, 2015, pp. 879–888 .
[m5G; March 8, 2017;1:24 ] 7
[15] J.P. Chiu, E. Nichols, Named entity recognition with bidirectional lstm-cnns, arXiv: 1511.08308 (2015).
[16] Z. Huang, W. Xu, K. Yu, Bidirectional lstm-crf models for sequence tagging, arXiv: 1508.01991 (2015).
[17] G. Lample , M. Ballesteros , S. Subramanian , K. Kawakami , C. Dyer , Neural architectures for named entity recognition, in: Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics, 2016 .
[18] K. Xu Y. Feng, S. Huang, D. Zhao, Semantic relation classification via convolutional neural networks with simple negative sampling, arXiv: 1506.07650 (2015).
[19] D. Zeng , K. Liu , G. Zhou , J. Zhao , Relation classification via convolutional deep neural network, in: Proceedings of the 25th COLING International Conference, 2014, pp. 2335–2344 .
[20] A. Passos , V. Kumar , A. McCallum , Lexicon infused phrase embeddings for named entity resolution, in: Proceedings of the International Conference on Computational Linguistics, 2014, pp. 78–86 .
[21] R. Collobert , J. Weston , L. Bottou , M. Karlen , K. Kavukcuoglu , P. Kuksa , Natural language processing (almost) from scratch, J. Mach. Learn. Res. 12 (2011) 2493–2537 .
[22] X. Ma, E. Hovy, End-to-end sequence labeling via bi-directional lstm-cnns-crf, arXiv: 1603.01354 (2016).
[23] N. Kambhatla , Combining lexical, syntactic, and semantic features with maximum entropy models for extracting relations, in: Proceedings of the 43th ACL International Conference, 2004, p. 22 .
[24] R. Socher , B. Huval , C.D. Manning , A.Y. Nq , Semantic compositionality through recursive matrix-vector spaces, in: Proceedings of the EMNLP International Conference, 2012, pp. 1201–1211 .
[25] M. Yu , M. Gormleyl , M. Dredze , Factor-based compositional embedding models, in: Proceedings of the NIPS Workshop on Learning Semantics, 2014 .
[26] X. Yan , L. Moul , G. Li , Y. Chen , H. Peng , Z. Jin , Classifying relations via long short term memory networks along shortest dependency paths, in: Proceedings of EMNLP International Conference, 2015 .
[27] C.N. dos Santos , B. Xiangl , B. Zhou , Classifying relations by ranking with convolutional neural networks, in: Proceedings of the 53th ACL International Conference, vol. 1, 2015, pp. 626–634 .
[28] T.-V.T. Nguyen , A. Moschittil , G. Riccardi , Convolution kernels on constituent, dependency and sequential structures for relation extraction, in: Proceedings of the EMNLP International Conference, 2009, pp. 1378–1387 .
[29] P. Qin , W. Xu , J. Guo , An empirical convolutional neural network approach for semantic relation classification, Neurocomputing 190 (2016) 1–9 .
[30] S. Zheng , J. Xu , P. Zhou , H. Bao , Z. Qi , B. Xu , A neural network framework for relation extraction: Learning entity semantic and relation pattern, Knowl. Based Syst. 114 (2016) 12–23 .
[31] D. Zhang D. Wang, Relation classification via recurrent neural network, arXiv: 1508.01006 (2015).
[32] J. Ebrahimi , D. Dou ,Chain based RNN for relation classification, in: Proceedings of the NAACL International Conference, 2015, pp. 1244–1249 .
[33] S. Zhang , D. Zheng , X. Hu , M. Yang , Bidirectional long short-term memory networks for relation classification, in: Proceedings of the Pacific Asia Conference on Language, Information and Computation, 2015, pp. 73–78 .
[34] L. Sun , X. Han , A feature-enriched tree kernel for relation extraction, in: Proceedings of the 52th ACL International Conference, 2014, pp. pages 61– 67 .
[35] D. Roth , W.-t. Yih , Global inference for entity and relation identification via a linear programming formulation, in: Introduction to Statistical Relational Learning, 2007, pp. 553–580 .
[36] B. Yang , C. Cardie , Joint inference for fine-grained opinion extraction., in: Proceedings of the 51rd Annual Meeting of the Association for Computational Linguistics, 2013, pp. 1640–1649 .
[37] S. Singh , S. Riedel , B. Martin , J. Zheng , A. McCallum ,Joint inference of entities, relations, and coreference, in: Proceedings of the 2013 Workshop on Automated Knowledge Base Construction, ACM, 2013, pp. 1–6 .
[38] Y. LeCun , L. Bottou , Y. Bengio , P. Haffner , Gradient-based learning applied to document recognition, Proc. IEEE 86 (11) (1998) 2278–2324 .
[39] J. Yu, X. Yang, F. Gao, D. Tao, Deep multimodal distance metric learning using click constraints for image ranking, IEEE Trans. Cybern. (2016), doi: 10.1109/ TCYB.2016.2591583 .
[40] J. Yu , B. Zhang , Z. Kuang , D. Lin , J. Fan , Image privacy protection by identifying sensitive objects via deep multi-task learning, in: Proceedings of the IEEE Transactions on Information Forensics and Security, 2016 .
[41] Y. Kim , Convolutional neural networks for sentence classification, in: Proceedings of the EMNLP International Conference, 2014 .
[42] N. Kalchbrenner , E. Grefenstette , P. Blunsom ,A convolutional neural network for modelling sentences, in: Proceedings of the 52th ACL International Conference, 2014 .
[43] P. Wang , B. Xu , J. Xu , G. Tian , C.-L. Liu , H. Hao , Semantic expansion using word embedding clustering and convolutional neural network for improving short text classification, Neurocomputing 174 (2016) 806–814 .
[44] X. Zhu , P. Sobihani , H. Guo , Long short-term memory over recursive structures, in: Proceedings of the 32nd International Conference on Machine Learning (ICML-15), 2015, pp. 1604–1612 .
[45] A. Graves , Supervised Sequence Labelling, Springer, 2012 . [46] M.-T. Luong , I. Sutskever , Q.V. Le , O. Vinyals , W. Zaremba , Addressing the rare word problem in neural machine translation, in: Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, 2015, pp. 11–19 .
[47] R. Kiros , Y. Zhu , R.R. Salakhutdinov , R. Zemel , R. Urtasun , A. Torralba , S. Fidler , Skip-thought vectors, in: Proceedings of the Advances in Neural Information Processing Systems, 2015, pp. 3276–3284 .
[48] L. Ratinov , D. Roth , Design challenges and misconceptions in named entity recognition, in: Proceedings of the Thirteenth Conference on Computational Natural Language Learning, Association for Computational Linguistics, 2009, pp. 147–155 .
[49] N. Kalchbrenner , E. Grefenstette , P. Blunsom ,A convolutional neural network for modelling sentences, in: Proceedings of Conference on Empirical Methods in Natural Language Processing, 2014 .
[50] K. Duan , S.S. Keerthi , W. Chu , S.K. Shevade , A.N. Poo , Multi-category classification by soft-max combination of binary classifiers, in: Multiple Classifier Systems, Springer, 2003, pp. 125–134 .
[51] G.E. Dahl , T.N. Sainath , G.E. Hinton , Improving deep neural networks for LVCSR using rectified linear units and dropout, in: Proceedings of the ICASSP, 2013, pp. 8609–8613 .
[52] T. Tieleman , G. Hinton , Lecture 6.5-rmsprop, COURSERA: Neural networks for machine learning (2012) .
[53] J. Lafferty , A. McCallum , F. Pereira , Conditional random fields: Probabilistic models for segmenting and labeling sequence data, in: Proceedings of the Eighteenth International Conference on Machine Learning, ICML, vol. 1, 2001, pp. 282–289 .
[54] S.J. Phillips , R.P. Anderson , R.E. Schapire , Maximum entropy modeling of species geographic distributions, Ecol. Modell. 190 (3) (2006) 231–259 .

總結(jié)

以上是生活随笔為你收集整理的20-Joint entity and relation extraction based on a hybrid neural network(LSTM-ED+CNN),考虑长距离的实体标签之间的关的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。