Exploiting the Syntax-Model Consistency for Neural Relation Extraction

1.論文中，首先使用深度學(xué)習(xí)模型中單詞的表示向量來計(jì)算每個(gè)單詞的另一個(gè)重要性得分（稱為基于模型的重要性得分）。這些基于模型的重要性評(píng)分有望量化單詞所貢獻(xiàn)的語義信息，從而成功預(yù)測(cè)輸入實(shí)體所提及的關(guān)系。

之后，建議通過強(qiáng)制基于模型的重要性分?jǐn)?shù)與語法對(duì)應(yīng)項(xiàng)一致（即通過KL散度），將基于語法的重要性分?jǐn)?shù)注入到RE的深度學(xué)習(xí)模型中。

一致性實(shí)施的動(dòng)機(jī)是提升重要性分?jǐn)?shù)，作為傳遞語法信息的橋梁，以豐富RE的深度學(xué)習(xí)模型中的表示向量。

2.ON-LSTM通過在隱藏矢量計(jì)算中引入兩個(gè)額外的門（即主忘記門和輸入門）來擴(kuò)展流行的長期短期存儲(chǔ)網(wǎng)絡(luò)（LSTM）。

建議不要只依賴當(dāng)前單詞，而要獲得該句子的整體表示，用作輸入以計(jì)算該單詞中每個(gè)單詞的主門和重要性得分。

CEON-LSTM ：基于輸入表示序列x1，x2，...的變換向量的加權(quán)和，獲得ON-LSTM每一步t的表示向量：

用先前步驟中的上下文信息（即，以ht-1編碼）豐富當(dāng)前步驟的注意力權(quán)重，從而為上下文輸入的輸入表示x’t包含更豐富的主門信息。

3.引入了一個(gè)約束，以通過最小化歸一化得分之間的KL差異Limport來鼓勵(lì)單詞的基于模型和基于語法的重要性得分（即modt和synt）之間的一致性:

單詞wt∈W的基于語法的重要性評(píng)分語法計(jì)算為T(在依賴樹W中任意對(duì)單詞之間的最長路徑的長度)與依賴關(guān)系樹中wt與DP(兩個(gè)實(shí)體ws和wo之間的最短依賴路徑)中wt和某個(gè)單詞之間的最短路徑的長度之間的差（即，DP上的單詞的得分為T）。

4.為了進(jìn)一步改善通過深度學(xué)習(xí)模型為RE所學(xué)習(xí)的表示形式，文中引入了一種新的歸納偏置，以促進(jìn)整個(gè)句子的表示向量與沿著兩個(gè)實(shí)體提及之間最短依賴路徑的單詞之間的相似性。

首先通過對(duì)CEON-LSTM隱藏向量h1，h2，...hN分別應(yīng)用最大池運(yùn)算，分別獲得句子W和沿DP的單詞的表示向量RW和RDP，對(duì)于W和DP中的單詞。

，

下一步，通過最大限度地減小它們的負(fù)余弦相似度，即在總損失函數(shù)中添加以下術(shù)語Lpath，來促進(jìn)RW和RDP之間的相似性:

5.將V(整體表示向量來預(yù)測(cè)W中ws和wo之間的關(guān)系：V = [xs，xo，hs，ho，RW])饋入最后一個(gè)帶有softmax層的前饋神經(jīng)網(wǎng)絡(luò)，以估計(jì)W可能關(guān)系上的概率分布P（.| W，ws，wo）。然后負(fù)對(duì)數(shù)似然函數(shù)作為模型的損失函數(shù)：（y是W中ws和wo的黃金關(guān)系標(biāo)簽）。

最終，模型在這項(xiàng)工作中的總體損失函數(shù)為：。

總結(jié)

以上是生活随笔為你收集整理的Exploiting the Syntax-Model Consistency for Neural Relation Extraction-学习笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。