Exploiting the Syntax-Model Consistency for Neural Relation Extraction

1.論文中，首先使用深度學習模型中單詞的表示向量來計算每個單詞的另一個重要性得分（稱為基于模型的重要性得分）。這些基于模型的重要性評分有望量化單詞所貢獻的語義信息，從而成功預測輸入實體所提及的關系。

之后，建議通過強制基于模型的重要性分數與語法對應項一致（即通過KL散度），將基于語法的重要性分數注入到RE的深度學習模型中。

一致性實施的動機是提升重要性分數，作為傳遞語法信息的橋梁，以豐富RE的深度學習模型中的表示向量。

2.ON-LSTM通過在隱藏矢量計算中引入兩個額外的門（即主忘記門和輸入門）來擴展流行的長期短期存儲網絡（LSTM）。

建議不要只依賴當前單詞，而要獲得該句子的整體表示，用作輸入以計算該單詞中每個單詞的主門和重要性得分。

CEON-LSTM ：基于輸入表示序列x1，x2，...的變換向量的加權和，獲得ON-LSTM每一步t的表示向量：

用先前步驟中的上下文信息（即，以ht-1編碼）豐富當前步驟的注意力權重，從而為上下文輸入的輸入表示x’t包含更豐富的主門信息。

3.引入了一個約束，以通過最小化歸一化得分之間的KL差異Limport來鼓勵單詞的基于模型和基于語法的重要性得分（即modt和synt）之間的一致性:

單詞wt∈W的基于語法的重要性評分語法計算為T(在依賴樹W中任意對單詞之間的最長路徑的長度)與依賴關系樹中wt與DP(兩個實體ws和wo之間的最短依賴路徑)中wt和某個單詞之間的最短路徑的長度之間的差（即，DP上的單詞的得分為T）。

4.為了進一步改善通過深度學習模型為RE所學習的表示形式，文中引入了一種新的歸納偏置，以促進整個句子的表示向量與沿著兩個實體提及之間最短依賴路徑的單詞之間的相似性。

首先通過對CEON-LSTM隱藏向量h1，h2，...hN分別應用最大池運算，分別獲得句子W和沿DP的單詞的表示向量RW和RDP，對于W和DP中的單詞。

，

下一步，通過最大限度地減小它們的負余弦相似度，即在總損失函數中添加以下術語Lpath，來促進RW和RDP之間的相似性:

5.將V(整體表示向量來預測W中ws和wo之間的關系：V = [xs，xo，hs，ho，RW])饋入最后一個帶有softmax層的前饋神經網絡，以估計W可能關系上的概率分布P（.| W，ws，wo）。然后負對數似然函數作為模型的損失函數：（y是W中ws和wo的黃金關系標簽）。

最終，模型在這項工作中的總體損失函數為：。

總結

以上是生活随笔為你收集整理的Exploiting the Syntax-Model Consistency for Neural Relation Extraction-学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。