Citation: Ji,G., Liu, K., He, S., & Zhao, J. (2017). Distant Supervision for RelationExtraction with Sentence-Level Attention and Entity Descriptions. Ai,3060–3066.

動機

關系抽取的遠程監督方法通過知識庫與非結構化文本對其的方式，自動標注數據，解決人工標注的問題。但是，現有方法存在無法選擇有效的句子、缺少實體知識的缺陷。無法選擇有效的句子是指模型無法判斷關系實例對應的句子集（bag）中哪個句子是與關系相關的，在建模時能會將不是表達某種關系的句子當做表達這種關系的句子，或者將表達某種關系的句子當做不表達這種關系的句子，從而引入噪聲數據；缺少實體知識是指，例如下面的例句種，如果不知道 Nevada 和 Las Vegas 是兩座城市，則很難判斷他們知識是地理位置上的包含關系。

本文為了引入更豐富的信息，從 Freebase 和 Wikipedia 頁面中抽取實體描述，借鑒表示學習的思想學習得到更好的實體表示，并提出一種句子級別的注意力模型。本文提出的模型更好地實現注意力機制，有效降低噪聲句子的影響，性能上達到當前最優。

貢獻

文章的貢獻有：

（1）引入句子級別的注意力模型來選擇一個 bag 中的多個有用的句子，從而充分利用 bag 種的有用信息；

（2）使用實體描述來為關系預測和實體表達提供背景信息；

（3）實驗效果表面，本文提出的方法是 state-of-the-art 的。

方法

本文的方法包括三個部分：（1）句子特征提取；（2）實體表示；（3）bag特征提取；

• 句子特征提取

模型結構如下圖（a）所示，模型流程是：

（1）使用詞向量和位置向量相連接作為單詞表示，句子的詞表示序列作為模型的輸入；

（2）使用卷積神經網絡對輸入層提取特征，然后做piecewise最大池化，形成句子的特征表示；

• 實體表示

實體表示在詞向量的基礎上，使用實體描述信息對向量表示進行調整，形成最終的實體向量表示。

模型主要思想是，使用CNN對實體的描述信息進行特征提取，得到的特征向量作為實體的特征表示，模型的訓練目標是使得實體的詞向量表示和從描述信息得到的實體特征表示盡可能接近。

?

• Bag 特征提取

Bag 特征提取模型的關鍵在句子權重學習，在得到 bag 中每個句子的權重后，對 bag 中所有句子的特征向量進行加權求和，得到bag的特征向量表示。模型中用到了類似TransE的實體關系表示的思想：e1+r=e2。使用（e2-e1）作為實體間關系信息的表達，與句子特征向量相拼接，進行后續的權重學習。

Bag 特征提取模型如上圖（b）所示：

（1）使用bag中的所有句子的特征向量表示，結合e2-e1方式得到的關系表示，作為模型的輸入；

（2）利用權重學習矩陣，得到每個句子的權重；

（3） 對句子進行加權求和，得到 bag 的最終表示；

實驗

文章在遠程監督常用的數據集（Rediel 2010）上，按照常規的遠程監督的實驗思路，分別進行了 heldout 和 manual 實驗。Heldout 實驗即使用知識庫中已有的關系實例標注測試集，驗證模型的性能，結果如下面的 Precision-Recall 圖所示，超過其他最好的方法。

Manual 實驗對知識庫中不存在的關系實例進行預測，然后使用人工標注預測結果的正確性，使用 top-K 作為評測指標，結果如下表所示，本文提出的方法也達到了當前最好的效果。

此外，實驗還通過 case study，研究了模型對于 bag 中每個句子的注意力分配效果，表明本模型可以有效地區分有用的句子和噪聲句子，且本文的引入實體描述可以使得模型得到更好的注意力分配。

?

論文筆記整理：劉兵，東南大學博士，研究方向為自然語言處理、機器學習。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | Distant Supervision for Relation Extraction的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。