論文筆記整理：申時榮，東南大學博士生。

---

來源：ICML 2020

鏈接：http://arxiv.org/abs/2007.02387

一、介紹

????? 本文研究了少樣本關系提取，旨在通過訓練每個關系少量帶有標記示例的句子來預測句子中一對實體的關系。為了更有效地推廣到新的關系，在本文中，我們研究了不同關系之間的相關性，并提出利用全局關系圖。我們提出一種新穎的貝葉斯元學習方法，以有效地學習關系原型向量的后驗分布，其中原型向量的初始先驗是通過全局關系圖上的圖神經網絡進行參數化的。此外，為了有效地優化原型向量的后驗分布，我們建議使用與MAML算法有關但能夠處理原型向量不確定性的隨機梯度Langevin動力學。可以以端到端的方式有效，高效地優化整個框架。在兩個基準數據集上進行的實驗證明了我們提出的方法在少樣本和零樣本設置下針對競爭基準的有效性。

二、問題定義

????? 少樣本關系抽取是許多研究領域的重要任務，其目的在于只給定少量標注樣本的前提下預測給定句子的兩個實體之間的關系。但是，由于標注數據中的信息有限，結果仍然不能令人滿意。為了進一步改善結果，應考慮增加另一個數據源。在本文中，我們建議使用全局關系圖研究少數關系提取，其中描述所有可能關系的全局圖假定為額外的數據源。更正式地說，我們將全局關系圖表示為G =（R; L），其中R是所有可能關系的集合，而L是不同關系之間的鏈接的集合。鏈接的關系可能具有更多相似的語義。每個類別有支撐的標注樣本集記做S={Xs}，對應的用于測試的樣本集為查詢集記做Q={Xq}。

三、模型

????? 首先模型的整體目標是優化一下目標函數：

????? 上式可以變化為

其中VT是關系類別的原型向量。

????? 其中有XQ和VT得到yQ的概率通過如下的式子得到

通過計算余弦相似度的歸一化得到。（每個V均進行了模長歸一化，ε表示除以模長操作）。

????? 我們還有

其中

hr是通過圖卷積對關系圖編碼得到的

另外

四、訓練優化

????? 訓練過程的目標函數為

但是求期望的過程中需要對v進行采樣，所以我們采用了如下的方法，首先初始化v

mr是support set中的關系編碼的均值，m是所有關系樣本編碼的均值，hr是圖卷積的輸出。之后更新原型向量v

隨后在query集合上更新。

五、實驗結果

????? 實驗數據

實驗結果

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 - ICML2020 | 通过关系图上的贝叶斯元学习进行少样本关系提取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。