論文筆記整理：申時(shí)榮，東南大學(xué)博士生。

---

來源：ICML 2020

鏈接：http://arxiv.org/abs/2007.02387

一、介紹

????? 本文研究了少樣本關(guān)系提取，旨在通過訓(xùn)練每個(gè)關(guān)系少量帶有標(biāo)記示例的句子來預(yù)測(cè)句子中一對(duì)實(shí)體的關(guān)系。為了更有效地推廣到新的關(guān)系，在本文中，我們研究了不同關(guān)系之間的相關(guān)性，并提出利用全局關(guān)系圖。我們提出一種新穎的貝葉斯元學(xué)習(xí)方法，以有效地學(xué)習(xí)關(guān)系原型向量的后驗(yàn)分布，其中原型向量的初始先驗(yàn)是通過全局關(guān)系圖上的圖神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)化的。此外，為了有效地優(yōu)化原型向量的后驗(yàn)分布，我們建議使用與MAML算法有關(guān)但能夠處理原型向量不確定性的隨機(jī)梯度Langevin動(dòng)力學(xué)。可以以端到端的方式有效，高效地優(yōu)化整個(gè)框架。在兩個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)證明了我們提出的方法在少樣本和零樣本設(shè)置下針對(duì)競(jìng)爭(zhēng)基準(zhǔn)的有效性。

二、問題定義

????? 少樣本關(guān)系抽取是許多研究領(lǐng)域的重要任務(wù)，其目的在于只給定少量標(biāo)注樣本的前提下預(yù)測(cè)給定句子的兩個(gè)實(shí)體之間的關(guān)系。但是，由于標(biāo)注數(shù)據(jù)中的信息有限，結(jié)果仍然不能令人滿意。為了進(jìn)一步改善結(jié)果，應(yīng)考慮增加另一個(gè)數(shù)據(jù)源。在本文中，我們建議使用全局關(guān)系圖研究少數(shù)關(guān)系提取，其中描述所有可能關(guān)系的全局圖假定為額外的數(shù)據(jù)源。更正式地說，我們將全局關(guān)系圖表示為G =（R; L），其中R是所有可能關(guān)系的集合，而L是不同關(guān)系之間的鏈接的集合。鏈接的關(guān)系可能具有更多相似的語義。每個(gè)類別有支撐的標(biāo)注樣本集記做S={Xs}，對(duì)應(yīng)的用于測(cè)試的樣本集為查詢集記做Q={Xq}。

三、模型

????? 首先模型的整體目標(biāo)是優(yōu)化一下目標(biāo)函數(shù)：

????? 上式可以變化為

其中VT是關(guān)系類別的原型向量。

????? 其中有XQ和VT得到y(tǒng)Q的概率通過如下的式子得到

通過計(jì)算余弦相似度的歸一化得到。（每個(gè)V均進(jìn)行了模長(zhǎng)歸一化，ε表示除以模長(zhǎng)操作）。

????? 我們還有

其中

hr是通過圖卷積對(duì)關(guān)系圖編碼得到的

另外

四、訓(xùn)練優(yōu)化

????? 訓(xùn)練過程的目標(biāo)函數(shù)為

但是求期望的過程中需要對(duì)v進(jìn)行采樣，所以我們采用了如下的方法，首先初始化v

mr是support set中的關(guān)系編碼的均值，m是所有關(guān)系樣本編碼的均值，hr是圖卷積的輸出。之后更新原型向量v

隨后在query集合上更新。

五、實(shí)驗(yàn)結(jié)果

????? 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)結(jié)果

---

?

OpenKG

開放知識(shí)圖譜（簡(jiǎn)稱 OpenKG）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識(shí)圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - ICML2020 | 通过关系图上的贝叶斯元学习进行少样本关系提取的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。