论文浅尝 | AAAI2020 - 基于生成对抗的知识图谱零样本关系学习
論文筆記整理：耿玉霞，浙江大學(xué)直博生。研究方向：知識圖譜，零樣本學(xué)習(xí)等。
??
來源：AAAI2020
論文鏈接：https://arxiv.org/pdf/2001.02332.pdf
?
本文是發(fā)表在AAAI2020上的一篇基于生成對抗網(wǎng)絡(luò)進(jìn)行知識圖譜零樣本關(guān)系學(xué)習(xí)的文章。在知識圖譜表示學(xué)習(xí)（KG Embedding）的相關(guān)工作中，會出現(xiàn)一些未在訓(xùn)練數(shù)據(jù)集中出現(xiàn)過的關(guān)系（即 zero-shot relations），由于relation及其相關(guān)的三元組沒有在訓(xùn)練數(shù)據(jù)集中出現(xiàn)過，則無法獲得該relation訓(xùn)練好的向量表示，從而無法進(jìn)行鏈接預(yù)測等下游任務(wù)。在這篇文章中，作者提出利用這些relations的文本描述信息以及生成對抗網(wǎng)絡(luò)，為這些zero-shot relations學(xué)習(xí)到有語義意義的向量表示，從而避免KG中存在新出現(xiàn)的關(guān)系時，表示學(xué)習(xí)模型需要重新訓(xùn)練的問題。
?
1. 相關(guān)背景
1.1 基于生成對抗網(wǎng)絡(luò)的零樣本學(xué)習(xí)
零樣本學(xué)習(xí)，即處理那些未在訓(xùn)練集中出現(xiàn)過的類別的分類問題。在訓(xùn)練集中出現(xiàn)過的類別（即seen classes），有訓(xùn)練數(shù)據(jù)，此類classes經(jīng)訓(xùn)練具備一定分類該類測試樣本的能力；而未在訓(xùn)練集中出現(xiàn)過的類別（即unseen classes），無訓(xùn)練數(shù)據(jù)，此類classes測試樣本的分類/預(yù)測依賴與seen classes建立一定的語義聯(lián)系（如文本描述、屬性描述等），遷移相關(guān)seen classes的樣本特征，使得unseen classes的樣本特征得到學(xué)習(xí)，并最終實現(xiàn)分類。
近年來，隨著生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks, GANs）在生成圖片等方面的成熟運用，許多研究者將GANs引入零樣本學(xué)習(xí)中，為unseen classes，這些缺少樣本的classes生成訓(xùn)練樣本，使得零樣本學(xué)習(xí)轉(zhuǎn)化為傳統(tǒng)的監(jiān)督學(xué)習(xí)，從而對unseen classes測試樣本進(jìn)行預(yù)測。
此類方法的一般框架為：基于類別的語義描述（文本描述等）及一些隨機噪聲，輸入到GAN的生成器（Generator）中，生成該類別對應(yīng)的樣本特征；同時，在判別器（Discriminator）中，將生成的樣本（fake data）與真實樣本的特征（real data）經(jīng)過對抗，使得生成器生成高質(zhì)量的樣本。經(jīng)過訓(xùn)練的生成對抗網(wǎng)絡(luò)，具備為unseen classes生成樣本的能力。
?
1.2 知識圖譜中的零樣本關(guān)系學(xué)習(xí)
知識圖譜的表示學(xué)習(xí)通常用于知識圖譜的補全（鏈接預(yù)測等）任務(wù)，對于一個三元組，在給定頭實體（head entity）及關(guān)系的情況下，預(yù)測其對應(yīng)的尾實體（tail entity）。這篇文章的作者們考慮了KG中的零樣本關(guān)系學(xué)習(xí)，即對于新出現(xiàn)的一些關(guān)系，在不經(jīng)過表示學(xué)習(xí)算法重新訓(xùn)練的情況下，依然能在這些關(guān)系上進(jìn)行鏈接預(yù)測的任務(wù)。
考慮KG中存在一些由seen relations組成的訓(xùn)練數(shù)據(jù)集：? ? ? ? ? ? ?，其對應(yīng)的測試集由unseen relations組成：? ? ? ? ? ? ?，零樣本學(xué)習(xí)算法最終的任務(wù)即為這些unseen relations涉及到的head entity預(yù)測其對應(yīng)的tail entity。值得注意的是，本篇文章的問題設(shè)定集中在處理zero-shot relations，未考慮會出現(xiàn)一些新的實體，即KG中的實體在訓(xùn)練集和測試集中都出現(xiàn)過。換句話說，在測試時，對于KG中已經(jīng)存在的實體添加了一些zero-shot relations，預(yù)測它們是否構(gòu)成一個完整的三元組。
?
2. 算法模型
因此，本文提出使用生成對抗網(wǎng)絡(luò)為知識圖譜中的unseen relations生成特征表示，從而解決知識圖譜中的零樣本關(guān)系學(xué)習(xí)問題。本文的框架如下圖所示。
? ? ? ? ? ? ?
其中，
生成器（G）：利用關(guān)系的描述文本，生成關(guān)系的特征表示向量（即relation embedding），此向量蘊含了KG中的語義信息；
判別器（D）：分類/判別生成樣本和測試樣本，并且為保證生成樣本的質(zhì)量，對生成的樣本進(jìn)行分類，使得樣本具有inter discriminative的特征；
預(yù)訓(xùn)練的特征編碼器：編碼某關(guān)系對應(yīng)的三元組（即獲取真實樣本的特征分布）。
下面將詳細(xì)介紹這三個部分。
?
2.1 特征編碼器
對于某關(guān)系r，存在一系列的實體對集合，這些實體對描述了該關(guān)系的樣本特征分布。對于其中的每一對實體，特征編碼器首先通過一個entity encoder和一個neighbor encoder捕獲這些實體對的蘊含的特征；隨后，得到實體對的表示后，特征編碼器再組合得到該關(guān)系的表示。
Entity encoder首先將實體 ?經(jīng)過一個全連接層，隨后將實體對對應(yīng)的兩個實體進(jìn)行拼接，得到 ：
? ? ? ? ? ? ?
其次，neighbor encoder將實體對中每一個實體對應(yīng)周圍一跳范圍的關(guān)系和實體進(jìn)行編碼，具體地，對于實體周圍一跳范圍的實體關(guān)系集合 ? ? ? ? ? ? ?，neighbor encoder將每一對鄰居經(jīng)過拼接之后，再分別經(jīng)過全連接層，最終計算所有鄰居表示的均值，得到：
? ? ? ? ? ? ?
其中，對于所涉及實體和關(guān)系的初始化表示（,, etc.）可由TransE等經(jīng)典的KG embedding模型得到。
對于該實體對，拼接上述實體表示，可得到關(guān)系特定的實體對表示：
? ? ? ? ? ? ?
整體過程如下圖所示：
? ? ? ? ? ? ?
最終，對關(guān)系r所有的實體對的表示進(jìn)行聚類可得到關(guān)系r的特征表示：
? ? ? ? ? ? ?
此特征編碼器的訓(xùn)練，文章采用了基于margin loss的預(yù)訓(xùn)練策略。具體地，對于關(guān)系r，首先選定一些reference triples作為標(biāo)準(zhǔn)集，即 ? ? ? ? ? ? ?，可得到關(guān)系的reference embedding ? ? ? ? ? ? ?，在訓(xùn)練時，使正樣本 ? ? ? ? ? ? ?的表示逼近reference embedding，而負(fù)樣本 ? ? ? ? ? ? ?的表示遠(yuǎn)離 reference embedding，loss function為：
? ? ? ? ? ? ?
其中，正樣本的score即為計算正樣本和reference triple之間的cosine相似度：
? ? ? ? ? ? ?
?
2.2 生成器
生成器利用關(guān)系r的描述文本及噪聲，生成關(guān)系r的特征表示，如下圖所示。
? ? ? ? ? ? ?
對于關(guān)系的描述文本，作者利用文本中每個詞的word embedding，并通過計算文本中詞的TF-IDF權(quán)重，對這些word embedding進(jìn)行加權(quán)求和得到文本描述的向量表示。隨后，文本的向量表示與隨機采樣的噪聲共同作為生成器的輸入。其中，生成器由兩層全連接層及激活層函數(shù)組成，最終，生成關(guān)系r的特征表示。生成器的loss function為：
? ? ? ? ? ? ?
其中，生成樣本表示為 ? ? ? ? ? ? ?，為關(guān)系r的文本描述表示，為隨機采樣的噪聲；loss function的第一項為GAN中的Wasserstein loss，第二項為分類生成樣本的分類損失項，第三項為 visual pivot 正則化項，即使得生成樣本的中心逼近真實樣本的中心。
2.3 判別器
判別器使得真實的樣本和生成的樣本進(jìn)行對抗，從而訓(xùn)練生成器生成高質(zhì)量樣本的能力，其loss function為：
? ? ? ? ? ? ?
其中，前兩項為計算真實樣本和生成樣本的Wasserstein距離，第三項、第四項分別為分類真實樣本和生成樣本的分類損失函數(shù)，最后一項為Wasserstein GAN網(wǎng)絡(luò)中為保證Lipschitz constraint 約束的GP優(yōu)化項（即規(guī)范判別器的梯度下降）。
2.4 ?Unseen relations的分類/預(yù)測
基于前面訓(xùn)練好的生成器，給定unseen relation的文本描述，可生成其對應(yīng)的relation embedding: ? ? ? ? ? ? ?。預(yù)測時，對于一個query triple ? ? ? ? ? ? ?，其候選尾實體對應(yīng)的score計算如下：
? ? ? ? ? ? ?
為了驗證生成器的泛化能力，對于關(guān)系 r 可生成一組特征表示向量，其中的每一個與測試樣本計算score之后取均值：
? ? ? ? ? ? ?
3. 實驗
針對提出的zero shot relation learning，文章基于NELL和Wiki構(gòu)建了兩個數(shù)據(jù)集：NELL-ZS、Wiki-ZS，其中數(shù)據(jù)集中的每一個關(guān)系均有可獲取的文本描述。其數(shù)據(jù)統(tǒng)計情況如下圖所示：
? ? ? ? ? ? ?
考慮到現(xiàn)有的KG embedding的算法無法對unseen relation實現(xiàn)預(yù)測，文章提出了三種針對unseen relations改進(jìn)的baselines：ZS-TransE, ZS-DistMult 和 ZS-ComplEx。這三種baseline，在原TransE, DistMult 和ComplEx算法的基礎(chǔ)上，取代原本算法中對關(guān)系進(jìn)行隨機初始化的操作，利用關(guān)系的文本描述學(xué)習(xí)關(guān)系的特征表示。具體地，與生成器的輸入類似，同樣也使用TF-IDF加權(quán)的word embedding得到文本的表示，再經(jīng)過兩層全連接層得到關(guān)系的特征表示。該表示將與實體隨機初始化的表示在表示學(xué)習(xí)算法score function的訓(xùn)練下進(jìn)行優(yōu)化。由此，對于unseen relations即可通過關(guān)系的文本描述得到關(guān)系的表示，從而進(jìn)行鏈接預(yù)測等任務(wù)。
在兩個數(shù)據(jù)集上對比baselines結(jié)果如下：
? ? ? ? ? ? ?
其中，ZSGAN為本文中提出的方法，ZSGAN(TransE) 等表示在2.1中特征編碼時，使用TransE預(yù)訓(xùn)練的embedding對實體和關(guān)系進(jìn)行初始化。結(jié)果表示，本文提出的ZSGAN對比baseline在兩個數(shù)據(jù)集上取得了不錯的效果。同時，值得注意的是，在unseen relations存在的情況下，baseline中的DistMult具有一定的學(xué)習(xí)優(yōu)勢。
?
文章同時分析了生成樣本的質(zhì)量，具體地，計算生成的relation embedding和其對應(yīng)真實樣本的embedding之間的cosine距離，在一些關(guān)系上的對比結(jié)果如下所示：
? ? ? ? ? ? ?
4．總結(jié)
本文首次提出了知識圖譜中的零樣本關(guān)系學(xué)習(xí)問題，同時引入生成對抗網(wǎng)絡(luò)以生成relation embedding的方式，解決預(yù)測時新出現(xiàn)的unseen relations的預(yù)測問題。
文本中蘊含的relation之間的關(guān)聯(lián)信息，為seen relations和unseen relations構(gòu)建了類別層面的關(guān)聯(lián)，使得生成對抗網(wǎng)絡(luò)在seen relations的訓(xùn)練下，可為unseen relations生成語義豐富的特征表示。
除文本描述信息外，一般的零樣本學(xué)習(xí)也利用了屬性描述及類別間層次關(guān)系等信息，在知識圖譜零樣本學(xué)習(xí)的場景中，利用一些relation間更加high-level的關(guān)系（如共現(xiàn)關(guān)系等）或關(guān)系間共有的屬性信息，對零樣本的關(guān)系學(xué)習(xí)是否有貢獻(xiàn)也是值得思考的問題。
同時，本文將研究點關(guān)注于KG中zero-shot relation，對于KG中新出現(xiàn)的一些實體（即zero-shot entity）的學(xué)習(xí)也是值得探索的方向。
?
?
?
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。
點擊閱讀原文，進(jìn)入 OpenKG 博客。
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎總結(jié)
以上是生活随笔為你收集整理的论文浅尝 | AAAI2020 - 基于生成对抗的知识图谱零样本关系学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 论文浅尝 | 基于超平面的时间感知知识图
- 下一篇： 开源开放 | 熵简科技 AI Lab 开