论文浅尝 | 用于低资源条件下知识图谱补全的关系对抗网络
論文作者: 鄧淑敏，浙江大學在讀博士，研究方向為低資源條件下知識圖譜自動化構建關鍵技術研究。
? ? ?? ? ? ?
Ningyu Zhang, Shumin Deng, Zhanlin Sun, Jiaoyan Chen, Wei Zhang, Huajun Chen. Relation Adversarial Network for Low Resource Knowledge Graph Completion.
本論文已被WWW 2020接收.
?
論文鏈接：https://arxiv.org/abs/1911.03091
?
知識圖譜補全（Knowledge Graph Completion，KGC），通過鏈接預測或關系抽取來補充知識圖譜缺失的連接，主要困難之一是資源不足問題。KG中存在很多實例很少的關系，而且那些新添加的關系通常沒有許多已知的訓練樣本。比如下圖中展示的，KG大部分關系的樣本都比較少，呈現出長尾分布，比起樣本較多的關系，長尾關系的預測和抽取性能顯著降低。（a）關系的鏈接預測結果與它們在KG中的頻率高度相關，KG中頻率較高的關系明顯優于頻率較低的關系；（b）關系抽取的效果，隨著每個關系的樣本數目減少而下降。本文的任務是在低資源條件下，預測KG中新的三元組，包括鏈接預測和關系抽取兩個子任務。
?
典型的KGC任務中的資源不足問題示例（鏈接預測、關系抽取）
本文提出了一個加權關系對抗網絡（Weighted Relation Adversarial Network，wRAN）的通用框架，該框架利用對抗過程，將從資源豐富的關系中學到的知識/特征，去適應不同但相關的低資源關系。wRAN框架綜合考慮了三部分問題：對抗遷移學習（Adversarial Transfer Learning），核心思想是通過對抗性學習過程提取領域不變性特征，該過程能夠減少源域和目標域之間的分布差異；關系對抗網絡（Relation Adversarial Network），學習通用的關系不變性特征，以此弄清不同關系背后的語言變化因素，并縮小相關關系之間的語言差異；負遷移（Negative Transfer），區別于標準的domain adaption源域和目標域之間的標簽空間完全相同且共享，wRAN考慮從多個源關系到一個或多個目標關系的適應，并且考慮了不同的關系可能對遷移產生不同的影響，離群的源關系在與目標關系做判別時可能導致負遷移。比如下圖所示，wRAN可以從三個源關系（place_of_death，place_of_birth，country）中學習通用的位置信息，然后將隱含的知識應用于目標關系（place_of_burial）以提高其預測性能，而capital關系則會導致負遷移。
Relation Adaptation示例
具體地說，wRAN框架利用關系判別器來區分來自不同關系的樣本，并以此學習從源關系到目標關系易于遷移的關系不變性特征，主要包含三個模塊：
（1）實例編碼器（Instance Encoder），學習可轉移的特征，這些特征可以弄清關系之間的語言變化因素。考慮到模型性能和時間效率，本文使用CNN實現實例編碼。其他神經架構，例如RNN和BERT也可以用作編碼器。
（2）對抗性關系適應（Adversarial Relation Adaptation），尋找可以區分具有不同關系分布的關系判別器。對抗學習有助于學習一個神經網絡，該網絡可以將目標樣本映射到特征空間，從而使判別器不再將其與源樣本區分開。
（3）加權關系適應（Weighed Relation Adaptation），可以識別無關的源關系并自動降低其重要性，以解決負遷移問題并鼓勵正遷移。通過兩個角度來評估每個源關系/樣本對目標關系的重要性：關系間相關性和實例遷移能力。并提出關系門控機制，學習和控制細粒度的關系/樣本權重。
?
模型架構
本文通過低資源條件下鏈接預測和關系抽取兩種KGC任務評估wRAN的性能。兩類任務共享相同的對抗性學習框架，但具有不同類型的實例編碼器。前者對一個關系的三元組編碼，而后者學習句子特征。
本文的部分實驗結果如下。
數據集：
本文的數據集情況
? ? ? ? ? ? ?
鏈接預測實驗：
實體預測的實驗結果比較
? ? ? ? ? ??
三元組分類的實驗結果比較
? ? ? ? ? ? ?
關系抽取實驗：
關系抽取的F1值比較（ACE05數據集下標準和部分的關系適應）
? ? ? ? ? ? ?
無監督和監督關系適應的前100、200和500個句子的關系抽取的精度值
? ? ? ? ? ? ?
?
無監督適應的關系抽取的實驗結果比較
?
有監督適應的關系抽取的實驗結果比較
總而言之，這篇文章研究工作的主要貢獻是：
（1）率先提出將對抗遷移學習應用于解決低資源條件下知識圖譜補全問題；
（2）提出加權的關系對抗網絡（wRAN）框架，利用關系判別器來區分來自不同關系的樣本，并以此學習從源關系到目標關系易于遷移的關系不變性特征；
（3）提出一種關系門控機制，可以完全放寬共享標簽空間的假設。這種機制可以挑選出離群的源關系/樣本，并減輕這些不相關的關系/樣本的負遷移，可以在端到端框架中對其進行訓練；
（4）實驗表明，wRAN框架在低資源條件下的鏈接預測和關系抽取兩個任務上均超過了目前最優模型的性能。
如果對本文的工作感興趣，歡迎大家閱讀原文，也歡迎大家和我們交流。
?
?
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文，進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | 用于低资源条件下知识图谱补全的关系对抗网络的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 论文浅尝 | ADRL：一个基于注意力
- 下一篇： 论文浅尝 | 基于属性嵌入的知识图谱间实