论文浅尝 | 将字面含义嵌入知识图谱表示学习
論文筆記整理:吳桐桐,東南大學博士生,研究方向為知識圖譜,自然語言處理。
鏈接:https://arxiv.org/pdf/1802.00934.pdf
?
本文主要關(guān)注知識圖譜中的鏈接預測問題,在既有的知識圖譜表示學習模型的基礎(chǔ)上提出了一種引入實體名字面信息的表示學習機制LiteralE。LiteralE是一個可訓練的參數(shù)化的方程即可,可能是是一種簡單的線性或非線性的變換,或是一個多層的神經(jīng)網(wǎng)絡(luò)。實驗顯示通過引入字面信息可以較大的提高鏈接預測的準確性。
介紹
知識圖譜表示學習的目標是通過機器學習將知識圖譜中實體及關(guān)系的語義信息表示為低維稠密的實數(shù)向量。在該向量空間中,我們可以通過歐式距離或余弦距離等方式計算任意兩個對象之間的相似度。在既有的工作多是關(guān)注知識圖譜中的拓撲結(jié)構(gòu)而忽略了實體名稱字面含義中所攜帶的語義信息,如下圖所示,忽略字面含義的知識圖譜表示學習并不能直接預測John和Jane之間的關(guān)系,但是,在考慮到相近的出生日期以及校友關(guān)系等因素之后,在John和Jane的關(guān)系預測上可以更加確信。
模型
如下圖所示是LiteralE機制的結(jié)構(gòu)示意圖,其中f是三元組的評分函數(shù),文中主要基于DistMult,ComplEx和ConvE等三個模型對LiteralE機制進行了驗證。LiteralE機制的改進策略是指在對實體的向量e表示進行評分之間,通過變換函數(shù)g(·)整合實體的字面信息l。在本文中,g(·)可以是線性變換
也可以是非線性變換:
也可以是多層神經(jīng)網(wǎng)絡(luò)或是帶有門控機制的多層神經(jīng)網(wǎng)絡(luò):
實驗
本文中在FB5K,FB5K-237和YAGO-10等三個數(shù)據(jù)集上進行了實驗,實驗結(jié)果顯示通過引入LiteralE機制能夠較大的提高既有模型在鏈接預測任務(wù)中的性能。
OpenKG
開放知識圖譜(簡稱 OpenKG)旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián),促進知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。
點擊閱讀原文,進入 OpenKG 博客。
總結(jié)
以上是生活随笔為你收集整理的论文浅尝 | 将字面含义嵌入知识图谱表示学习的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 论文浅尝 | DRUM:一种端到端的可微
- 下一篇: 论文浅尝 | 基于局内去噪和迁移学习的关