鏈接：http://talukdar.net/papers/emnlp2018_HyTE.pdf

?

本文主要關(guān)注 KG embedding 中三元組成立的時(shí)間有效性問(wèn)題，比如三元組(Cristiano Ronaldo, playsFor, Manchester United)，其成立的有效時(shí)間段是2003年到2009年，這個(gè)使三元組有效成立的時(shí)間段被稱(chēng)為 temporal scopes，這些temporalscopes隨著時(shí)間的推移對(duì)許多數(shù)據(jù)集會(huì)產(chǎn)生影響（比如YAGO，Wikidata），現(xiàn)有的 KG embedding方法很少考慮到時(shí)間這一維度，因?yàn)樗鼈兗僭O(shè)所有的三元組總是永遠(yuǎn)正確的，可是現(xiàn)實(shí)中很多情況下不是這樣。本文提出了 HyTE 模型，HyTE 不僅能夠利用時(shí)間導(dǎo)向進(jìn)行知識(shí)圖譜圖推理，還能夠?yàn)槟切┤笔r(shí)間注釋的事實(shí)預(yù)測(cè)temporal scopes 。實(shí)驗(yàn)結(jié)果表明該模型與傳統(tǒng)模型或者同類(lèi)模型相比都有著突出的表現(xiàn)。

Background

知識(shí)圖譜嵌入（Knowledge graph embedding）方法是將知識(shí)圖譜中的實(shí)體和關(guān)系表示成連續(xù)稠密低維實(shí)值向量，從而可以通過(guò)向量來(lái)高效計(jì)算實(shí)體與關(guān)系的語(yǔ)義聯(lián)系。從2013年TransE的提出，到后來(lái)一系列的衍生模型，比如 TransH，TransD，TransR，DKRL, TKRL, RESCAL, HOLE 等等，都是對(duì) TransE 模型的擴(kuò)展。這些模型都沒(méi)有考慮時(shí)間維度，一直將知識(shí)圖譜當(dāng)做靜態(tài)來(lái)處理，這顯然不符合事實(shí)，數(shù)據(jù)的暴漲與更新表明知識(shí)圖譜本來(lái)就是動(dòng)態(tài)的，所以后來(lái)有工作將時(shí)間信息考慮進(jìn)去，但只是將時(shí)間序列作為KG embedding過(guò)程中的約束，沒(méi)有明顯地體現(xiàn)時(shí)間的特性，為此，本文提出的HyTE模型直接在學(xué)習(xí)的過(guò)程中結(jié)合時(shí)間信息。

?

Model

本文認(rèn)為不僅是知識(shí)圖譜中的實(shí)體可能會(huì)隨著時(shí)間改變，實(shí)體間的關(guān)系也是如此，由于TransE模型不能處理多關(guān)系的情形，而 TransH 模型能夠使實(shí)體在不同的關(guān)系下?lián)碛胁煌谋硎?#xff0c;所以本文受TransH的啟發(fā)提出了一個(gè)基于超平面的時(shí)間感知知識(shí)圖譜嵌入模型。

?

考慮一個(gè)四元組 (h,r,t,[τ_s, τ_e])，這里的τ_s和τ_e分別定義了三元組成立時(shí)間段的起始與截止。TransE模型將實(shí)體和關(guān)系考慮到相同的語(yǔ)義空間，但是在不同的時(shí)間段，實(shí)體與關(guān)系組成的（h，r）可能會(huì)對(duì)應(yīng)到不同的尾實(shí)體t，所以在本文的模型中，希望實(shí)體能夠隨不同的時(shí)間點(diǎn)有著不同的表示。為了達(dá)到這一目的，文中將時(shí)間表示成超平面(hyperplane),模型示意圖如下：

e_h，e_t，e_r，分別表示三元組中頭實(shí)體，尾實(shí)體以及關(guān)系所對(duì)應(yīng)的向量表示，τ₁和τ₂分別表示此三元組有效成立時(shí)間段的起始時(shí)間與截止時(shí)間。e_h(τ₁), e_r(τ₁) 以及表示各向量在時(shí)間超平面τ₁上的投影，最終，模型通過(guò)最小化翻譯距離來(lái)完成結(jié)合時(shí)間的實(shí)體與關(guān)系embedding學(xué)習(xí)過(guò)程。

Experiment

實(shí)驗(yàn)數(shù)據(jù)包含兩部分：YAGO11k和Wikidata12k，這兩個(gè)數(shù)據(jù)集抽取了YAGO 以及Wikidata中帶有時(shí)間注釋（time annotations）的部分。通過(guò) Link prediction 以及 Temporal scoping 兩個(gè)實(shí)驗(yàn)任務(wù)與其它模型比較，實(shí)驗(yàn)結(jié)果如下：

實(shí)體預(yù)測(cè)結(jié)果：

關(guān)系預(yù)測(cè)結(jié)果：

temporal Scoping預(yù)測(cè)結(jié)果（越小越好）：

實(shí)驗(yàn)結(jié)果表明，HyTE模型在相關(guān)任務(wù)上與其它模型相比有較為顯著的提升。

?

論文筆記整理：張良，東南大學(xué)博士，研究方向?yàn)橹R(shí)圖譜，自然語(yǔ)言處理。

---

OpenKG.CN

中文開(kāi)放知識(shí)圖譜（簡(jiǎn)稱(chēng)OpenKG.CN）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開(kāi)放與互聯(lián)，促進(jìn)知識(shí)圖譜和語(yǔ)義技術(shù)的普及和廣泛應(yīng)用。

轉(zhuǎn)載須知：轉(zhuǎn)載需注明來(lái)源“OpenKG.CN”、作者及原文鏈接。如需修改標(biāo)題，請(qǐng)注明原標(biāo)題。

?

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 基于超平面的时间感知知识图谱嵌入的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。