來源：ACL2020

鏈接：https://arxiv.org/pdf/2005.00856.pdf

摘要

知識圖譜的嵌入愈發變成AI的熱點之一，對許多下游任務至關重要（如個性化推薦、問答等）

同時，此模型強調兩個關鍵特性：

利用足夠多的特征進行交叉計算（分塊）

同時在計算時，區別對稱關系、非對稱關系特征

本文的貢獻有兩個：
1.提出了輕量級框架SEEK，同時滿足模型低復雜性、高表達力
2.提出了新的打分函數，同時完成特征整合、關系留存

1 引言

知識圖譜 knowledge graph (KG)含有大量的實體和關系，表示為三元組(h, r, t)，即(頭實體 , 關系, 尾實體)

知識圖譜嵌入(KGE)是為了，把大量相關的三元組映射到低維空間（保留潛在的語義信息）現有的KGE模型存在的問題：不能很好地平衡模型復雜性（模型參數的數量）和模型表達力（獲取語義信息的能力），如下分為兩類：

1）模型簡單、表達有限
如：TransE、DistMult （簡單易用，獲取語義信息的能力欠佳）

2）模型復雜、表達力強
如：TransH、TransR、Single DistMult、ConvE、InteractE （模型復雜，需要大量向量計算，擴展性差）

本文的輕量級KGE框架SEEK有如下特性：特征有交互、保留關系特性、高效的打分函數、

特征交互：把嵌入空間分為多塊，讓各塊之間有關聯（而不用增加模型參數）

關系特性：同時保留對稱的、非對稱的關系（對稱關系：雙向關系；非對稱關系：單向關系）

打分函數：結合上述兩種特征，計算得分（來自于3個模型的打分函數：DistMult、HoIE、ComplEx）

2 SEEK的框架

各種打分函數是KGE(knowledge graph embedding )的基礎，基于此我們建立了SEEK本文提出的SEEK模型的參數和TransE、DistMult一樣少，卻能更好地表達圖譜。

2.1 得分函數的Design

SEEK在得分函數的設計中，迭代了四個版本，逐一看下。

f₁: Multi-linear Dot Product：

下圖是公式，具體是計算頭實體h，尾實體 t，關系 r 之間的點乘。這個是以下公式的基礎。

?????????????

f₂: Multi-linear Dot Product Among Segments：

將嵌入維度劃分為多段，考慮段與段之間的信息交互。其中 k 是段的個數，d是維度，x 代表關系向量 r 切分后的第 x 段，y 代表頭實體向量 h 切分后的第 y 段，w 代表尾實體向量 t 切分后的第 w 段。

例如，我們可以將關系向量嵌入表示為：

??????????

?????????

f₃: Modeling both Symmetric and Antisymmetric Relations：

我們需要考慮關系的對稱性和反對稱性。

對于f₂模型來說，當給一個具有對稱性的關系 r 和一個三元組 (h, r, t)，存在f₂(h, r, t) = f₂(t, r, h)，但是對于給定一個反對稱關系 r ，仍然存在f₂(h, r, t) = f₂(t, r, h)，這就是不對的，因為此時的 f₂(t, r, h)是一個錯的三元組。

為了考慮關系的對稱性和反對稱性，將關系向量 r的切割分為奇數和偶數兩部分，并引入變量 S_x,y，偶數部分能夠捕捉對稱性，并且奇數部分能夠捕捉反對稱性。

???????????

??????????

其中S_x,y控制了關系向量的切割點為奇數與偶數時三元組的正負關系。下面是分成 2 段的一個例子

?????

f₄: Reducing Computing Overheads

優化計算復雜度。

f3 算法的時間復雜度是O(n²)級別的，還是較高，f4優化了其復雜度，降至O(n²)。

對尾實體 t 引入變量W_x,y，具體的計算公式如下，也是分為奇數偶數部分， k 為分割段數，S_x,y計算和f₃一樣。

???????

??????????

??? 其中由于W_x,y的計算只與x和y存在關系，因此時間復雜度降為了O(n2),下面是分成 4 段的一個例子

r 的下標為偶數的情況下，考慮了對稱性，S_x,y計算和f₃一樣，都是正(+)，偶數的情況下 t 也沒有變化。

r 的下標為奇數的情況下，考慮了反對稱性，Sxy 計算和 f₃ 一樣，x + y 大于等于 4 的時候為負，其余為正，t 的計算是 (x + y) % k 取余，替換尾實體，段之間的特征交互隨著k的增大而增多。

????????

2.2 模型訓練

損失函數為-log函數，L₂正則化，激活函數sigmoid

?? ?Θ：向量嵌入時的參數
??? ?：圖譜中本來的三元組、生成的負樣本三元組
梯度的計算公式：

??? L目標函數，Θ參數，對f₄求導時：

3 實驗效果

驗證效果采用的數據集是 FB15K，DB100K 和 YAGO37，FB15K 是 Freebase 的子集，DB100K來自DBpedia，YAGO37 來自 YAGO3，具體數據如下：

???????

采用的評測任務是鏈接預測，在三個數據集上面的效果如下圖，其中k和d 的設置在三個數據集上面都不一致，是采用網格搜索找到的最優超參數。

評測指標，MRR：所有正確實例排名的倒數的平均值；Hits@N：正確實例的排名中不大于 N 的比例。

4 總結

本文提出一個輕量級框架SEEK，利用打分函數，在不增加模型參數的情況下，提高了模型對知識圖譜的嵌入表示效果。主要原理是：1.分塊并利用不同塊之間的特征交叉計算 2.區分并保留多種關系 。同時SEEK是一個普適性更強的模型，DistMult, ComplEx, HolE可作為SEEK的特例。本文從效率、效果、魯棒性方面闡述了SEEK的性能。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 - ACL2020 | Segmented Embedding of Knowledge Graphs的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。