CAKE：用于多視圖KGC的可擴展常識感知框架

論文標題: CAKE: Scalable Commonsense-Aware Framework For Multi-View Knowledge Graph Completion
論文會議: ACL 2022
論文地址: https://arxiv.org/pdf/2202.13785.pdf

• CAKE：用于多視圖知KGC的可擴展常識感知框架
  • 摘要
  • 1.引言
  • 2.相關工作
    • 2.1 KGC模型
    • 2.2 KGE的負采樣
    • 2.3 常識KG
  • 3.模型方法
    • 3.1 符號和問題形式化
      • 3.1.1 常識
      • 3.1.2 KGE評價函數
      • 3.1.3 鏈接預測
    • 3.2 自動常識生成
    • 3.3 常識感知負采樣
    • 3.4 訓練KGE模型
    • 3.5 多視圖鏈路預測

摘要

知識圖不可避免地存儲了大量的事實三元組，但它們仍然是不完整的。以往的知識圖補全(KGC)模型僅依靠事實視圖數據來預測實體之間缺失的鏈接，而忽略了有價值的常識知識。以往的知識圖嵌入技術存在負采樣無效和"事實-觀點"鏈接預測的不確定性等問題，限制了知識圖嵌入技術的性能。為了解決上述挑戰，我們提出了一個新的、可擴展的常識感知知識嵌入(CAKE)框架，以自動從具有實體概念的事實三元組中提取常識。產生的常識增強了有效的自我監督，以促進高質量的負采樣(NS)和聯合常識和"事實-觀點"鏈接預測。在KGC任務上的實驗結果表明，我們的框架可以提高原有KGE模型的性能，并且所提出的常識感知NS模塊優于其他NS技術。此外，我們提出的框架可以很容易地適應各種KGE模型，并解釋預測結果。

1.引言

近年來，Freebase、DBpedia和NELL等KG已廣泛應用于許多知識密集型應用，包括問答、對話系統和推薦系統。然而，手工或自動構造的KG不可避免地是不完整的，需要KGC推斷新的事實。
以前的KGC模型可以分為三類：

基于規則學習的模型：用于挖掘歸納推理的邏輯規則，如AMIE+、DRUM和AnyBurl。

基于路徑的模型：用于搜索路徑的多跳推理。

基于嵌入的模型(KGE)：如TransE及其變體學習實體和關系的嵌入，為鏈接預測的三元組的計算置信度。

在現有的KGC模型中，KGE方法實現了更高的效率和更好的性能。具體而言，基于KGE的KGC管道方法可分為兩個階段：(1)訓練時學習KGE,(2)推理時的鏈接預測。其中，KGE依賴于負采樣的基本過程。鏈接預測的目的是利用學習到的KG嵌入對候選三元組的分數進行排序，從而推斷出三元組中缺失的實體或關系。
然而，這兩個獨立的階段都有缺點：

無效負采樣：所有之前的NS無法同時避免采樣錯誤的負類三元組和低質量負類三元組。例如，給定正的三元組，如圖所示，現有的NS策略可能會對損壞的三元組進行采樣，這實際上是一個被忽略的正類三元組，即假負類三元組。另一方面，一些生成的負類三元組的質量太差，對于訓練KGE模型沒有什么意義。

"事實-觀點"鏈接預測的不確定性：由于KG嵌入相對于符號表示的偏差，限制了KGC的準確性,僅僅根據以數據驅動方式為基礎的事實進行鏈接預測存在不確定性。以圖中的尾部實體預測(David,N個國家,?)為例。從常識的觀點來看，正確的尾部實體應該屬于“國家”這個概念。然而，通過計算候選KG嵌入的三元組的置信度，與常識不一致的實體California甚至排名最高。

最后不能不提，盡管一些KGE方法利用了外部信息，包括實體類型、文本描述和實體圖像。這樣的輔助信息并不能提供常識的語義,它是很難獲得并增強實體單一表示的。然而，有價值的常識總是通過昂貴的手工標注獲得的，它的高成本導致相對較低的覆蓋率。此外，現有的大型常識KG(如ConceptNet)只包含概念，沒有到相應實體的鏈接，這導致它們不適用于KGC任務。

為了應對上述挑戰，我們提出了一個新穎且可擴展的常識感知知識嵌入(CAKE)框架，以改進KGE訓練中的負采樣，并通過常識的自我監督提高KGC的性能。具體來說，我們嘗試通過實例抽象技術自動構建明確的常識。然后，與隨機采樣相反，我們利用常識和復雜關系的特點，有目的地生成高質量的負類三元組。此外，還進行了多視圖鏈接預測，以確定屬于常識視圖中正確概念的候選實體，并從事實的角度預測學習到的KG嵌入的答案實體?？傊?#xff0c;我們工作的貢獻有三方面：

我們提出了一個具有自動常識生成機制的可擴展KGC框架，以從事實三元組和實體概念中提取有價值的常識。

我們開發了一種常識性負采樣策略，用于生成有效且高質量的負類三元組。同時，為了提高KGC的準確性，提出了一種多視圖鏈接預測機制。

對四個基準數據集的大量實驗表明了我們整個框架和每個模塊的有效性和可擴展性。本文的源代碼和數據集可以在https://github.com/ngl567/cake獲取

2.相關工作

2.1 KGC模型

現有的KGC模型可分為三大類：

基于規則學習的算法：如AMIE+、DRUM和AnyBurl，基于規則學習的算法自動從KG中挖掘邏輯規則，并將這些規則應用于歸納鏈接預測。然而，由于耗時的規則搜索和評估，這些模型效率低下。

基于路徑的模型：基于路徑的模型對連接頭部和尾部實體的路徑進行搜索，包括路徑排序方法和基于強化學習的模型。然而，基于路徑的多跳模型在路徑搜索方面也花費了大量時間。

基于嵌入的模型(KGE)：例如TransE、RESCAL、CompleEx、RotatE和HAKE，KGE通過學習實體和關系的嵌入，以計算三元組的置信度，從而有效預測缺失的三元組。

與當前的其他KGC方法相比，KGE上實現了更高的效率和更好的性能。然而，嵌入的天然不確定性限制了僅依靠事實的KGC的正確率。更具體地說，模型通常需要一個初始的負采樣程序，隨機或有目的地采樣一些在KG中沒有觀察到的三元組并作為負類三元組，然后把它們用于訓練。

2.2 KGE的負采樣

遵循局部封閉世界假設(一種處理含否定詞的演繹數據庫查詢語句的方法。可抽象成如下非單調推理機制：在封閉世界中若不知道某命題是否為真，則認定此命題為假)，現有的負采樣(NS)技術可分為五類：

隨機均勻采樣：大多數模型通過隨機替換均勻分布的正類三元組中的實體或關系來生成負類三元組。

基于對抗的采樣：KBGAN將模型與Softmax概率相結合，在對抗網絡中選擇高質量的負類三元組。自我對抗采樣的表現類似于KBGAN，但它利用了自我評分功能，沒有生成器。

基于域的采樣：基于域的NS和類型約束NS都利用域或類型約束對屬于正確域的損壞實體進行采樣。

高效采樣：NSCaching使用包含候選負類三元組的緩存來提高采樣效率。

無采樣：NS-KGE通過將損失函數轉換成統一的平方損失，消除了負采樣過程。

然而，所有先前的NS算法都不能解決假負類三元組的問題，因為這些NS技術(除了無采樣方法之外)都將試圖以更高的概率對損壞的三元組進行采樣，而它們可能是正確的，只是在KG中缺失了。
基于領域的負采樣嚴重依賴于單一類型的約束，而不是常識，這限制了負類三元組的多樣性。KBGAN在負采樣框架中引入了生成對抗網絡(GAN),使得原始模型更加復雜和難以訓練。無采樣消除了負類三元組，并且必須將每個原始KGE模型都轉換成平方損失，這削弱了KGE模型的性能。負采樣策略的這些缺點降低了KGE的訓練水平，進一步限制了KGC的表現。

2.3 常識KG

與事實三元組不同，常識可以為知識體系注入豐富的抽象知識。然而，由于手工標注成本高昂，有價值的常識很難獲得。近年來，許多研究試圖構建通用的常識圖，如ConceptNet、Microsoft Concept Graph和ATOMIC。然而，這些常識性圖只包含概念，而沒有到相應實體的鏈接，這導致它們不適用于KGC任務。另一方面，雖然一些KGE模型(如JOIE)采用了大多數KGs內置的本體(如NELL和DBpedia)，但本體中的關系如isA、partOf和relatedTo主要代表類型層次而不是明確的常識。這種關系對于KGC是無用的，因為本體關系和事實關系之間很少有重疊。

3.模型方法

圖2: CAKE框架概述。

橙色的點表示實體。綠色的點表示實體概念。

在CANS模塊中，$r_{1?1},r_{1?N},r_{N?1}和r_{N?N}$分別表示1-1,1-N, N-1和N-N的各種復雜關系。

$c_{hi}^j$和$c_{ti}^j$表示第i個頭概念和尾概念，它們是根據常識和特定于第j個關系的復雜關系的特征所選擇的。

在本節中，我們將介紹我們最新的可擴展框架CAKE。如圖2所示，整個管道由三個開發的模塊組成: 自動常識生成(ACG)、常識感知負采樣(CANS)模塊和多視圖鏈接預測(MVLP)模塊。

首先， 自動常識生成(ACG)模塊(3.2節)通過實例抽象機制從具有實體概念的事實三元組中提取常識。

然后， 常識感知負采樣(CANS)模塊(3.3節)利用生成的常識生成高質量的負類三元組，考慮到復雜關系的特征。

然后， 我們的方法將正類三角和加權負類三角輸入到KGE模型中，用于學習實體和關系嵌入。(3.4節)

最后， 多視圖鏈接預測(MVLP)模塊 (3.5節)分兩個階段----粗預測和細預測階段進行鏈接預測，從常識的角度過濾候選對象，并從事實的角度預測候選對象中使用KG嵌入的實體結果。

3.1 符號和問題形式化

3.1.1 常識

由于在理解高級語義方面的成功應用，常識獲得了廣泛的吸引力。高級語義通常在一些著名的常識圖中表示為概念及其本體關系，如ConceptNet和Microsoft Concept Graph。值得注意的是，我們將常識擴展為兩種形式:個體形式$C_1$和集合形式$C_2$。
$C_1$和$C_2$都是三元組的集合，而$C_1$中的每個三元組都是由頭實體的概念$c_h$和尾實體的概念$c_t$與它們的實例級關系$r$相關聯構成的，可以寫成:
$$C_1=(c_h,r,c_t)\text{\hspace{1em}(1)}$$
相反，$C_2$中的每個三元組由一個關系$r$組成，連接相應的頭概念集$C_h$和尾概念集$C_t$，表示為:
$$C_2=(C_h,r,C_t)\text{\hspace{1em}(2)}$$
常識生成的詳細描述在3.2節中介紹。

3.1.2 KGE評價函數

由于CAKE是獨立于KGE模型的可伸縮框架，所以我們可以利用任何KGE模型來學習實體和關系嵌入。因此，我們定義了一個統一符號$E(h,r,t)$來表示任意KEG模型的評價函數，以便評估三元組$(h,r,t)$的置信度。更具體地說，三種最典型的評價函數模式如下:

基于翻譯的評價函數，如TransE:
$$E(h,r,t)=||h+r?t||\text{\hspace{1em}(3)}$$
其中h、r和t分別表示頭實體h、關系r和尾實體t的嵌入。

基于旋轉的評價函數，如RotatE:
$$E(h,r,t)=||h?r?t||\text{\hspace{1em}(4)}$$
其中?表示哈密爾頓積。

基于張量分解的評價函數，如DistMult:
$$E(h,r,t)=h^{T}diag(M_r)t\text{\hspace{1em}(5)}$$
其中$diag(M_r)$表示關系r的對角矩陣。

3.1.3 鏈接預測

按照大多數之前的KGC模型，我們將鏈路預測視為一個實體預測任務。給定一個缺少實體(h,r,?)或(?,r,t)，鏈接預測將每個實體作為候選。該算法利用學習到的KGE和評價函數計算出每個候選對象的置信度分數。然后，我們根據候選實體的分數對它們進行排名，并輸出前n個實體作為結果。

3.2 自動常識生成

根據3.1.1節中定義的常識表示，我們的方法理論上可以從任何KG自動生成常識，只要KG中存在一些鏈接到實體上的概念。
具體地說，我們開發了一個“實體到概念”的轉換器，將每個事實三元組中的實體替換為相應的概念。同時，常識上的關系包含事實KGs中的實例級關系。以圖2為例，事實三元組 (David,Nationality,USA) 可以轉換為概念級三元組 (Person,Nationality,Country) 。特別是，個體形式$C_1$中的常識是通過消除重復的概念級三元組來實現的。然后，我們將包含相同關系的概念級三元組合并到集合中，以便用集合形式$C_2$構造常識。

圖2: CAKE框架概述：事實KG -> 自動常識生成 -> 常識感知負采樣 -> 多視圖鏈路預測

橙色的點表示實體。綠色的點表示實體概念。

在CANS模塊中，$r_{1?1},r_{1?N},r_{N?1}和r_{N?N}$分別表示1-1,1-N, N-1和N-N的各種復雜關系。

$c_{hi}^j$和$c_{ti}^j$表示第i個頭概念和尾概念，它們是根據常識和特定于第j個關系的復雜關系的特征所選擇的。

3.3 常識感知負采樣

直覺上，滿足常識的負類三元組更難與正類三元組區分開來，從而產生更有效的訓練信號。因此，我們嘗試對符合常識的負類三元組進行采樣。

為了減少假負類三元組，我們利用TransH中定義的復雜關系的特征，即利用1-1、1-N、N-1和N-N進行負采樣，其中1表示當給定關系和另一個實體時，實體是唯一的，相反，N表示在這種情況下可能存在多個實體(即非唯一實體)?；谶@一觀察，提出了兩種具體的抽樣策略：

唯一抽樣：就破壞一個唯一實體(如N-1關系的尾部實體)而言，除了原始的正類三元組之外，被破壞的三元組肯定是實際的負類三元組。此外，與正確實體共享至少一個概念的被破壞實體被視為高質量的負類三元組，這有助于獲得更一致的訓練信號。抽樣時盡量選擇概率最大的即權重最大的尾實體,以提高質量

非唯一采樣：對于非唯一實體(如由N-1關系連接的頭部實體)的破壞，由于頭部實體的非唯一性，與正確實體屬于同一概念的實體更容易為假負類。因此，在訓練中，這些被判定為假負類的三元組的權重應盡可能低。同時，我們嘗試對符合C2形式常識的三元組進行高質量的抽樣(即盡量選擇概率最小的即權重最大的頭實體,以避免假負類)。

在頭實體的選擇(即非唯一采樣)中,權重與(1-概率)成正比; 在尾實體的選擇(即唯一采樣)中,權重與概率成正比

圖3：常識感知負采樣(CANS)模塊生成包含N-1關系的高質量負類三元組的示例。

為了更好地理解，圖3顯示了一個生成具有N-1關系的高質量負三元組的示例。整個NS過程可以分為兩個步驟:

• Step 1：選取符合C2形式常識的候選概念。根據常識形式C2和非唯一抽樣確定候選的頭概念 city、county和island。此外，根據唯一性抽樣策略將候選的尾概念選擇為與Georgia相同的概念stateprovince。
• Step 2：關注的概念到實體的轉換(Attentive Concept-to-Entity Converting)。為了減少假負類，同時保證負類三元組的高質量，屬于候選概念的被破壞實體從以下分布中采樣：

$$\begin{array}{rl}w(h_j^{{}^{\prime }},r,t)& =1?p((h_j^{{}^{\prime }},r,t)|\{(h_i,r_i,t_i)\})\\ & =1?\frac{exp\alpha E(h_j^{{}^{\prime }},r,t)}{{\sum }_{i}exp\alpha E(h_i^{{}^{\prime }},r,t)}\end{array}\text{\hspace{1em}(6)}$$

$$\begin{array}{rl}w(h,r,t_j^{{}^{\prime }})& =p((h,r,t_j^{{}^{\prime }})|\{(h_i,r_i,t_i)\})\\ & =\frac{exp\alpha E(h,r,t_j^{{}^{\prime }})}{{\sum }_{i}exp\alpha E(h,r,t_i^{{}^{\prime }})}\end{array}\text{\hspace{1em}(7)}$$

其中$h_i^{{}^{\prime }}$和$t_i^{{}^{\prime }}$分別是通過非唯一采樣和唯一采樣得到的被破壞的頭實體和尾實體。w和p分別表示負三重的權重和概率。α為自對抗采樣所激發的采樣溫度。

值得注意的是，考慮到概率較高的三元組更有可能是正類三元組，包含被破壞的頭部實體的負類三元組的權重按照等式6定義，以防止假負類的問題。此外，包含有較高概率被破壞的尾實體的負類三元組被賦予了較高質量負類三元組的權值,這是因為它們不太可能存在假負類問題。因此，選擇具有高權重的被破壞的頭實體greenland和尾實體tennessee,用于生成高質量的負類三元組。

3.4 訓練KGE模型

基于CANS得到的負類三元組，訓練KGE模型學習實體和關系嵌入，擴大正類三元組和高質量負類三元組之間的分數差距。在本研究中，我們采用以下損失函數作為優化目標:
$$\begin{array}{rl}L=& ?log\sigma (\gamma ?E(h,r,t))\\ & ?\sum _i^{n}0.5[w(h_i^{{}^{\prime }},r,t)log\sigma (E(h_i^{{}^{\prime }},r,t)?\gamma )]\\ & +w(h,r,t_i^{{}^{\prime }})log\sigma (E(h,r,t_i^{{}^{\prime }})?\gamma )\end{array}\text{\hspace{1em}(8)}$$
其中γ是決策邊界，$[x{]}_{+}$表示0和x之間較大的值，σ為sigmoid函數。

3.5 多視圖鏈路預測

得益于常識與事實的相同關系，常識可以直接為鏈接預測結果提供一個確定的范圍。因此，我們在從粗到細的范式中開發了一種新的多視圖鏈接預(MVLK)機制，以便預測更有可能的結果。

在粗預測階段，從測常識的角度挑選出候選實體;具體來說，以查詢$(h,r,?)$為例，使用常識$C_1$過濾尾實體的合理概念。尾實體的候選概念集被定義為:
$$C_{1t}=\{c_{ti}|(c_{hi},r,c_{ti})\in C_1\}\text{\hspace{1em}(9)}$$

其中$c_{hi}$為h的第i個概念，$c_{ti}$為常識$(c_{hi},r,c_{hi})$中的尾概念。

然后，可以確定屬于概念集$C_{1t}$的實體為候選實體，因為它們滿足常識，而且從常識的角度來看，它們比其他實體更有可能是正確的尾實體。

在細預測階段，我們從事實的角度對粗預測階段派生的每個候選實體$e_i$按照如下公式打分：
$$score(e_i)=E(h,r,e_i)\text{\hspace{1em}(10)}$$

其中$E(h,r,e_i)$為訓練KGE模型所用的評分函數。

隨后，預測結果將候選實體的分數按升序排列，并輸出排名較高的實體。

總結

以上是生活随笔為你收集整理的知识图谱顶会论文(ACL-2022) CAKE：用于多视图KGC的可扩展常识感知框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。