研究問題

提出了一種可以充分結合異構的節點信息和邊信息，同時學習這兩者的嵌入的圖卷積網絡KE-GCN，并將之前的幾種知識圖譜CNN納入一個統一的框架下

背景動機

• 傳統的圖卷積模型一般不關注學習邊的嵌入，且無法處理異構的邊信息
• 知識圖譜領域的大多數嵌入學習方法沒有利用到圖的結構信息
• 知識圖譜領域的圖卷積模型雖然同時學習了節點和邊的嵌入，但主要精力還是在根據關系嵌入優化實體嵌入，而沒有對稱的過程

模型方法

• 重新解釋鄰居聚合公式

傳統GCN對非異構邊的鄰居聚合公式可以表示為

現在引入得分函數f估計每條邊的置信度，假設對于邊，其置信度對應兩個節點嵌入的內積，即，等式**(1)**可以重寫為以下對f進行求導的式子

此時，等式**(2)**中的就可以看作是一步梯度上升，以最大化，因此整體的聚合過程的目標可以看做是使知識圖譜中的邊的置信度最大化

• 模型框架

現在考慮知識圖譜中的異構邊，也就是邊會有多種類型，得分函數表示為，將得分函數進一步細化為入度和出度兩部分，新的鄰居聚合公式寫作

上面是實體嵌入的更新公式。下面是關系嵌入的更新公式，其中

其計算圖示如下，先計算f，再對其導數進行聚合

為了減少參數量，設置，并對實體和關系的嵌入進行規范化，即計算及

代入具體模型

幾種不同模型計算過程的區別如下

• CompGCN
  • 原始實體更新公式

• 原始關系更新公式

• 代入論文公式

• R-GCN

  • 實體更新公式

  • 代入論文公式

• W-GCN

  • 實體更新公式

  • 代入論文公式
    

實驗部分

• 候選得分函數
  • TransE：
  • DistMult：
  • TransH：
  • TransD：
  • RotatE：
  • QuatE：
• 知識圖譜對齊

這個任務的目的是找到兩個知識圖譜中對應同一個真實世界實體的實體，論文通過計算兩個共享參數的GCN對兩個知識圖譜分別計算得到的實體嵌入之間的距離來對齊實體。模型訓練的損失函數定義如下，就是讓對齊實體的距離盡可能近，不對齊實體的距離盡可能遠。

不同模型以及不同損失函數的效果如下

• 實體分類任務

評價

這篇論文可以看做是對CompGCN做的一個改進，在計算關系嵌入時也考慮關聯的實體信息。雖然只有這一個創新點，但是寫得很高明，直接對鄰居聚合的過程做了一個重新的解釋，再從新視角介紹自己的方法。論文主要有三個地方有點奇怪，一個是沒有報告實體分類模型的結果，它對比的模型明明都是實體分類模型，最后卻報告了實體對齊的實驗結果，讓人懷疑它在實體分類上的實驗效果；另外一點就是其他卷積模型都只使用了單層或雙層卷積，它用了四層，不知道卷積層數是不是也提升很大；以及論文中沒有消融實驗。

總結

以上是生活随笔為你收集整理的Knowledge Embedding Based Graph Convolutional Network的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。