文章目錄

• 1.動機
• 2.輸入輸出
• 3.相關工作
• 4.模型
• • 4.1 GCN
• 4.2 approximating relation representations
• • 4.3 joint entity and relation alignment

HGCN: “Jointly Learning Entity and Relation Representations for Entity Alignment”.
Yuting Wu, Xiao Liu, Yansong Feng, Zheng Wang, Dongyan Zhao. (EMNLP 2019) [paper][code]

• 推薦結論：
  • entity name的方法中效果好的一波
• 短評
  • 優點：entity name中效果好，且返回的是排名
  • 缺點：HGCN的GCN雖然使用了highway gate，但不是GAT,大圖可能不友好
• 類別：
  • 實體對齊
  • 基于embedding的實體對齊
  • BootEA的bootstrapping方法
  • transE系列–特定于實體對齊的embedding+swap
• 數據集：
  • DWY100k
  • DBP15k
  • DBP-FB
  • SRPRS
• 圖譜
  • wikidata/DBpedia/yago3
  • 規模：15k/100k
• 底層模型：
  • 嵌入模塊：GCN+highway gate
  • 對齊模塊：calibration（學習一個embedding)
  • 相似度：實體L2,關系L1
  • 損失函數：
    • 無embedding loss:
    • 對齊 loss:d=|e1-e2|,margin-based loss
      • 負采樣：k-近鄰
  • entity alignment+entityname
  • entity name用于model 初始化
• 速度
  • 比boostrapping的方法慢
• 開源軟件情況：[code]，不在OpenEA里
• 評估質量：
  • DBP15k:
    • 在使用entity name的模型中僅次于CEA
  • SRPRS：在使用entity name的模型中僅次于CEA
  • DWY100:在使用entity name的模型中僅次于CEA
• 輸入：2個KG的關系三元組（seed entity alignment)
• 輸出：實體對齊對（也有排名）,關系對齊（有排名）

1.動機

• 動機
  • 沒用關系表達
    • 關系和實體密切相關，所以應該有增益
  • 用了關系的：需要關系對齊的seed
    • eg JAPE,IPTransE,MTransE
  • TransE:可以直接訓練entity,rel表達式
  • GCN:不能直接使用關系表達式–GCN是無向無標簽的圖
    • RGCN：
      • 多關系圖
      • 但需要非常多的參數去建模
• 目標：
  • 用上關系表達，且不需要關系對齊的seed
• 方式
  • 用實體表示估計關系表示（僅用seed entity alignment）
  • 新的joint 實體表示：實體的關系信息+鄰居
    • 可以進一步提升性能

2.輸入輸出

• 輸入：seed 實體對齊+2KG
• 輸出：關系對齊+實體對齊

3.相關工作

• TransE系列

  • JE
    • 在一個向量空間里學習兩個KG的embedding
  • MTransE
    • 每個KG單獨學一個embedding
    • 學一個兩者之間的轉移矩陣
    • 輸出：rel alignment+entity alignment
  • BootEA
    • bootstrapping
  • SEA
    • 對度敏感的KG embedding model
  • KDCoE
    • 半監督：co-training
    • 跨語言
    • entity description

• GCN

  • RDGCN:
    • dual relation graph:建模關系信息
    • 原始圖和對偶圖多輪互動–>引入復雜的關系信息到entity 表達中
    • 問題：集中于entity embedding,忽略了relation的表達可以提供幫助
    • R-GCNs：需要超多參數

• NTAM

  • 輸出：rel alignment+entity alignment

• 輸出：rel alignment+entity alignment

  • NTAM
  • MTransE
  • 但需要rel align seed

4.模型

• GCNs+highway network
  • 多層stacked GCN layers
• 模塊
  • preliminary entity alignment
    • 不同KG的entity嵌入到同義空間中
  • approximating relation representations
    • 用entity的表示估計relation的表示
  • joint entity and relation alignment
    • 將關系的表示引入到實體embedding–》 joint entity embedding
    • GCN：迭代地整合鄰居結構信息
• entity name:利用entity name做模型初始化

4.1 GCN

* GCN

• highway gates

• 對齊
  
• margin-based scoring function
  • 這個margin loss不是embedding的，是alignment
  • 負采樣：K-近鄰（只有細微的差別）

4.2 approximating relation representations

• 先估計一個關系的表達
  • head
  • tail
  • 依賴于統計信息：head和tail的關系影響他們之間的語義
    • reasonable assumption
  • $f=W?concate(avg(head,tail))$,W-可學習參數
• 關系相似度

4.3 joint entity and relation alignment

• pretrain entity alignment model(4.1)–stable

  • asumption: pre-trained entity 和approx relation 表達
    • 可以為他們自己提供豐富的信息

• joint entity representation

  • 融合了rel信息的entity表達
  • e=concate(e,sum(Re))

總結

以上是生活随笔為你收集整理的【实体对齐·HGCN】Jointly Learning Entity and Relation Representations for Entity Alignment的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。