文章目錄

• 1.動(dòng)機(jī)
• 2.輸入輸出
• 3.相關(guān)工作
• 4.模型
• • 4.1 GCN
• 4.2 approximating relation representations
• • 4.3 joint entity and relation alignment

HGCN: “Jointly Learning Entity and Relation Representations for Entity Alignment”.
Yuting Wu, Xiao Liu, Yansong Feng, Zheng Wang, Dongyan Zhao. (EMNLP 2019) [paper][code]

• 推薦結(jié)論：
  • entity name的方法中效果好的一波
• 短評(píng)
  • 優(yōu)點(diǎn)：entity name中效果好，且返回的是排名
  • 缺點(diǎn)：HGCN的GCN雖然使用了highway gate，但不是GAT,大圖可能不友好
• 類別：
  • 實(shí)體對(duì)齊
  • 基于embedding的實(shí)體對(duì)齊
  • BootEA的bootstrapping方法
  • transE系列–特定于實(shí)體對(duì)齊的embedding+swap
• 數(shù)據(jù)集：
  • DWY100k
  • DBP15k
  • DBP-FB
  • SRPRS
• 圖譜
  • wikidata/DBpedia/yago3
  • 規(guī)模：15k/100k
• 底層模型：
  • 嵌入模塊：GCN+highway gate
  • 對(duì)齊模塊：calibration（學(xué)習(xí)一個(gè)embedding)
  • 相似度：實(shí)體L2,關(guān)系L1
  • 損失函數(shù)：
    • 無(wú)embedding loss:
    • 對(duì)齊 loss:d=|e1-e2|,margin-based loss
      • 負(fù)采樣：k-近鄰
  • entity alignment+entityname
  • entity name用于model 初始化
• 速度
  • 比boostrapping的方法慢
• 開(kāi)源軟件情況：[code]，不在OpenEA里
• 評(píng)估質(zhì)量：
  • DBP15k:
    • 在使用entity name的模型中僅次于CEA
  • SRPRS：在使用entity name的模型中僅次于CEA
  • DWY100:在使用entity name的模型中僅次于CEA
• 輸入：2個(gè)KG的關(guān)系三元組（seed entity alignment)
• 輸出：實(shí)體對(duì)齊對(duì)（也有排名）,關(guān)系對(duì)齊（有排名）

1.動(dòng)機(jī)

• 動(dòng)機(jī)
  • 沒(méi)用關(guān)系表達(dá)
    • 關(guān)系和實(shí)體密切相關(guān)，所以應(yīng)該有增益
  • 用了關(guān)系的：需要關(guān)系對(duì)齊的seed
    • eg JAPE,IPTransE,MTransE
  • TransE:可以直接訓(xùn)練entity,rel表達(dá)式
  • GCN:不能直接使用關(guān)系表達(dá)式–GCN是無(wú)向無(wú)標(biāo)簽的圖
    • RGCN：
      • 多關(guān)系圖
      • 但需要非常多的參數(shù)去建模
• 目標(biāo)：
  • 用上關(guān)系表達(dá)，且不需要關(guān)系對(duì)齊的seed
• 方式
  • 用實(shí)體表示估計(jì)關(guān)系表示（僅用seed entity alignment）
  • 新的joint 實(shí)體表示：實(shí)體的關(guān)系信息+鄰居
    • 可以進(jìn)一步提升性能

2.輸入輸出

• 輸入：seed 實(shí)體對(duì)齊+2KG
• 輸出：關(guān)系對(duì)齊+實(shí)體對(duì)齊

3.相關(guān)工作

• TransE系列

  • JE
    • 在一個(gè)向量空間里學(xué)習(xí)兩個(gè)KG的embedding
  • MTransE
    • 每個(gè)KG單獨(dú)學(xué)一個(gè)embedding
    • 學(xué)一個(gè)兩者之間的轉(zhuǎn)移矩陣
    • 輸出：rel alignment+entity alignment
  • BootEA
    • bootstrapping
  • SEA
    • 對(duì)度敏感的KG embedding model
  • KDCoE
    • 半監(jiān)督：co-training
    • 跨語(yǔ)言
    • entity description

• GCN

  • RDGCN:
    • dual relation graph:建模關(guān)系信息
    • 原始圖和對(duì)偶圖多輪互動(dòng)–>引入復(fù)雜的關(guān)系信息到entity 表達(dá)中
    • 問(wèn)題：集中于entity embedding,忽略了relation的表達(dá)可以提供幫助
    • R-GCNs：需要超多參數(shù)

• NTAM

  • 輸出：rel alignment+entity alignment

• 輸出：rel alignment+entity alignment

  • NTAM
  • MTransE
  • 但需要rel align seed

4.模型

• GCNs+highway network
  • 多層stacked GCN layers
• 模塊
  • preliminary entity alignment
    • 不同KG的entity嵌入到同義空間中
  • approximating relation representations
    • 用entity的表示估計(jì)relation的表示
  • joint entity and relation alignment
    • 將關(guān)系的表示引入到實(shí)體embedding–》 joint entity embedding
    • GCN：迭代地整合鄰居結(jié)構(gòu)信息
• entity name:利用entity name做模型初始化

4.1 GCN

* GCN

• highway gates

• 對(duì)齊
  
• margin-based scoring function
  • 這個(gè)margin loss不是embedding的，是alignment
  • 負(fù)采樣：K-近鄰（只有細(xì)微的差別）

4.2 approximating relation representations

• 先估計(jì)一個(gè)關(guān)系的表達(dá)
  • head
  • tail
  • 依賴于統(tǒng)計(jì)信息：head和tail的關(guān)系影響他們之間的語(yǔ)義
    • reasonable assumption
  • $f=W?concate(avg(head,tail))$,W-可學(xué)習(xí)參數(shù)
• 關(guān)系相似度

4.3 joint entity and relation alignment

• pretrain entity alignment model(4.1)–stable

  • asumption: pre-trained entity 和approx relation 表達(dá)
    • 可以為他們自己提供豐富的信息

• joint entity representation

  • 融合了rel信息的entity表達(dá)
  • e=concate(e,sum(Re))

總結(jié)

以上是生活随笔為你收集整理的【实体对齐·HGCN】Jointly Learning Entity and Relation Representations for Entity Alignment的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。