來源: IJCAI2018

鏈接: https://www.ijcai.org/proceedings/2018/0556.pdf

動(dòng)機(jī)

近年來，隨著多語言知識(shí)圖譜嵌入(Multilingual KG embedding)的研究，實(shí)體的潛在語義表示以及跨語言知識(shí)推理等任務(wù)均取得一定成效，因此也推動(dòng)了許多知識(shí)驅(qū)動(dòng)的跨語言工作。然而，受限于各語言知識(shí)圖譜之間較低的實(shí)體對齊(Entity alignment)程度，跨語言推理的準(zhǔn)確性往往不夠令人滿意。

考慮到多語言知識(shí)圖譜中具有對實(shí)體的文字性描述，文章提出一種基于嵌入(Embedding)的策略：通過利用圖譜中實(shí)體的文字描述，對僅包含弱對齊（KG中的inter-language links，ILLs）的多語圖譜做半監(jiān)督的跨語言知識(shí)推理。

為了有效利用圖譜知識(shí)以及實(shí)體的文字描述，文章提出通過協(xié)同訓(xùn)練(Co-train)兩個(gè)模塊從而構(gòu)建模型KDCoE：多語言知識(shí)嵌入模塊；多語言實(shí)體描述嵌入模塊。

貢獻(xiàn)

文章的貢獻(xiàn)有：

（1）提出了一種半監(jiān)督學(xué)習(xí)方法KDCoE，協(xié)同訓(xùn)練了多語知識(shí)圖譜嵌入和多語實(shí)體描述嵌入用于跨語言知識(shí)對齊；

（2）證明KDCoE在Zero-shot實(shí)體對齊以及跨語言知識(shí)圖譜補(bǔ)全(Cross-lingual KG Completion)任務(wù)上的有效性；

方法

1.?????多語言知識(shí)圖譜嵌入Monolingual KG Embeddings, KGEM

由知識(shí)模型(Knowledge Model)和對齊模型(Alignment Model)兩個(gè)部分構(gòu)成，分別從不同角度學(xué)習(xí)結(jié)構(gòu)化知識(shí)。

知識(shí)模型：用于保留各語言知識(shí)嵌入空間中的實(shí)體和關(guān)系

文章采用了傳統(tǒng)的TransE方法構(gòu)建知識(shí)模型，并認(rèn)為這種方法有利于在跨語言任務(wù)重中保持實(shí)體表示的統(tǒng)一性，且不會(huì)受到不同關(guān)系上下文帶來的影響。其對應(yīng)的目標(biāo)損失函數(shù)如下：

其中，L表示某種語言，(L_i，L_j)表示一組語言對，G_L 表示語言 L 對應(yīng)的知識(shí)圖譜， 反映的是圖譜中三元組 (h,r,t) 之間的相異度，是一個(gè) positive margin，[x]₊ 則表示取 x 的正值部分， 表示一組伯努利負(fù)采樣三元組，用于替換圖譜三元組中的 h 和 t.

對齊模型：用于在不同語言的嵌入空間中獲取跨語言關(guān)聯(lián)

為了將不同語言間的知識(shí)關(guān)聯(lián)起來，文章參照MTransE中的線性轉(zhuǎn)換策略，其目標(biāo)函數(shù)如下：

其中(e, e')是一組已知的對齊實(shí)體，當(dāng)知識(shí)嵌入向量的維度為 k₁ 時(shí)，M_ij 是一個(gè) 的線性轉(zhuǎn)換矩陣，用于將 L_i 語言的實(shí)體向量轉(zhuǎn)換為 L_j 語言。這里與 MTransE 方法不同的是，文章僅計(jì)算了跨語言實(shí)體嵌入而非三元組整體嵌入。

KGEM的目標(biāo)函數(shù)：

其中，是一個(gè)正超參數(shù)

2.?????多語言實(shí)體描述嵌入 Multilingual Entity Description Embeddings, DEM

DEM過程包含兩個(gè)部分：編碼和跨語言嵌入

1) 編碼：

文章使用 Attentive Gated Recurrent Unit encoder, AGRU 對多語言實(shí)體描述進(jìn)行編碼，可以理解為帶有 self-attention 的 GRU 循環(huán)網(wǎng)絡(luò)編碼器。

文章希望利用self-attention機(jī)制使得編碼器能夠凸顯實(shí)體描述句子中的關(guān)鍵信息，AGRU中的self-attention可以定義為以下公式：

其中，u_t 是由 GRU 中 s_t 產(chǎn)生的隱藏表示，attention 權(quán)值 a_t 則是由一個(gè) softmax 函數(shù)計(jì)算得到，反映的是單詞 x_t 對于序列 X 的重要性，而后依據(jù)此權(quán)重與隱藏表示可以得到 self-attention 的輸出 v_t，|X|(輸入序列的長度)用于防止 v_t 失去原有的規(guī)模。

在這個(gè)部分，作者也嘗試了其他的編碼框架，包括單層網(wǎng)絡(luò)，CNN，ALSTM等等，但AGRU取得了最好的性能

2) 跨語言嵌入部分：

為了更好的反映出多語言實(shí)體描述的詞級(jí)別語義信息，文章使用跨語言詞嵌入方法用于衡量和找出不同語言間的相似詞匯。大致流程可描述如下：

首先，使用跨語言平行語料Europarl V7以及Wikipedia中的單語語料，對cross-lingualBilbowa [Gouws et al., 2015] word embeddings進(jìn)行預(yù)訓(xùn)練。

而后使用上述embeddings將實(shí)體描述文本轉(zhuǎn)換為向量序列，再輸入進(jìn)編碼器中。

3) DEM學(xué)習(xí)目標(biāo)：

文章建立的編碼器由兩個(gè)堆疊的AGRU層構(gòu)成，用于建模兩種語言的實(shí)體描述。該編碼器將實(shí)體描述序列作為輸入，而后由第二層輸出生成的embedding。

而后，文章引入了一個(gè)affine層，將上述各種語言的embedding結(jié)果投影到一個(gè)通用空間中，其投影過程由以下公式描述：

DEM 的目標(biāo)是最大化各個(gè)實(shí)體描述 embedding 與對應(yīng)的其他語言版本之間的 log 相似度，故可以將目標(biāo)函數(shù)描述如下：

3.?????迭代 Co-training 的 KDCoE 模型

文章利用 KG 中存在的少量 ILLs 通過迭代的協(xié)同過程訓(xùn)練 KGEM 和 DEM 兩個(gè)模塊，過程大致描述如下：

每次迭代中，各模塊都進(jìn)行一系列“訓(xùn)練-生成”的過程：

1) 首先利用已有的ILLs對模型進(jìn)行訓(xùn)練；

2) 之后利用訓(xùn)練得到的模型從KG中預(yù)測得到以前未出現(xiàn)過的新ILLs；

3) 而后將這些結(jié)果整合到已有ILLs中，作為下一輪迭代的訓(xùn)練數(shù)據(jù)；

4) 判斷是否滿足終止條件：本輪迭代中各模塊不再生成新的ILLs

其算法細(xì)節(jié)描述如下圖：

實(shí)驗(yàn)

⑴. 實(shí)驗(yàn)相關(guān)細(xì)節(jié)

實(shí)驗(yàn)數(shù)據(jù)說明：

文章實(shí)驗(yàn)數(shù)據(jù)來自DBPedia中抽取的子集WK3160k，由英法德三語構(gòu)成，其中每種語言數(shù)據(jù)中包含了54k-65k規(guī)模的實(shí)體

具體統(tǒng)計(jì)信息如下表：

文章分別在跨語言實(shí)體對齊，Zero-shot對齊以及跨語言知識(shí)圖譜補(bǔ)全等三個(gè)任務(wù)上進(jìn)行實(shí)驗(yàn)

其中，跨語言實(shí)體對齊選用的基線系統(tǒng)包括：LM，CCA，OT，ITransE以及MTransE的三種策略；

Zero-shot對齊的基線系統(tǒng)為：Single-layer 網(wǎng)絡(luò)，CNN，GRU，AGRU 的兩種策略；

知識(shí)圖譜補(bǔ)全的基線系統(tǒng)為TransE

?

⑵. 實(shí)驗(yàn)結(jié)果

????? 跨語言實(shí)體對齊：

如下圖所示，文章設(shè)置了三組評價(jià)指標(biāo)，分別為：accuracy Hit@1；proportion of ranks no larger than 10 Hit@10；mean reciprocal rank MRR

從結(jié)果上看，KDCoE模型的性能遠(yuǎn)優(yōu)于其他系統(tǒng)，且隨著Co-train的迭代次數(shù)增加，系統(tǒng)的性能也都有較為明顯的提升。

?

Zero-shot對齊：

Zero-shot采用的評價(jià)指標(biāo)與跨語言實(shí)體對齊相同，下圖反映了KDCoE在Zero-shot對齊任務(wù)中的實(shí)驗(yàn)結(jié)果：

從實(shí)驗(yàn)結(jié)果上看，KDCoE 的效果依然是隨著迭代次數(shù)的增加而上升，但從第一次迭代的結(jié)果可以發(fā)現(xiàn)，其優(yōu)勢的來源基礎(chǔ)是 AGRU。這也反映出 AGRU 在編碼上相對其他網(wǎng)絡(luò)模型體現(xiàn)出了更優(yōu)性能。

?

跨語言知識(shí)補(bǔ)全：

在跨語言知識(shí)補(bǔ)全任務(wù)中，文章采用proportion of ranks no larger than 10 Hit@10；mean reciprocal rank MRR等兩個(gè)評價(jià)指標(biāo)

?

根據(jù) KDCoE-mono 的表現(xiàn)，可以推斷，該模型成功繼承了 TranE 保持結(jié)構(gòu)化知識(shí)中實(shí)體和關(guān)系的穩(wěn)定性。而 KDCoE-corss 則反映引入跨語言信息確實(shí)對知識(shí)補(bǔ)全的效果起到了明顯提升。

總結(jié)

本文提出了一種基于 embedding 技術(shù)的跨語言知識(shí)對齊方法，通過引入 Co-train 機(jī)制，將 KG 中的關(guān)系上下文與實(shí)體描述信息有效的利用起來，以現(xiàn)有 KG 中的小規(guī)模 ILLs 為基礎(chǔ)建立半監(jiān)督機(jī)制，在跨語言實(shí)體對齊，知識(shí)補(bǔ)全上都起到了明顯的效果。

?

論文筆記整理：譚亦鳴，東南大學(xué)博士，研究方向?yàn)橹R(shí)圖譜問答、自然語言處理。

?

---

OpenKG.CN

中文開放知識(shí)圖譜（簡稱OpenKG.CN）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識(shí)圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 面向跨语言实体对齐的知识图谱与实体描述协同嵌入方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。