論文筆記整理：王琰，東南大學(xué)碩士。

---

來(lái)源：CIKM 2020

鏈接：https://doi.org/10.1145/3340531.3411947

研究背景與任務(wù)描述

為了解決推薦系統(tǒng)中的數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題，研究人員通過(guò)利用有價(jià)值的外部知識(shí)作為輔助信息，提出了基于知識(shí)圖（KGs）的推薦。但是，以往大多數(shù)工作都忽略了多模態(tài)知識(shí)圖譜（MMKG）中的各種數(shù)據(jù)類型（例如，文本和圖像）。因此作者提出了多模態(tài)知識(shí)圖譜注意力網(wǎng)絡(luò)（MKGAT），以通過(guò)利用多模態(tài)知識(shí)來(lái)提高推薦系統(tǒng)的推薦效果。

多模態(tài)知識(shí)圖譜表示學(xué)習(xí)有兩種類型：基于特征的方法和基于實(shí)體的方法。

基于特征的方法將模態(tài)信息視為實(shí)體的輔助特征

基于實(shí)體的方法將不同類型的信息（例如文本和圖像）視為結(jié)構(gòu)化知識(shí)的關(guān)系三元組

主要工作：遵循基于實(shí)體的方法來(lái)構(gòu)造多模式知識(shí)圖，提出了多模態(tài)知識(shí)圖譜注意力網(wǎng)絡(luò)（MKGAT）

任務(wù)描述：制定基于多模態(tài)KG的推薦任務(wù)：

?輸入：協(xié)同過(guò)濾知識(shí)圖譜，其中包括用戶-項(xiàng)目二部圖和原始的多模態(tài)知識(shí)圖譜

?輸出：一種預(yù)測(cè)用戶采用某項(xiàng)商品的概率

MKGAT model

MKGAT model由兩個(gè)子模塊組成: multi-modal knowledge graph embedding module 和 recommendation module.

Multi-modal knowledge graph embedding module：

知識(shí)圖嵌入模塊以協(xié)作知識(shí)圖作為輸入，利用多模態(tài)知識(shí)圖譜（MKG）實(shí)體編碼器和MKG注意層為每個(gè)實(shí)體學(xué)習(xí)新的實(shí)體表示。新的實(shí)體表示將匯總其鄰居的信息，同時(shí)保留有關(guān)其自身的信息。然后，可以使用新的實(shí)體表示來(lái)學(xué)習(xí)知識(shí)圖嵌入，以表示知識(shí)推理關(guān)系。

Multi-modal Knowledge Graph Entity Encoder

將結(jié)構(gòu)化知識(shí)的實(shí)體id或關(guān)系id分別embedding；用ResNet embedding 圖像; 用用Word2Vec訓(xùn)練單詞向量，然后應(yīng)用SIF模型獲得句子的單詞向量的加權(quán)平均值，用作句子向量來(lái)表示文字特征

Multi-modal Knowledge Graph Attention Layer

??????? Propagation layer
????給定候選實(shí)體h，首先通過(guò)transE模型學(xué)習(xí)知識(shí)圖的結(jié)構(gòu)化表示，然后把實(shí)體?的多模態(tài)鄰居實(shí)體信息匯總到實(shí)體h。N_h 表示直接連接到h的三元組的集合，集合了鄰居實(shí)體信息，是每個(gè)三重表示形式的線性組合，計(jì)算公式為

其中 e(h, r, t) 是每個(gè)三元組 (h, r, t) 的嵌入，而 π(h, r, t) 是每個(gè)三元組e(h, r, t) 的注意力得分

e(h, r, t) 是通過(guò)對(duì)頭部實(shí)體，尾部實(shí)體和關(guān)系的嵌入的串聯(lián)進(jìn)行線性變換得到的

通過(guò)關(guān)系注意力機(jī)制實(shí)現(xiàn)π(h, r, t)

在這里，選擇LeakyReLU作為非線性激活函數(shù)。此后采用softmax函數(shù)對(duì)所有與將與連接的所有三元組的系數(shù)歸一化：

Aggregation layer

?????? 采用兩種方法將實(shí)體表示 e^h 和對(duì)應(yīng)的聚合為實(shí)體 h 的新表示

?????? 1) Add aggregation method

??????

?????? 對(duì)初始e^h進(jìn)行線性變換并將其添加到中，W3是一個(gè)權(quán)重矩陣，用于將當(dāng)前表示轉(zhuǎn)移到公共空間

?????? 2) Concatenation aggregation method

??????

?????? 使用線性變換連接 e^h 和 , 其中||是串聯(lián)操作，W4是可訓(xùn)練模型參數(shù)

?????? High-order propagation

????? 通過(guò)堆疊更多的傳播層和聚合層，探索協(xié)作知識(shí)圖中固有的更高階連接性。通常對(duì)于n層模型，傳入信息是在n跳鄰居上累積的

Knowledge Graph Embedding

使用translational scoring function來(lái)embedding

通過(guò)優(yōu)化轉(zhuǎn)換原理來(lái)學(xué)習(xí)嵌入每個(gè)實(shí)體和關(guān)系，三元組的score為：

Pairwise Ranking Loss：

是隨機(jī)替換有效三元組的實(shí)體得到的

Recommendation module：

?????? 推薦模塊以實(shí)體的知識(shí)圖嵌入（由知識(shí)圖嵌入模塊獲得）和協(xié)作知識(shí)圖為輸入，推薦模塊還使用MKG實(shí)體編碼器和MKG attention layer來(lái)利用相應(yīng)的鄰居來(lái)豐富用戶和用戶的表示。最后，根據(jù)傳統(tǒng)推薦模型來(lái)生成用戶和項(xiàng)目之間的匹配分?jǐn)?shù)

?????? 為了保留第層的候選用戶和項(xiàng)目的輸出，使用layer-aggregation mechanism將每個(gè)步驟的表示連接成一個(gè)向量

?????? ?

其中||是連接操作，L是MKG attention layer的數(shù)目。這樣不僅可以通過(guò)執(zhí)行嵌入傳播操作來(lái)豐富初始嵌入，還可以通過(guò)調(diào)整L來(lái)控制傳播強(qiáng)度

?????? 匹配分?jǐn)?shù)的計(jì)算公式為：

??????

?????? 推薦預(yù)測(cè)損失為Bayesian Personalized Ranking (BPR) loss：

??????

??????

Experiment

?????? 數(shù)據(jù)集：MovieLens，Dianping

?????? Evaluation Metrics：recall@k和ndcg@k

Baselines：基于FM的方法（NFM），基于KG的方法（CKE，KGAT），多模態(tài)方法（MMGCN）

?????? 可以看出MKGCN在recall和ndcg方面均優(yōu)于兩個(gè)數(shù)據(jù)集的所有baselines

?????? 模態(tài)的影響:

在Dianping數(shù)據(jù)集上比較了KGAT和MKGAT模型在不同模態(tài)下的結(jié)果，可以看出在KGAT和MKGAT中，具有多模式特征的方法均優(yōu)于具有單模式特征的方法且視覺(jué)效果比文本效果更加重要

模型深度的影響:

對(duì)于KGE，在MovieLens中，隨著MKGAT層數(shù)的增加,評(píng)估指標(biāo)也增加,證明了鄰域信息融合在知識(shí)圖嵌入中的有效性。在Dianping數(shù)據(jù)集中，隨著MKGAT層數(shù)的增加，評(píng)估指標(biāo)先增大然后減小,這可能是因?yàn)辄c(diǎn)屏數(shù)據(jù)的多跳信息相對(duì)稀疏

推薦部分隨著MKGAT層數(shù)的增加，評(píng)估指標(biāo)首先集中增長(zhǎng)，證明了不同躍點(diǎn)的KGE對(duì)于推薦系統(tǒng)有益。但是當(dāng)層數(shù)增加到一定水平時(shí)，評(píng)估指標(biāo)下降，這可能是由于數(shù)據(jù)稀疏導(dǎo)致了過(guò)度擬合

組合層的影響:

可以看出使用的連接層（用CONCAT標(biāo)記）的方法優(yōu)于添加層（用ADD標(biāo)記）

Case study:

隨機(jī)選擇Dianping數(shù)據(jù)集中的一個(gè)用戶和相關(guān)項(xiàng)，計(jì)算候選項(xiàng)目與實(shí)體之間的相關(guān)性得分，相關(guān)性得分越高，模型就認(rèn)為當(dāng)前實(shí)體對(duì)模型的影響越大。可以看出多模態(tài)關(guān)系在協(xié)作知識(shí)圖中通常有較高評(píng)分，表明多模態(tài)實(shí)體的重要性

總結(jié)：

?????? 作者提出了一種多模式知識(shí)圖注意力網(wǎng)絡(luò)（MKGAT），將多模態(tài)知識(shí)圖譜創(chuàng)新地引入了推薦系統(tǒng)。通過(guò)學(xué)習(xí)實(shí)體之間的推理關(guān)系，并將每個(gè)實(shí)體的鄰居實(shí)體信息聚合到自身，該模型可以利用多模式實(shí)體信息改進(jìn)推薦效果

未來(lái)可以在多模態(tài)知識(shí)圖的框架下探索更多的多模態(tài)融合方法，例如 Tensor Fusion Network（TFN）或低秩多模態(tài)融合（LMF）等

?

---

OpenKG

開放知識(shí)圖譜（簡(jiǎn)稱 OpenKG）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識(shí)圖譜和語(yǔ)義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - CIKM2020 | 用于推荐系统的多模态知识图谱的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。