研究意義：

1、將Random Walk + Skip2gram? 的框架擴(kuò)展到異質(zhì)圖，以及圖和在多種類型的節(jié)點之間定義節(jié)點的上下文，從而產(chǎn)生好的訓(xùn)練語料

2、基于異質(zhì)圖的隨機游走算法表達(dá)了不同節(jié)點之間的語義和結(jié)構(gòu)關(guān)聯(lián)

3、早期研究異質(zhì)圖學(xué)習(xí)的工作，擴(kuò)展了更多類型的網(wǎng)絡(luò)圖表示學(xué)習(xí)研究

?

本文主要結(jié)構(gòu)如下所示:

?一、Abstract

基于傳統(tǒng)圖的圖表征學(xué)習(xí)算法無法很好的應(yīng)用到點和邊有多個類型的異質(zhì)圖，提出本文的算法metapath2vec，具體如下：

1、強調(diào)前人研究的模型都是基于同質(zhì)網(wǎng)絡(luò)，無法更好的表達(dá)點和邊的多樣性

2、基于異質(zhì)圖上的meta-path涉及random walk等算法

3、基于skip2gram算法框架和負(fù)采樣算法完成異質(zhì)圖的學(xué)習(xí)

4、通過節(jié)點分類、聚類、相似性等任務(wù)在Aminer和DBIS兩個數(shù)據(jù)集驗證了模型的有效性

二、Introduction

很多算法集中在同質(zhì)網(wǎng)絡(luò)中，如DeepWalk、LINE、Node2vec等，引出異質(zhì)圖中的多類型的點和邊所存在的廣泛應(yīng)用

三、Related work

介紹了鄰接矩陣分解的網(wǎng)絡(luò)表征算法開銷大，并且效果不理想，同時介紹了DeepWalk、LINE、Node2vec算法

四、Problem Definition

定義異質(zhì)圖上的網(wǎng)絡(luò)表征學(xué)習(xí)表示metapath

?

主要對問題進(jìn)行了一下定義，例如，同質(zhì)網(wǎng)絡(luò)點和邊的屬性都是一種，但是異質(zhì)網(wǎng)絡(luò)是多種，邊的屬性個數(shù)與點的屬性個數(shù)加和大于2，以及對維度進(jìn)行定義

?

五、Metapath2vec

論文算法的模型部分，異質(zhì)圖上的skipgram算法以及基于metapath的隨機游走算法

首先介紹了同質(zhì)網(wǎng)絡(luò)的目標(biāo)函數(shù)(3.1)，在(3.2)中先介紹了異質(zhì)網(wǎng)絡(luò)的Skip-Gram 需要分節(jié)點的類型進(jìn)行計算、softmax的定義以及損失函數(shù)，如下圖所示：

之后介紹了Meta-Path-Based Random Walk部分:

?

六、Metapath2vec++

異質(zhì)圖上的負(fù)采樣算法，異質(zhì)圖學(xué)習(xí)算法的完整框架

metapath2vec存在一個問題就是定義softmax時沒有分節(jié)點類型進(jìn)行計算，metapath2vec++對這個問題進(jìn)行改進(jìn)，并且給出metapath2vec++的算法框架，如下圖所示

七、Dataset and Baselines

選取Aminer和DBIS數(shù)據(jù)集以及DeepWalk、LINE、PTE、鄰接表分解等baselines

八、Effectiveness

論文通過實驗探究了模型的有效性、節(jié)點分類、節(jié)點聚類、點相似性、可視化等

九、Conclusion

總結(jié)并提出了一種基于異質(zhì)圖的神經(jīng)網(wǎng)絡(luò)框架

啟發(fā)點:

1、對異質(zhì)圖的理解多類型的點和邊

2、random walk + skip2gram經(jīng)典框架

3、算法設(shè)計將同質(zhì)圖經(jīng)典框架通過修改損失函數(shù)softmax和負(fù)采樣適用于異質(zhì)圖

關(guān)鍵點：

1、異質(zhì)圖的理解

2、meta-path的概念

3、損失函數(shù)的表達(dá)

4、skip-gram多項分布

創(chuàng)新點:

1、基于meta-path的隨機游走

2、softmax的修改

3、負(fù)采樣的修改

4、異質(zhì)圖的實驗論證

?

?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的metapath2vec: Scalable Representation Learning for Heterogeneous Networks的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。