圖卷積神經(jīng)網(wǎng)絡(luò)

GCN、GraphSage都屬于圖卷積神經(jīng)網(wǎng)絡(luò)，都是利用節(jié)點(diǎn)與節(jié)點(diǎn)周圍的鄰居信息不斷的聚合，以學(xué)習(xí)到節(jié)點(diǎn)的高層表示。

PATCH-SAN：因?yàn)镚CN和GraphSage聚合鄰居信息時(shí)具有排列不變性，而PATCH-SAN是真正利用卷積操作，去完成節(jié)點(diǎn)的深層次的學(xué)習(xí)。

Graph Attention NetWork

GAT利用節(jié)點(diǎn)之間的attention，求出節(jié)點(diǎn)與周圍鄰居節(jié)點(diǎn)的attention系數(shù)，然后通過聚合鄰居節(jié)點(diǎn)得到下一層的特征表示。

Graph Auto-encoder

輸入一張圖graph，然后通過GCN得到圖的隱層節(jié)點(diǎn)特征表示z，然后$z?z^T$還原出一張圖，然后求輸入圖與輸出圖的結(jié)構(gòu)性誤差，當(dāng)做損失函數(shù)，最小化loss之后，就學(xué)到了GCN的參數(shù)。與autoencoder思想類似，只不過把encoder轉(zhuǎn)為GCN，decoder轉(zhuǎn)為$z?z^T$

Graph Spatial-Temporal Networks(圖時(shí)空網(wǎng)絡(luò))

同時(shí)考慮圖的空間性和時(shí)間維度。比如在交通鄰域中，速度傳感器會(huì)隨時(shí)間變化的時(shí)間維度，不同的傳感器之間也會(huì)形成連接的空間維度的邊。當(dāng)前的許多方法都應(yīng)用GCN來捕獲圖的依賴性，使用一些RNN 或CNN 對(duì)時(shí)間依賴性建模。

Graph Generative NetWork（圖生成網(wǎng)絡(luò)）

通過RNN或者GAN的方式生成網(wǎng)絡(luò)。圖生成網(wǎng)絡(luò)的一個(gè)有前途的應(yīng)用領(lǐng)域是化合物的生成。在化學(xué)圖中，原子被視為節(jié)點(diǎn)，化學(xué)鍵被視為邊，任務(wù)是發(fā)現(xiàn)具有某些化學(xué)和物理性質(zhì)的新的可合成分子。

Graph Reinforcement Learning（圖強(qiáng)化學(xué)習(xí)）

采用強(qiáng)化學(xué)習(xí)的方法應(yīng)用于圖網(wǎng)絡(luò)上

Graph Adversarial Methods

GAN思想，生成器生成樣本，分類器去判別樣本

通用框架

MPNN消息傳遞網(wǎng)絡(luò)

統(tǒng)一了各種圖神經(jīng)網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)，分為兩個(gè)階段：

消息傳遞階段

Readout階段

消息傳遞階段

在消息傳遞階段分為兩個(gè)函數(shù)：
（1）消息函數(shù)Mt ：聚合了自己的節(jié)點(diǎn)$h_v^t$、鄰居節(jié)點(diǎn)$h_w^t$和邊的特征$e_{vw}$，通過消息聚合函數(shù)$M_t$，得到聚合鄰居的信息$m_v^{t+1}$。
（2）更新函數(shù)Ut：根據(jù)本身的向量$h_v^t$，以及聚合了鄰居信息的特征$m_v^{t+1}$，然后通過更新函數(shù)$U_t$更新了下一層的節(jié)點(diǎn)的表示。

上面兩步，可以在GCN、GraphSage模型中都有體現(xiàn)。

在Readout階段
得到每一個(gè)節(jié)點(diǎn)的特征$h_v^{t+1}$，將這些節(jié)點(diǎn)聚合在一起得到了圖的特征表示。相當(dāng)于聚合了圖上所有的節(jié)點(diǎn)。同時(shí)要保證節(jié)點(diǎn)排列不變性。

NLNN統(tǒng)一Attention

None-local Neural NetWorks 非局部圖網(wǎng)絡(luò)

上述公式中，$f(x_i,x_j)$表示$i,j$節(jié)點(diǎn)之間的關(guān)系，可以通過很多關(guān)系函數(shù)求得，例如$f(h_i,h_j)=e^{h_i^T{h}_j}、f(h_i,h_j)=e^{\theta (h_i{)}^T?(h_j)}、f(h_i,h_j)=\theta (h_i{)}^T?(h_j)、f(h_i,h_j)=ReLU(w^T[\theta (h_i)||?(h_i)])$

$g(x_j)$表示$x_j$經(jīng)過$g(x)$函數(shù)的變換。

${\sum }_{?j}f(x_i,x_j)g(x_j)$表示，聚合節(jié)點(diǎn)x的所有鄰居節(jié)點(diǎn)j
然后通過歸一化操作求得節(jié)點(diǎn)i的新的特征表示。

在GAT中，$x_i,x_j$相當(dāng)于attention系數(shù)，$f(x_i,x_j)$ 相當(dāng)于將節(jié)點(diǎn)i和節(jié)點(diǎn)j拼接之后與attention系數(shù)相乘然后與$g(x_j)$相乘加權(quán)求和。

GN網(wǎng)絡(luò)

統(tǒng)一了MPNN和NLNN
GN block

上面我們討論了簡單圖的圖神經(jīng)網(wǎng)絡(luò)模型，這些圖都是靜態(tài)的，只有一種節(jié)點(diǎn)和一種邊。然而，在許多現(xiàn)實(shí)世界的應(yīng)用程序中的圖表要復(fù)雜得多。它們通常有多種類型的節(jié)點(diǎn)、邊緣、獨(dú)特的結(jié)構(gòu)，而且通常是動(dòng)態(tài)的。

異構(gòu)圖 Heterogeneous Graph Neural Networks

二部圖 Bipartite Graph Neural Networks

多維圖 Multi-dimensional Graph Neural Networks

符號(hào)圖 Signed Graph Neural Networks

超圖 Hypergraph Neural Networks

動(dòng)態(tài)圖 Dynamic Graph Neural Networks

異構(gòu)圖

節(jié)點(diǎn)和節(jié)點(diǎn)之間或者邊之間的關(guān)系是不一樣的。例如作者可以發(fā)表文章，參加會(huì)議，文章之間又有引用的關(guān)系。

二部圖

可以將圖中所有的節(jié)點(diǎn)分為兩部分，其中每一部分內(nèi)之間是沒有邊的連接， 不同部分之間可以有邊連接，例如人可以在電商網(wǎng)站購買物品，任何人之間或者物品和物品之間沒有邊的連接，但是任何物品之間可以通過購買關(guān)系相連接，這種方式的圖就是二部圖

多維圖

符號(hào)圖

節(jié)點(diǎn)和節(jié)點(diǎn)之間的邊是有相反屬性的關(guān)系，例如兩個(gè)人之間如果是朋友關(guān)系則為$+1$，如果是敵對(duì)關(guān)系則為$?1$，如果不認(rèn)識(shí)，則沒有邊連接。邊上有符號(hào)的圖叫符號(hào)圖。

超圖

動(dòng)態(tài)圖

上面提到的圖是靜態(tài)的，觀察時(shí)節(jié)點(diǎn)之間的連接是固定的。 但是，在許多實(shí)際應(yīng)用中，隨著新節(jié)點(diǎn)被添加到圖中，圖在不斷發(fā)展，并且新邊也在不斷出現(xiàn)。 例如，在諸如Facebook的在線社交網(wǎng)絡(luò)中，用戶可以不斷與他人建立友誼，新用戶也可以隨時(shí)加入Facebook。 這些類型的演化圖可以表示為動(dòng)態(tài)圖，其中每個(gè)節(jié)點(diǎn)或邊都與時(shí)間戳關(guān)聯(lián)。

例如在$t_0$時(shí)刻，節(jié)點(diǎn)$v_2$關(guān)注了節(jié)點(diǎn)$v_1$，在$t_1$時(shí)刻，節(jié)點(diǎn)$v_3$也關(guān)注了$v_1$，以此類推，隨著時(shí)間的變化生成的圖就是動(dòng)態(tài)圖。

總結(jié)

以上是生活随笔為你收集整理的图神经网络的分类的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。