图神经网络(一)图信号处理与图卷积神经网络(1)矩阵乘法的三种方式
圖神經(jīng)網(wǎng)絡(luò)(一)圖信號(hào)處理與圖卷積神經(jīng)網(wǎng)絡(luò)(1)矩陣乘法的三種方式
- 1.1 矩陣乘法的三種方式
- 參考文獻(xiàn)
? 圖信號(hào)處理(Graph Signal Processing,GSP) 1是離散信號(hào)處理(Discrete Signal Processing,DSP)理論在圖信號(hào)領(lǐng)域的應(yīng)用,其通過(guò)對(duì)傅里葉變換、濾波等信號(hào)處理基本概念的遷移,來(lái)研究對(duì)圖信號(hào)的壓縮、變換、重構(gòu)等信號(hào)處理的基礎(chǔ)任務(wù)。
?圖信號(hào)處理與圖卷機(jī)模型密不可分:一方面,理解圖信號(hào)處理對(duì)于了解圖卷機(jī)模型的定義和演變有十分重要的幫助;一方面,圖信號(hào)處理也為圖卷機(jī)模型的理論研究提供了十分實(shí)用的工具。
?本章的脈絡(luò)十分自然,我們將看到圖信號(hào)處理的基本理論是如何延伸到圖卷積神經(jīng)網(wǎng)絡(luò)中去的,首先,我們給出了圖信號(hào)的基本定義,緊接著介紹圖傅里葉變換,并由此引出圖信號(hào)頻率的定義。然后,我們介紹圖信號(hào)上的濾波操作,緊接著介紹卷積濾波與圖卷積模型的關(guān)系。其中還穿插了比較重要的兩部分內(nèi)容:一是對(duì)圖信號(hào)的頻域與空域的理解;二是對(duì)圖信號(hào)處理的頻域與空域的理解 2。
1.1 矩陣乘法的三種方式
?由于本章的公式以矩陣乘法為主,為了幫助大家更好地理解公式的推導(dǎo)過(guò)程,我們介紹下矩陣乘法的其他兩種計(jì)算方式。
?設(shè)兩個(gè)矩陣A∈RK×MA∈R^{K×M}A∈RK×M,B∈RM×PB∈R^{M×P}B∈RM×P,對(duì)于C=ABC=ABC=AB,我們有如下3種計(jì)算方式:
?(1) 內(nèi)積視角:將AAA視作一個(gè)行向量矩陣,將BBB視作一個(gè)列向量矩陣,則:
Cij=Ai,:B:,jC_{ij}=A_{i,:} B_{:,j}Cij?=Ai,:?B:,j??(2) 行向量視角:將BBB視作一個(gè)行向量矩陣,將AAA視作系數(shù)矩陣,則:
Ci,:=∑mMAimBm,:C_{i,:}=∑_m^MA_{im} B_{m,:}Ci,:?=m∑M?Aim?Bm,:??(3) 列向量視角:將AAA視作一個(gè)列向量矩陣,將BBB視作系數(shù)矩陣,則:
C:,j=∑mMBmjA:,mC_{:,j}=∑_m^MB_{mj} A_{:,m}C:,j?=m∑M?Bmj?A:,m?
?舉例來(lái)說(shuō),設(shè)A=[1?12021]A=\begin{bmatrix}1&-1&2\\0&2&1\end{bmatrix}A=[10??12?21?],B=[20?110?1]B=\begin{bmatrix}2&0\\-1&1\\0&-1\end{bmatrix}B=???2?10?01?1????,則:
?如果用內(nèi)積視角計(jì)算,可得C=[3?3?21]C=\begin{bmatrix}3&-3\\-2&1\end{bmatrix}C=[3?2??31?]
?如果用行視角進(jìn)行計(jì)算,我們以CCC的第一行計(jì)算過(guò)程為例:
[3?3]=[1?12][20?110?1]=1[20]+(?1)[?11]+2[0?1]=[20]+[1?1]+[0?2]=[3?3]\begin{aligned}\begin{bmatrix}3&-3\end{bmatrix}&=\begin{bmatrix}1&-1&2\end{bmatrix}\begin{bmatrix}2&0\\-1&1\\0&-1\end{bmatrix}\\ &=1\begin{bmatrix}2&0\end{bmatrix}+(-1)\begin{bmatrix}-1&1\end{bmatrix}+2\begin{bmatrix}0&-1\end{bmatrix}\\ &=\begin{bmatrix}2&0\end{bmatrix}+\begin{bmatrix}1&-1\end{bmatrix}+\begin{bmatrix}0&-2\end{bmatrix}\\ &=\begin{bmatrix}3&-3\end{bmatrix}\end{aligned}[3??3?]?=[1??1?2?]???2?10?01?1????=1[2?0?]+(?1)[?1?1?]+2[0??1?]=[2?0?]+[1??1?]+[0??2?]=[3??3?]?
?如果用列視角進(jìn)行計(jì)算,我們以CCC的第一列計(jì)算過(guò)程為例:
[3?2]=[1?12021][2?10]=2[10]+(?1)[?12]+0[21]=[20]+[1?2]+[00]=[3?2]\begin{aligned}\begin{bmatrix}3\\-2\end{bmatrix}&=\begin{bmatrix}1&-1&2\\0&2&1\end{bmatrix}\begin{bmatrix}2\\-1\\0\end{bmatrix}\\ &=2\begin{bmatrix}1\\0\end{bmatrix}+(-1)\begin{bmatrix}-1\\2\end{bmatrix}+0\begin{bmatrix}2\\1\end{bmatrix}\\ &=\begin{bmatrix}2\\0\end{bmatrix}+\begin{bmatrix}1\\-2\end{bmatrix}+\begin{bmatrix}0\\0\end{bmatrix}\\ &=\begin{bmatrix}3\\-2\end{bmatrix}\end{aligned}[3?2?]?=[10??12?21?]???2?10????=2[10?]+(?1)[?12?]+0[21?]=[20?]+[1?2?]+[00?]=[3?2?]?
?上述兩種新的矩陣計(jì)算視角除了對(duì)理解本章的公式推導(dǎo)大有益處之外,行視角的計(jì)算方式對(duì)理解空域圖卷積的計(jì)算邏輯與意義也將有很大幫助。
參考文獻(xiàn)
[1] Shuman D I,Narang S K,Frossard P,et al.The
emerging field of signal processing on graphs: Extending high-dimensional data analysis to networks and other irregular domains[J].IEEE signal processing magazine,2013,30(3):83-98. ??
[2] 劉忠雨, 李彥霖, 周洋.《深入淺出圖神經(jīng)網(wǎng)絡(luò): GNN原理解析》.機(jī)械工業(yè)出版社. ??
總結(jié)
以上是生活随笔為你收集整理的图神经网络(一)图信号处理与图卷积神经网络(1)矩阵乘法的三种方式的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 惠惠助手如何安装
- 下一篇: 聚焦和增强卷积神经网络