💡 本次解讀的文章是 2018 年發(fā)表于 KDD 的一篇基于圖卷積神經(jīng)網(wǎng)絡(luò)的用戶物品協(xié)同過濾推薦算法論文，本篇論文從圖鏈接預(yù)測的角度考慮推薦系統(tǒng)的矩陣填充問題，提出了一個基于二部交互圖上可微消息傳遞的圖自動編碼器框架。

一、背景介紹

在推薦算法方面，基于協(xié)同過濾（CF）的算法模型主要通過填充用戶-物品交互矩陣（評分矩陣或購買矩陣等表示用戶和物品交互行為的矩陣），來預(yù)測用戶對物品的評分或預(yù)測用戶購買物品的可能。本文將這種矩陣填充的方式看作圖上的鏈路預(yù)測問題，利用二分圖代替矩陣，將用戶-物品交互矩陣構(gòu)建二分圖（其中，二分圖的節(jié)點表示用戶或物品，二分圖的連邊表示觀察到的評分或購買交互行為），在二分圖的基礎(chǔ)上，預(yù)測可能存在的連邊，以此作為交互行為預(yù)測的結(jié)果。

二、本文貢獻(xiàn)

（1）提出了基于圖的矩陣填充自動編碼器框架（GC-MC），在二分交互圖上通過消息傳遞的形式產(chǎn)生用戶和物品節(jié)點的潛在特征，利用潛在特征對用戶-物品的交互行為進(jìn)行預(yù)測。

三、推薦流程

本文對用戶-物品交互行為的預(yù)測流程如上圖所示，利用 $N_u\times N_v$ 的評分矩陣$M$（其中，$N_u$ 表示用戶的數(shù)量，$N_v$ 物品的數(shù)量，$M_{ij}$ 表示用戶 $i$ 對物品 $j$ 的評分或未評分，0 表示未觀察到的行為）建立二分圖，將二分圖輸入圖自編碼器（GC-MC 模型），對二分圖中的連邊進(jìn)行預(yù)測，基于預(yù)測得到的連邊，為用戶推薦物品。

具體而言，將用戶-物品交互數(shù)據(jù)表示成無向圖 $G=(\mathcal{W},\mathcal{E},\mathcal{R})$ ，圖中用戶節(jié)點集表示為 $u_i\in \mathcal{U},i\in \left\{1,\dots ,N_u\right\}$，物品節(jié)點集表示為 $v_j\in \mathcal{V},j\in \left\{1,\dots ,N_v\right\}$，則 $\mathcal{U}\cup \mathcal{V}=\mathcal{W}$，圖中邊 $(u_i,r,vj)\in \mathcal{E}$ 攜帶表示多評分值標(biāo)簽 $r\in \left\{1,\dots ,R\right\}=\mathcal{R}$。

四、GC-MC 框架

圖自編碼器（GAE）由兩個部分組成：1）圖編碼器（Graph encoder）；2）雙線性解碼器（Bilinear decoder）。在二分推薦圖 $G=(\mathcal{W},\mathcal{E},\mathcal{R})$ 中，編碼器表示為 $[U,V]=f(X,M_1,\dots ,M_R)$，解碼器表示為 $\check{M}=g(U,V)$，其中 $X$ 為 $N\times D$ 的特征矩陣，$M_r\in \{0,1{\}}^{N_u\times N_v}$ 表示多評分值矩陣（或多評分值鄰接矩陣），$U,V$ 分別表示學(xué)習(xí)到的用戶嵌入表示和物品嵌入表示，大小分為$N_u\times E,N_v\times E$，$\check{M}$ 表示大小為 $N_u\times N_v$ 的預(yù)測評分矩陣。

4.1 Graph encoder

（1）鄰居聚合

在編碼器部分，該模型有效地利用了圖中不同位置的權(quán)重共享，并為每種邊類型 $r\in \mathcal{R}$ 分配了單獨的處理通道，即每個評分類型分配一個特定的變換，從而產(chǎn)生從物品 $j$ 到用戶 $i$ 的邊特定消息傳播 ${\mu }_{j\to i,r}$，其形式如下：

$${\mu }_{j\to i,r}=\frac{1}{c_{ij}}{W}_r{x}_j$$
其中，$c_{ij}$ 表示歸一化常量，選擇 $|{\mathcal{N}}_i|$ （left normalization）或 $\sqrt{|{\mathcal{N}}_i|{\mathcal{N}}_j|}$
（symmetric normalization）計算得到（${\mathcal{N}}_i$ 表示節(jié)點 $i$ 的鄰居集），$W_r$ 表示特定邊類型參數(shù)矩陣，$x_j$ 表示節(jié)點 $j$ 的初始特征向量。

（2）信息更新

通過對特定邊類型 $r$ 的所有鄰居 ${\mathcal{N}}_{i,r}$ 求和，在每個節(jié)點積累傳入的消息，隨后將它們累加成單個向量表示：

h i = σ [ accum ? ( ∑ j ∈ N i , 1 μ j → i , 1 , … , ∑ j ∈ N i , R μ j → i , R ) ] h_i=\sigma\left[\operatorname{accum}\left(\sum_{j \in \mathcal{N}_{i, 1}} \mu_{j \rightarrow i, 1}, \ldots, \sum_{j \in \mathcal{N}_{i, R}} \mu_{j \rightarrow i, R}\right)\right] hi?=σ ?accum ?j∈Ni,1?∑?μj→i,1?,…,j∈Ni,R?∑?μj→i,R? ? ?
其中，$accum(?)$ 表示累加操作，$\sigma (?)$ 表示元素級激活操作。

（3）節(jié)點最終表示

為了得到用戶節(jié)點 $i$ 的最終嵌入表示，這里對中間輸出 $h_i$ 進(jìn)行如下變換：

$$u_i=\sigma (W{h}_i)$$
需要注意的是，物品最終嵌入表示 $v_i$ 用相同的參數(shù)矩陣 $W$ 進(jìn)行相似計算。另外，一般將信息更新部分稱為圖卷積層（graph convolution layer），節(jié)點最終表示部分稱為稠密層（dense layer），論文的實驗發(fā)現(xiàn)堆疊多個卷積層并沒有提高性能，簡單的卷積層和密集層的組合效果最好。綜上，以 left normalization 為例，編碼器編碼過程的向量化表示為（$D$ 表示具有非零元素 $D_{ii}=|N_i|$ 的對角節(jié)點度矩陣）：

$$\left[\begin{array}{l}U\\ V\end{array}\right]=f\left(X,M_1,\dots ,M_R\right)=\sigma \left(\left[\begin{array}{c}{H}_u\\ H_v\end{array}\right]W^T\right),$$
$$with\left[\begin{array}{l}{H}_u\\ H_v\end{array}\right]=\sigma \left(\sum _{r=1}^R{D}^{?1}{\mathcal{M}}_{r}X{W}_r^T\right),$$
$$and{\mathcal{M}}_r=\left(\begin{array}{cc}0& M_r\\ M_r^T& 0\end{array}\right).$$

4.2 Bilinear decoder

為了在二分交互圖中重構(gòu)鏈接，本文考慮使用雙線性解碼器，并將每個評分類型視為一個單獨的類，${\check{M}}_{ij}$ 表示用戶 $i$ 和物品 $j$ 之間的重構(gòu)評分，通過雙線性操作和使用 softmax 函數(shù)生成可能的評分類型概率分布：

$$p\left({\check{M}}_{ij}=r\right)=\frac{e^{u_i^T{Q}_r{v}_j}}{{\sum }_{s\in R}{e}^{u_i^T{Q}_s{v}_j}}$$
其中，$Q_r$ 是一個大小為 $E\times E$ 的可訓(xùn)練參數(shù)矩陣，$E$ 表示用戶和物品的嵌入表示維度，最終預(yù)測分?jǐn)?shù)計算為：
$${\check{M}}_{ij}=g\left(u_i,v_j\right)={\mathbb{E}}_{p\left({\check{M}}_{ij}=r\right)}[r]=\sum _{r\in R}rp\left({\check{M}}_{ij}=r\right)$$

4.3 模型訓(xùn)練

（1）損失函數(shù)

在模型訓(xùn)練過程中，本文最小化以下預(yù)測評分的負(fù)對數(shù)似然：

$$\mathcal{L}=?\sum _{i,j;{\mathbf{\Omega }}_{ij}=1}\sum _{r=1}^{R}I\left[r=M_{ij}\right]\log p\left({\check{M}}_{ij}=r\right)$$
其中，$I[k=l]=1$ 當(dāng) $k=1$ 時，否則等于 0，矩陣 $\mathbf{\Omega }\in \{0,1{\}}^{N_u\times N_i}$ 表示掩碼，當(dāng)取值為1時，表示該節(jié)點為標(biāo)簽節(jié)點。

（2）節(jié)點 dropout

為了使模型很好地泛化到未觀測到的評分，在去噪設(shè)置中通過以概率為 $p_{dropout}$ 隨機丟棄特定節(jié)點的所有發(fā)送消息來訓(xùn)練模型，這一過程稱為節(jié)點丟棄（node dropout）。在最初的實驗中，論文發(fā)現(xiàn)節(jié)點丟棄比消息丟棄更有效，即單個傳出消息被獨立地丟棄，使得嵌入對單邊的存在或不存在更加魯棒。

（3）Mini-batching

在訓(xùn)練模型時，論文的方法只從用戶物品對的總和中抽樣固定數(shù)量的貢獻(xiàn)，通過只考慮對損失函數(shù)的固定數(shù)量的貢獻(xiàn)，可以刪除 $M_1,\dots ,M_R$ 中當(dāng)前批次沒有出現(xiàn)的用戶和物品行。這既是一種有效的正則化手段，又降低了訓(xùn)練模型的內(nèi)存需求。

（4）權(quán)重共享

對于一個特定的評分值 $r$，權(quán)重矩陣 $W_r$ 的列對每個單獨的節(jié)點起到潛在因子的作用，這些潛在因子通過消息傳遞的方式傳遞給相連的用戶或物品節(jié)點。然而，并不是所有的用戶和物品對于每個評分等級都有相同數(shù)量的評分。這導(dǎo)致 $W_r$ 的某些列被優(yōu)化的頻率明顯低于其他列。因此，對于不同的 $r$，矩陣 $W_r$ 之間的某種形式的權(quán)重共享可望緩解這個優(yōu)化問題：
$$W_r=\sum _{s=1}^r{T}_s$$
這里將這種類型的權(quán)重共享稱為序數(shù)權(quán)重共享（ordinal weight sharing），其中更高的評分級別所包含的權(quán)重矩陣的數(shù)量不斷增加。另外，作為成對雙線性解碼器正則化的一種有效手段，這里采用一組基權(quán)重矩陣 $P_s$ 的線性組合形式的權(quán)重共享：
$$Q_r=\sum _{s=1}^{n_b}{a}_{rs}{P}_s$$
其中 $s\in (1,\dots ,n_b)$ 且 $n_b$ 為基權(quán)重矩陣的個數(shù)，$a_{rs}$ 是確定解碼器每個權(quán)重矩陣 $Q_r$ 的線性組合的可學(xué)習(xí)系數(shù)。需要注意的是，為了避免過擬合和減少參數(shù)個數(shù)，基權(quán)重矩陣的個數(shù) $n_b$ 自然應(yīng)該低于評分等級的個數(shù)。

4.4 輔助信息添加

將節(jié)點的特征信息（內(nèi)容信息）直接作為模型的輸入有時并不是一個好的選擇，當(dāng)內(nèi)容信息中包含的信息不足以區(qū)分不同的用戶（或物品）及其興趣時，這種做法會導(dǎo)致嚴(yán)重的信息流瓶頸，在這種情況下，可以通過單獨的處理通道將用戶和物品特征向量 $x_i^f$ 作為輔助信息添加到稠密隱藏層中：
$$u_i=\sigma \left(W{h}_i+W_2^f{f}_i\right)with{f}_i=\sigma \left(W_1^f{x}_i^f+b\right)$$
其中，$W_1^f,W_2^f$ 表示可訓(xùn)練的權(quán)重，$b$ 表示偏置，權(quán)重矩陣和偏置向量對于用戶和物品是不同的。

總結(jié)

以上是生活随笔為你收集整理的【推荐系统】User-Item CF：GC-MC的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。