作者：十方，公眾號：煉丹筆記

推薦系統會存儲大量的用戶與items交互數據，這些數據可以用二部圖呈現。二部圖對消除推薦系統中數據稀疏性和冷啟動有著巨大的幫助。這篇主要總結了3個典型的GNN方法在推薦系統領域處理用戶與items的二部圖。

我們可以通過每個用戶交互過的item列表，構建一個巨大的二部圖，如下圖所示：

傳統的神經網絡方法(如協同過濾，雙塔)，是無法處理上述二部圖的，圖神經網絡就是要充分挖掘節點信息和節點與節點的交互信息，從而帶來巨大的商業價值。

在推薦領域，圖神經網絡主要解決了以下幾個問題:

• 節點的敏感度，節點順序很小的改變極大的影響模型的輸出。
• 節點間閉塞的信息交互，傳統的深度學習模型不能夠充分挖掘高階節點之間的交互信息。
• 解釋能力弱，傳統的深度模型面向直觀的交互式圖結構，不能用于基于圖形的解釋和推理。

當使用GNN處理二部圖，輸入節點的順序并不會影響輸出。另外，GNN使用邊的去輔助傳播、集成節點和鄰居的狀態，更新當前節點的狀態，結構化的信息會被模型捕捉，并表達在每個節點上，從而解決推薦系統稀疏性的問題。

embedding層主要研究如何獲得交互圖和一系列節點的特征，并使用此信息生成節點embedding，從而生成子圖和整個圖的embedding。這一層的作用是學習一個低維的向量表示，作為圖神經網絡模型的輸入。在在早期的推薦系統中，提取用戶和item的特征應用最廣泛的是矩陣分解（MF），如概率矩陣分解（PMF），偏差矩陣因子分解（BiasedMF）、神經網絡矩陣因子分解（NNMF）等。然而，這些方法都有很大的缺點。每次分解都需要很長的時間復雜性與較高的空間復雜性，并不能完全探究用戶和item之間的隱含關系，導致推薦效果不理想。從DeepWalk算法首次應用，各種深度學習embeding方法層出不窮。

最簡單的方法是使用淺層嵌入方法生成節點的唯一低維向量表示，即在初始步驟中，每個用戶和item被定義為唯一ID并直接映射成embedding。這種設計的優點是模型可互換，不變形。互換性的不變性在于該模型不依賴于鄰接矩陣中行列的任意順序，彌補了深度模型對節點輸入順序高度敏感的缺陷。

傳播更新層是GNN推薦系統模型的核心組成部分，包括兩個階段：鄰居節點信息傳遞，聚合和更新(下圖)。嵌入層解決了圖數據很難高效地輸入推薦算法。下一步是解決深層模型消息傳輸路徑阻塞問題及解決方案長距離節點的信息傳播問題，然后是鄰居信息可以聚合在一起，為解決推薦系統中數據的稀疏性問題提供了一種可行的思路的。在每個消息傳遞迭代過程中，每個節點u對應的embeding可以通過圖的所有鄰居節點N（u）聚合進行更新，因此傳播更新層可以抽象地定義為：

圖卷積聚合器使用中心節點及其相鄰節點的embedding的聚合來表示中心節點，并進行迭代傳播，從鄰居節點聚合嵌入的特征信息，并且只有一個卷積運算變換并聚合一階圖的鄰域的嵌入表示，通過疊加多層圖卷積網絡，達到傳播遠處多級的信息的目的。最后更新當前節點的嵌入表示。如GraphSAGE提出了一種小批量聚合算法，它在一次更新沒使用所有的鄰居節點，對鄰居節點中的特征進行采樣，并將更新后的最終狀態用于預測和反向傳播。PinSage框架下使用局部圖卷積運算從鄰居節點聚合信息。圖卷積聚合可以抽象地定義為：

經典的長、短期記憶循環神經網絡系統已經被證明對于學習序列數據的動態特性非常有效，其中GRU和LSTM中的輸入輸出門機制可以保持長期的內部狀態。門控圖神經網絡（GGNN）使用一個門遞歸單元在固定步數的傳播過程去更新聚合節點的隱藏狀態。門聚合可以抽象地定義為:

注意機制幾乎已經成為處理序列數據任務的必用方法，已成功應用于機器翻譯和機器閱讀。注意力機制可以區分不同節點的重要性。例如，購物場景下，最近購買的產品相比那些幾個月前購買的產品更有參考價值。在傳播過程中加入注意機制可以給鄰居節點賦權，通過不同的attention score對鄰居節點的embedding進行聚合。注意力聚合器可以抽象地定義為：

在多層傳播之后，從每個層獲得的embeding被拼接在一起作為用戶或item的最終特征。除了拼接，其他的組合方法，如加權平均、最大池和LSTM，都可以。有研究表明證明了拼接是最簡單且有效的，且它不涉及其他參數需要學習。最后，計算用戶與item之間的內積用來預測用戶的未來行為：

本篇總結了一些GNN在推薦系統的應用，其實還有很多gnn算法沒有介紹，如KGAT，融合了知識圖譜輔助推薦。再如KARN和SCPR這兩個模型，不是選出來一個匹配商品集就完事了，還要在圖中找出來對應的路徑作為推薦的解釋，感興趣的讀者可以去查閱相關資料。

更多干貨，請關注微信公眾號：煉丹筆記

總結

以上是生活随笔為你收集整理的推荐系统与GNN的火花的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。