作者 | 對白

出品 | 對白的算法屋

編者寄語：

本文看完，相信你也能熟練掌握這些基于GNN的推薦模型。

圖神經網絡（GNN）相信大家也不陌生了，在還沒有Graph Embedding之前，節(jié)點的屬性信息可以通過Item2vec這種序列化Embedding的方式去學習，效果雖然不錯，但它忽略了節(jié)點的結構信息。而GNN能夠自然地整合節(jié)點屬性信息和拓撲結構信息，因此在許多領域廣泛應用。

在推薦系統(tǒng)中，目前的主要挑戰(zhàn)是從用戶-物品交互以及輔助信息中學習有效的User-Item Embedding。由于大部分的信息本質上都是圖結構，并且GNN在表示學習方面具有先天優(yōu)勢，因此在推薦系統(tǒng)中蓬勃發(fā)展。

本文對基于GNN的推薦算法進行了總結，匯總了從2018至2020年期間工業(yè)界和學術界比較有代表性的29個基于的GNN推薦模型。此外，我從近三年KDD的論文中挑選了六篇值得一讀的GNN推薦模型為大家解讀，分別是4篇阿里的論文，1篇滴滴的論文和1篇亞馬遜的論文，話不多說，讓我們一起欣賞一下GNN在推薦系統(tǒng)中的花式玩法吧~

基于圖神經網絡的推薦算法分類

基于圖神經網絡的推薦模型總結

1?General?Recommendation

1.1 General RS without side information?

Neighbor Aggregation：區(qū)分鄰居的影響大小，比mean-pooling，degree normalization效果好

Information Update：當后續(xù)沒有顯式的特征交叉步驟時，mean pooling, sum pooling表現(xiàn)足夠好，若有，則concat能保留更多信息

Final Node representation：有些使用GNN的最后一層向量作為表示，有些則用所有層（可能表示更好一些）

1.2 General RS with social network

Influence modeling：區(qū)分社交網絡不同的好友的影響力可以提升效果，進一步的，考慮朋友在不同的Item上的影響力也不一樣，可以在item稀疏時提升較大

Preference Integration:將social network 和user-item bipartite 兩個圖分開建模和統(tǒng)一建模都可，沒有明顯區(qū)別。

1.3?General RS with knowledge graph

Graph simplification：為了將GNN較為高效地應用于KG，需要對圖進行簡化（同時圖信息有損）,例如AKGE利用最短路徑來重構子圖，IntentGC僅保留一部分結點來構造i2i和u2u

Multi-relation propagation：KG有多重類型的邊，因此需要使用attention 機制來聚集來自鄰居的信息

User intergration:有些工作利用GNN來學習item表示，假設用戶具有靜態(tài)的表示；另外的則將user作為KG中一種entity來學習

2 Sequential recommendation

2.1 SR without side information

Graph construction：將sequence 轉為graph，轉化的方法決定了GNN的效果，一般將按時序出現(xiàn)的相鄰K（一般K=2）個item之間進行連邊

Information propagation：在聚集鄰居特征時，相比mean-pooling, GRU在序列建模中效果更好一些

Sequential preference：將序列的結點表示集成為最終的結點表示，attention, GRU皆可

2.2 SR with social network

DGRec：使用LSTM來抽取用戶的動態(tài)興趣，再使用GAT來對不同好友的影響進行聚集

3. 阿里EGES

論文標題：Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba

論文來源：KDD2018，Alibaba

論文目標：將圖表示學習應用到推薦中，初步解決scalability, sparsity and cold start等問題

圖數據的構建方法：session-based users’ behaviors中相鄰的item連接一條有向邊

模型架構：

模型特點：

base model :先隨機游走，再使用negative sampling優(yōu)化的Skip-gram模型來學習表示。

enhance model：利用side information，給每種不同類型的side information的表示以不同的權重，其中SI 0代表item id。

注：數據清洗

1.刪除點擊后停留時間少于1s的點擊（無意圖點擊）

2.刪除過于活躍的用戶（buy>1000 item, click >3500 item in 3 months）

4. 阿里GATNE

論文標題：Representation Learning for Attributed Multiplex Heterogeneous Network

論文來源：KDD2019 Alibaba&Tsinghua

論文目標：學習異構網絡的結點和邊表示

圖數據的構建方法：user-item交互信息（點擊，加入購物車等）

模型架構：

模型特點：

為異構網絡中的每個結點學習一個基本表示（base embedding），在結點的每種邊類型下都學一個表示（edge embedding），將兩類表示合并作為最后的表示。

總結：

有Inductive和transductive兩種setting：

Inductive learning中將結點的屬性作為學習結點和邊表示的初始化輸入。

5. 阿里M2GRL

論文標題：M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

論文來源：KDD2020 Alibaba

論文目標：同時學習multi-view的表示，并對齊

圖數據的構建方法：從用戶的歷史行為序列中構造出item graph（連續(xù)的item之間連邊）；category graph, shop graph

模型架構：

模型特點：

多task多view的圖表示學習框架，分為兩類任務：

1.view內的任務，關注與view內的同構圖的表示學習，使用Negative sampling優(yōu)化的Skip-gram模型來學習

2.view間的任務，專注于學習不同view的結點的關系，采取對齊技術來將不同view的結點的映射到同一空間，并學習結點之間的關系

利用同調不確定性來學習不同任務的權重

備注：

數據清洗

1.刪除點擊后停留時間少于2s的user-item pair（用戶可能不感興趣）

2.打開到關閉app的tm來分割和合并session。若有1小時的空閑時間，將一個session分成兩個；如果時間跨度少于30分鐘，合并兩個連續(xù)的session。

6. 阿里DHGAT

論文標題：A Dual Heterogeneous Graph Attention Network to Improve Long-Tail Performance for Shop Search in E-Commerce

論文來源：KDD2020 Alibaba

論文目標：在shop search上提高長尾query和shop的效果

圖數據的構建方法：從用戶的搜索、點擊和下單行為歷史構造。

結點類型：Shop(S)、Query(Q)、Item(I)

邊類型：

1.同構邊：Q-Q，同一個session中的query連邊，導致相同點擊shop的query連邊；S-S，在同個query下的shop連邊

2.異構邊：Q-S(歷史數據中直接獲得，從item-query下下單的)，Q-I，S-I

模型架構：

模型特點：

使用GNN來豐富shop和query的表示含義，定義了各自的異構鄰居。

1.雙層attention，1.同種異構邊,2.不同種異構邊

2.雙塔+異構attention

3.從product search中transfer knowledge

4.user feature作為query特征一部分

7 .滴滴Gemini

論文標題：Gemini: A Novel and Universal Heterogeneous Graph Information Fusing Framework for Online Recommendations

論文來源：KDD2020 DiDi

論文目標：將User-item交互的異構圖轉化為兩個semi-Homogeneous圖

圖的構建方法：任意二分圖

模型架構：

模型特點：

1.將一個異構圖轉化為兩個半同構圖，其中同構圖上的邊的屬性為node list（原來的共同1跳鄰居結點）

2.邊上的點越多，包含的信息越多；但在所有邊上出現(xiàn)次數越多，越不重要。單個邊上點出現(xiàn)的次數（tf），所有邊上點出現(xiàn)的次數(idf) ，使用TF-IDF pooling （分桶表示）

3.使用attention機制來組合結點和邊表示

4.使用edge conv來獲得該層的結點表示

5.預測

備注：

復雜度較高，構造了u-u圖，比原始的u-i圖更大

8. 亞馬遜NIRec

論文標題：An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph

論文來源：KDD2020, Amazon

論文目標：介紹了early summarization問題（在預測前將結點和鄰居信息壓縮到一個向量中），并提出模型解決

圖的構建方法：普通異構圖

模型架構：

模型特點：

1.在metapath-guide neighbor，所有類型metapath的所有相關結點都參與

2.在interaction層，使用卷積操作

Conv: shift, product, sum

3.在aggregation層，兩層attention（Node/Element-level、Path/Matrix-level）

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統(tǒng)計學習方法》的代碼復現(xiàn)專輯 AI基礎下載機器學習的數學基礎專輯黃海廣老師《機器學習課程》視頻課

本站qq群851320808，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的业界盘点|为什么推荐算法都开始结合图神经网络了？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。