推荐系统的发展与简单回顾
文章來源于淺夢的學習筆記，作者Jiayue Cai
“?本文結合百度和支付寶兩段推薦系統相關的實習經歷，針對工業界的模型發展做了簡單梳理與回顧,涵蓋表示學習，深度學習，強化學習知識圖譜以及多任務學習”
表示學習和深度學習在推薦系統中的應用是目前工業界比較成熟的，但是與強化學習、知識圖譜、多任務學習相結合是比較少的， 一方面此類技術與推薦結合才剛剛開始探索，背后有太多問題需要人力去挖掘和探索；另一方面在公司的業務中敢不敢上這種前沿課題的探索與實驗甚至上線接大流量，部門老大的魄力很關鍵。
表示學習
常用類別特征的表示方法：One-Hot Encoding、Look-Up Embedding、Pre-Train Embedding
框架
美團王永康前輩的分享(https://blog.csdn.net/gamer_gyt/article/details/97985818)
序列 Sequence
圖 Graph
附加信息 Side Information
Side Information框架是解決冷啟動的方法之一。
多模態 Multimodal
更準確來說，這部分屬于模式識別范疇，各大公司在業務穩定后基本都會成立單獨的內容理解團隊（在百度實習的時候隔壁就有一個專門的內容理解組），以分享到外部的資料舉例，優酷團隊在這方面做的很不錯：《優酷在多模態內容理解上的研究及應用》(https://www.infoq.cn/article/xgP_eyfidAA2l5ShcCPp)。
模型層面的應用
此部分詳細內容參考下節。
深度學習
企業級的推薦系統為了盡量提高模型的準確性，往往會使用豐富的甚至異構的內容數據。這些特征從不同的維度展現了不同的信息，而且特征間的組合通常是非常有意義的。傳統的交叉特征是由工程師手動設計的，這有很大的局限性，成本很高，并且不能拓展到未曾出現過的交叉模式中。因此學者們開始研究用神經網絡去自動學習高階的特征交互模式，彌補人工特征工程帶來的種種局限性。
基于深度學習的推薦系統綜述(https://coladrill.github.io/2018/08/08/%E5%9F%BA%E4%BA%8E%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E7%BB%BC%E8%BF%B0/)
淺夢的Github鏈接(https://github.com/shenweichen/DeepCTR)
最新論文導讀(https://zhuanlan.zhihu.com/weichennote)
2015-2016
Convolutional Click Prediction Model [CIKM 2015] A Convolutional Click Prediction Model
Factorization-supported Neural Network [ECIR 2016] Deep Learning over Multi-field Categorical Data: A Case Study on User Response Prediction
Product-based Neural Network [ICDM 2016] Product-based neural networks for user response prediction
Wide & Deep [DLRS 2016]Wide & Deep Learning for Recommender Systems
2017-2018
DeepFM [IJCAI 2017]DeepFM: A Factorization-Machine based Neural Network for CTR Prediction
Piece-wise Linear Model [arxiv 2017]Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction
Deep & Cross Network [ADKDD 2017]Deep & Cross Network for Ad Click Predictions
Attentional Factorization Machine [IJCAI 2017]Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks
Neural Factorization Machine [SIGIR 2017]Neural Factorization Machines for Sparse Predictive Analytics
xDeepFM [KDD 2018]xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems
2018-2019
AutoInt [arxiv 2018]AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks
Deep Interest Network [KDD 2018]Deep Interest Network for Click-Through Rate Prediction
Deep Interest Evolution Network [AAAI 2019]Deep Interest Evolution Network for Click-Through Rate Prediction
NFFM [arxiv 2019]Operation-aware Neural Networks for User Response Prediction
FGCNN [WWW 2019]Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction
Deep Session Interest Network [IJCAI 2019]Deep Session Interest Network for Click-Through Rate Prediction
FiBiNET [RecSys 2019]FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction
自動特征工程方面我即將出一篇論文，期待下~
強化學習
用戶與推薦系統之間往往會發生持續密切的交互行為，強化學習中的Reward機制十分適合應用到這種模式，所以基于強化學習的推薦方法中，往往會把推薦系統看做智能體（Agent）、把用戶看做環境（Environment），商品的推薦問題可以看做經典的順序決策問題。Agent每一次排序策略的選擇可以看做一次試錯（Trial and Error），把用戶的反饋、點擊成交等作為從環境中獲得的獎賞。
在支付寶實習的時候，優化CTR模型之余，針對商家線下運營策略推薦場景，主導實現了off-policy的強化學習模型（下圖僅作拋磚引玉，模型細節不能公布哈）。
論文整理
[ICDM 2018] Self-attentive sequential recommendation
[arXiv 2018] Reinforcement Learning for Online Information Seeking
[WWW 2018] DRN:A Deep Reinforcement Learning Framework for News Recommendation
[SIGIR 2019] Lifelong Sequential Modeling with Personalized Memorization for User Response Prediction
[ICML 2019] Generative Adversarial User Model for Reinforcement Learning Based Recommendation System
[AAAI 2019] Large-scale Interactive Recommendation with Tree-structured Policy Gradient
[arXiv 2019] Reinforcement Learning to Optimize Long-term User Engagement in Recommender Systems
[WSDM 2019]Top-K Off-Policy Correction for a REINFORCE Recommender System
[arXiv 2019]Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology
機遇與挑戰
離線評估與在線效果之間的巨大鴻溝
離線模擬過程的泛化性問題，特別是用戶端連續決策行為的建模方面。
現有方法其實還是有很多問題，例如沒有刻畫用戶反饋行為的連續性與前后相關性、沒有考慮用戶反饋背后的多因素影響等等。
動作空間偏大
在真實的推薦系統中面臨巨大無比的離散化行為空間（待推薦item集合巨大無比）。
這個問題在這篇文章中已經作出了一些探索，但還沒有完全解決這類問題。
在線效果容易受到其它策略的影響
例如推薦端在使用RL算法，用戶還在看到很多其它推薦、展示策略在其它位置、時段、平臺推給他的結果，較難精確建模用戶反饋與行為歸因。
如何去做更好地探索
因為真實場景中沒有游戲環境那樣豐富的樣本數據，每一次探索都有巨大的顯性成本或隱性成本。
更快地探索、更好地采用效率是RL4Rec實際應用中的難題。
知識圖譜
Personalized Recommendation Systems: Five Hot Research Topics You Must Know(https://www.microsoft.com/en-us/research/lab/microsoft-research-asia/articles/personalized-recommendation-systems/)
在多數推薦場景中，物品可能包含豐富的知識信息，而刻畫這些知識的網絡結構即被稱為知識圖譜。物品端的知識圖譜極大地擴展了物品的信息，強化了物品之間的聯系，為推薦提供了豐富的參考價值，更能為推薦結果帶來額外的 多樣性 和 可解釋性。
和社交網絡相比，知識圖譜是一種異構網絡，因此針對知識圖譜的推薦算法設計要更復雜和精巧。近年來，網絡特征學習 (network representation learning) 逐漸成為機器學習中的一個熱門的研究方向。 引入網絡特征學習的方法處理推薦系統中知識圖譜的相關信息，有助于增強推薦系統的學習能力，提高精確度和用戶滿意度。
將知識圖譜引入推薦系統，主要有以下兩種不同的處理方式：
基于特征的輔助推薦模型，核心是知識圖譜特征學習的引入。即首先使用知識圖譜特征學習對其進行處理，從而得到實體和關系的低維稠密向量表示。這些低維的向量表示可以較為自然地與推薦系統進行結合和交互。
基于結構的全局推薦模型，更加直接地使用知識圖譜的結構特征。具體來說，對于知識圖譜中的每一個實體，我們都進行BFS來獲取其在知識圖譜中的多跳關聯實體從中得到推薦結果。
2018-2019
[KDD 2018]Leveraging Meta-path based Context for Top-N Recommendation with A Neural Co-Attention Model
[WWW 2019]Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation
[WWW 2019]Knowledge Graph Convolutional Networks for Recommender Systems
[KDD 2019]KGAT: Knowledge Graph Attention Network for Recommendation
[KDD 2019]Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems
[DLP-KDD 2019]An End-to-End Neighborhood-based Interaction Model for Knowledge-enhanced Recommendation
[AAAI 2019]Explainable Reasoning over Knowledge Graphs for Recommendation
[SIGIR 2019]Reinforcement Knowledge Graph Reasoning for Explainable Recommendation
機遇與挑戰
現有模型都屬于統計學習模型，即挖掘網絡中的統計學信息并以此進行推斷
一個困難但更有研究前景的方向是在網絡中進行推理，將圖推理與推薦系統相結合。
如何設計出性能優秀且運行效率高的算法，也是潛在的研究方向
現有模型并不涉及計算引擎層面、系統層面甚至硬件層面的考量，如何將上層算法和底層架構進行聯合設計和優化，是實際應用中一個亟待研究的問題。
現有的模型網絡結構都是靜態的，在真實場景中，知識圖譜具有一定的時效
如何刻畫這種時間演變的網絡，并在推薦時充分考慮時序信息，也值得我們未來研究。
在工業界中，一方面構建一張圖需要花費巨大的人力；另一方面圖采樣等相關技術還不成熟（暴力地使用GCN、KGAT并不現實）。據目前我所了解到的，在知識圖譜工業級應用方面，谷歌和百度是比較前沿的（重視程度源于索引量大且對query質量要求高時的場景需求）。
多任務學習
此部分我了解的比較少，待跟進學習。
[RecSys 2019]Recommending what video to watch next: A multitask ranking system
未完待續….
備注：公眾號菜單包含了整理了一本AI小抄，非常適合在通勤路上用學習。
往期精彩回顧那些年做的學術公益-你不是一個人在戰斗適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊AI基礎下載（第一部分）備注：加入本站微信群或者qq群，請回復“加群”加入知識星球（4500+用戶，ID：92416895），請回復“知識星球”喜歡文章，點個在看
與50位技術專家面對面20年技術見證，附贈技術全景圖總結
以上是生活随笔為你收集整理的推荐系统的发展与简单回顾的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 十分钟掌握pyecharts十类顶级图，
- 下一篇： AI入门：不用任何公式把推荐系统讲清楚