作者丨紀厚業

單位丨北京郵電大學博士生

研究方向丨異質圖神經網絡，異質圖表示學習和推薦系統

本文發表在推薦系統頂會 RecSys 2019 并獲得了 Best Paper。作者梳理實現了大量頂會推薦論文的代碼方便大家入門推薦系統。

傳送門：

https://github.com/MaurizioFD/RecSys2019_DeepLearning_Evaluation

引言

推薦系統尤其是深度推薦系統在工業界得到的廣泛的應用，相關論文也在各大頂會層出不窮。各種 State-of-the-art 的模型不斷的刷新著記錄。但是，這些模型的有效性并沒有真正的得到驗證。

本文復現了近些年頂會的 Top-N 推薦的論文并進行了系統的分析。遺憾的是，頂會上的 18 種推薦算法只有 7 個可以合理的復現。一些算法甚至無法超過基于 KNN 的方法。這不禁使作者發出疑問：我們真的取得了大量的進步嗎？

相關論文、模型評價標準及基線算法

這里作者收集了 18 篇各大頂會論文，見 Table 1。

模型驗證

Collaborative Memory Networks (CMN)

CMN 是一種混合記憶網絡和注意力機制的推薦模型，發表在 SIGIR 2018。作者復現了 CMN 并在三個數據集上進行了驗證，結果如 Table 2 所示。

可以看出，CMN 在大部分的情況下表現并不好，而 UserKNN 和 ItemKNN 表現強勁。

Metapath based Context for RECommendation (MCRec)

MCRec 是北郵石川老師組發表在 KDD 2018 的工作，是一種基于路徑的異質圖推薦算法。作者在 MoiveLens100k 比較了 MCRec 和相關 baselines，具體結果見 Table 3。

這里 MCRec 表現不錯，但是仍然略差于 ItemKNN。ItemKNN 在設置了正確超參數的時候取得了最優效果。

Collaborative Variational Autoencoder (CVAE)

CVAE 是一種混合了內容和評分的混合推薦模型，發表在 KDD 2018 上。實驗結果見 Table 4。

Collaborative Deep Learning (CDL)

CDL 是一篇早期的深度推薦算法（發表在 KDD 2015 上），它混合了棧式降噪自編碼器（SDAE）和協同濾波技術來進行推薦。CVAE 和本文采用了同樣的測評方法和數據集。

可以看出，隨著 list 長度的增加，CDL 效果逐漸超過一些 baseline，但是和最佳 baseline（ItemKNN-CBF）的差距依然較大。

Neural Collaborative Filtering (NCF)

本文由 NUS 的 Xiangnan He 發表在 WWW 2017 上。NCF 通過用神經網絡來代替內積對矩陣分解進行了泛化，已經成為推薦領域的一個經典 baseline。但是在本文的測評中，NCF 的表現甚至不如 PureSVD。具體測評結果見 Table 6。

NCF 的一作 Xiangnan He 老師也在知乎對本文的測評提出了異議：

https://www.zhihu.com/question/336304380/answer/784976195

Spectral Collaborative Filtering (SpectralCF)

本文發表在 RecSys 2018 上，作者從 Spectral Graph Theory 的角度設計了一種新穎的卷積操作來解決推薦系統的 cold-start 問題。這里作者在 MovieLens1M 上對比了 SpectralCF 和一些 baselines，具體結果見 Table 7。

SpectralCF 表現不是很好，大幅度超越 SpectralCF 取得了最優的效果。

Variational Autoencoders for Collaborative Filtering (Mult-VAE)

Mult-VAE 是一種基于隱式反饋和 VAE 的協同過濾模型，發表在 WWW 2018 上。測評結果見 Table 8 和 Table 9。

結論

本文復現并分析了近些年各大頂會的 18 篇推薦論文。結果表明，僅僅有 7 篇論文可以復現，但是其效果并不一定比一些基礎推薦算法好。這不禁讓作者懷疑深度推薦系統這個領域是否真正的取得了進步。

參考文獻

[1] Travis Ebesu, Bin Shen, and Yi Fang. 2018. Collaborative Memory Network for Recommendation Systems. In Proceedings SIGIR ’18. 515–524.

[2]?Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, Xia Hu, and Tat-Seng Chua. 2017. Neural collaborative fltering. In Proceedings WWW ’17. 173–182.

[3] Binbin Hu, Chuan Shi, Wayne Xin Zhao, and Philip S Yu. 2018. Leveraging meta-path based context for top-n recommendation with a neural co-attention model. In Proceedings KDD ’18. 1531–1540.

[4] Xiaopeng Li and James She. 2017. Collaborative variational autoencoder for recommender systems. In Proceedings KDD ’17. 305–314.

[5] Dawen Liang, Rahul G Krishnan, Matthew D Hofman, and Tony Jebara. 2018. Variational Autoencoders for Collaborative Filtering. In Proceedings WWW ’18. 689–698.

[6] Hao Wang, Naiyan Wang, and Dit-Yan Yeung. 2015. Collaborative deep learning for recommender systems. In Proceedings KDD ’15. 1235–1244.

[7] Lei Zheng, Chun-Ta Lu, Fei Jiang, Jiawei Zhang, and Philip S. Yu. 2018. Spectral Collaborative Filtering. In Proceedings RecSys ’18. 311–319.

[8] Yi Tay, Luu Anh Tuan, and Siu Cheung Hui. 2018. Multi-Pointer Co-Attention Networks for Recommendation. In Proceedings SIGKDD ’18. 2309–2318.

[9] Zhu Sun, Jie Yang, Jie Zhang, Alessandro Bozzon, Long-Kai Huang, and Chi Xu. 2018. Recurrent Knowledge Graph Embedding for Efective Recommendation. In Proceedings RecSys ’18. 297–305.

[10] Homanga Bharadhwaj, Homin Park, and Brian Y. Lim. 2018. RecGAN: Recurrent Generative Adversarial Networks for Recommendation Systems. In Proceedings RecSys ’18. 372–376.

[11] Noveen Sachdeva, Kartik Gupta, and Vikram Pudi. 2018. Attentive Neural Architecture Incorporating Song Features for Music Recommendation. In Proceedings RecSys ’18. 417–421.

[12] Trinh Xuan Tuan and Tu Minh Phuong. 2017. 3D Convolutional Networks for Session-based Recommendation with Content Features. In Proceedings RecSys ’17. 138–146.

[13] Donghyun Kim, Chanyoung Park, Jinoh Oh, Sungyoung Lee, and Hwanjo Yu. 2016. Convolutional Matrix Factorization for Document Context-Aware Recommendation. In Proceedings RecSys ’16. 233–240.

[14] Flavian Vasile, Elena Smirnova, and Alexis Conneau. 2016. Meta-Prod2Vec: Product Embeddings Using Side-Information for Recommendation. In Proceedings RecSys ’16. 225–232.

[15] Jarana Manotumruksa, Craig Macdonald, and Iadh Ounis. 2018. A Contextual Attention Recurrent Architecture for Context-Aware Venue Recommendation. In Proceedings SIGIR ’18. 555–564.

[16] Jingyuan Chen, Hanwang Zhang, Xiangnan He, Liqiang Nie, Wei Liu, and Tat-Seng Chua. 2017. Attentive collaborative fltering: Multimedia recommendation with item-and component-level attention. In Proceedings SIGIR ’17. 335–344.

[17] Yi Tay, Luu Anh Tuan, and Siu Cheung Hui. 2018. Latent relational metric learning via memory-based attention for collaborative ranking. In Proceedings WWW ’18. 729–739.

[18] Ali Mamdouh Elkahky, Yang Song, and Xiaodong He. 2015. A multi-view deep learning approach for cross domain user modeling in recommendation systems. In Proceedings WWW ’15. 278–288.

點擊以下標題查看更多往期內容：?

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

總結

以上是生活随笔為你收集整理的RecSys 2019最佳论文：基于深度学习的推荐系统是否真的优于传统经典方法？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。