全標題：Leveraging Long and Short-term Information in Context-aware movie recommendation － 融合 MF 和 RNN 的電影推薦系統(tǒng)

介紹本期的工作之前，先打一個緊急的招生廣告，我們組現(xiàn)還有一個博士名額，想要來中科院深圳先進技術(shù)研究院讀博的同學可以聯(lián)系我，主要做一些關(guān)于自然語言處理、數(shù)據(jù)挖掘、計算機視覺、機器學習等的工作，報名結(jié)束日期是 2018 年 1 月 12 號。

聯(lián)系方式和主頁地址如下：

郵箱：min.yang@siat.ac.cn

主頁：www.minyang.me

隨著互聯(lián)網(wǎng)技術(shù)飛速發(fā)展，在線數(shù)據(jù)越來越龐大，如何幫助用戶從海量數(shù)據(jù)中找到所需信息是急需解決的問題。

個性化推薦系統(tǒng)能夠有效的解決信息過載問題，推薦系統(tǒng)根據(jù)用戶的歷史偏好和約束為用戶提供排序的個性化物品（item）推薦列表，更精準的推薦系統(tǒng)可以提升和改善用戶體驗。所推薦的物品可以包括電影、書籍、餐廳、新聞條目等等。

本文主要針對電影推薦做了深入研究，但所提出的方法可以很方便地遷移到其他物品推薦中。

目前，協(xié)同過濾技術(shù)已成為最廣泛采用的推薦技術(shù)，已經(jīng)被廣泛應用到了很多商業(yè)系統(tǒng)中，比較著名的有 Amazon、Netflix、淘寶等。

傳統(tǒng)的基于協(xié)同過濾的推薦系統(tǒng)是認為用戶偏好和電影屬性都是靜態(tài)的，但他們實質(zhì)是隨著用時間的推移而緩慢變化的。例如，一個電影的受歡迎程度可能由外部事件（如獲得奧斯卡獎）所改變。

除了對時間演化進行建模的需求外，協(xié)同過濾方法使用了未來的評分來評估當前的喜好，這一定程度違背了統(tǒng)計分析中的因果關(guān)系。

另一方面，隨著深度學習應用的爆發(fā)式發(fā)展，特別是在計算機視覺、自然語言處理和語音方面的進展，基于深度學習的推薦系統(tǒng)越來越引發(fā)大家的關(guān)注。循環(huán)神經(jīng)網(wǎng)絡（RNN）理論上能夠有效地對用戶偏好和物品屬性的動態(tài)性進行建模，基于當前的趨勢，預測未來的行為。

為了有效地利用傳統(tǒng)協(xié)同過濾推薦技術(shù)（i.e., 矩陣分解）和深度學習方法（i.e., 循環(huán)神經(jīng)網(wǎng)絡）各自的優(yōu)點，捕獲用戶和電影之間的長期（全局）和短期（局部）關(guān)聯(lián)，本文主要研究和探索矩陣分解（Matrix Factorization, MF）和循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network, RNN）在推薦系統(tǒng)上的互補性。

該項工作已經(jīng)發(fā)表在 arXiv 上，更多細節(jié)可以點擊本文底部的“閱讀原文”查看原論文，我們會在論文發(fā)表后放出代碼。

我們提出一種 LSIC 模型（Leveraging Long and Short-term Information in Context-aware movie recommendation），具體框架如下：

LSIC 模型采用了生成對抗網(wǎng)絡（GAN）框架將基于 MF 和 RNN 的模型融合，同時捕獲用戶長期偏好和短期會話信息，從而最大限度地提高推薦系統(tǒng)的最終性能，達到 state-of-the-art 的效果。我們介紹了 4 種方法來融合 MF 模型和 RNN 模型，具體如下：

LSIC-V1: Hard 機制??

采用簡單的求和方法混合 MF 和 RNN 預測的分數(shù)，如圖 Figure2(a)，公式如下：

LSIC-V2?

我們通過預訓練 MF 得到用戶和視頻的 latent factors，再初始化用戶 LSTM 和視頻 LSTM 的隱狀態(tài)，如圖 Figure2(b)。

LSIC-V3?

我們對 LSIC-V2 進展擴展，采樣 MF 得到的 latent factors 作為兩個 LSTM 的 static context vectors 加到每個時刻 t 的輸入中，如圖 Figure2(c)。

LSIC-V4?

我們采用 attention 機制動態(tài)調(diào)整 MF 和 RNN 的融合方式，如圖 Figure2(d)，公式如下：

生成對抗網(wǎng)絡：判別器嘗試區(qū)別視頻的真假，它是來自訓練集中的高分視頻還是生成器生成出來的偽高分視頻。生成器嘗試去生成真高分視頻來欺騙判別器。具體細節(jié)請參考【5】，我們以這篇工作為基礎(chǔ)做了許多改進，比如通過 GAN 有效結(jié)合用戶長期偏好的短期會話的模型等。

生成器：（Figure1 的左邊）類似于條件 GAN，我們的生成器 G 輸入用戶偏好數(shù)據(jù)和時刻 t，給用戶 i 生成推薦列表，具體公式如下：

其中，M 是視頻集合，m_(g, t) 是在 t 時刻生成的視頻 index。

判別器（Figure1 的右邊）我們采用 Siamese 網(wǎng)絡構(gòu)建判別器 D，并且以 pair-wise 的方法融合長短時模型。具體來說，判別器 D 有兩個對稱的 point-wise 網(wǎng)絡，她們共享參數(shù)并且采用 pair-wise 的損失函數(shù)來更新。具體的目標函數(shù)如下：

U 是用戶集合，u_i 是用戶 i，m_+ 是高分視頻，m__?是隨機從視頻集合中采樣出的低分視頻，最后我們采用 hinge 損失函數(shù)來優(yōu)化判別器 D，具體公式如下：

強化學習：由于視頻采樣的過程是離散的，不能采用標準的 GAN 公式來優(yōu)化。因此，我們采用 policy gradient 來優(yōu)化生成器 G，使得 G 能生成高收益的推薦列表來欺騙判別器 D。具體來說，推導如下：

數(shù)據(jù)集：為了驗證我們模型的有效性，我們在兩個廣泛使用的數(shù)據(jù)集進行測試 Movielens100K 和 Netflix，為了評估模型的魯棒性，我們分別進行了 3 個月 Netflix 和全集 Netflix 的實驗，數(shù)據(jù)集細節(jié)如下：

對比算法： 在實驗中，我們和一些 baseline 和 state-of-art 進行對比：BPR [1]，PRFM [2]，LambdaFM [3]，RRN [4]，IRGAN [5]。

實驗結(jié)果：

此外，我們還進行了 case study 的分析。我們從 Netflix 數(shù)據(jù)集中隨機選擇兩個用戶并為其生成推薦列表。LSIC 模型可以更有效的進行推薦。例如，用戶“8003”的電影“9 Souls”從排名5（LambdaFM）增加到排名 1（LSIC-V4）。

總結(jié)：我們提出了一種新穎的基于生成對抗網(wǎng)絡的推薦系統(tǒng)，采用強化學習動態(tài)調(diào)整歷史長期偏好和短期會話的模型，此外，我們加入了封面圖片特征進一步提升系統(tǒng)性能，最后在兩個數(shù)據(jù)集上做到 state-of-art 的性能。

參考文獻

1. Steffen Rendle, Christoph Freudenthaler, Zeno Gantner, and Lars SchmidtThieme. 2009. BPR: Bayesian personalized ranking from implicit feedback. InProceedings of the twenty- fth conference on uncertainty in articial intelligence. AUAI Press, 452–461.

2. Runwei Qiang, Feng Liang, and Jianwu Yang. 2013. Exploiting ranking factorization machines for microblog retrieval. In Proceedings of the 22nd ACM international conference on Conference on information & knowledge management. ACM, 1783–1788.

3. Fajie Yuan, Guibing Guo, Joemon M Jose, Long Chen, Haitao Yu, and Weinan Zhang. 2016. Lambdafm: learning optimal ranking with factorization machines using lambda surrogates. In Proceedings of the 25th ACM International on Conference on Information and Knowledge Management. ACM, 227–236.

4. Chao-YuanWu, Amr Ahmed, Alex Beutel, Alexander J Smola, and How Jing. 2017. Recurrent recommender networks. In Proceedings of the Tenth ACM International Conference on Web Search and Data Mining. ACM, 495–503.

5. Jun Wang, Lantao Yu, Weinan Zhang, Yu Gong, Yinghui Xu, Benyou Wang, Peng Zhang, and Dell Zhang. 2017. IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models. In Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. 515–524.

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 查看論文

總結(jié)

以上是生活随笔為你收集整理的融合 MF 和 RNN 的电影推荐系统的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。