將強化學習用于推薦系統(tǒng)，能更好地考慮用戶的長期效益，從而保持用戶在平臺中的長期滿意度、活躍度。但是，強化學習需要大量訓練樣本，例如，AlphaGoZero [1] 進行了 490 百萬局模擬圍棋訓練，Atari game 的強化學習在電腦中高速運行了超過 50 個小時 [2]。而在推薦系統(tǒng)的場景中，在線用戶是訓練環(huán)境，系統(tǒng)需要與用戶進行大量的交互，利用用戶的在線反饋來訓練推薦策略。該過程將消耗大量交互成本、影響用戶體驗。在螞蟻金服被 ICML 2019 接收的這篇論文中，們提出用生成對抗用戶模型作為強化學習的模擬環(huán)境，先在此模擬環(huán)境中進行線下訓練，再根據(jù)線上用戶反饋進行即時策略更新，以此大大減少線上訓練樣本需求。此外，提出以集合（set）為單位而非單個物品（item）為單位進行推薦，并利用 Cascading-DN 的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)解決組合推薦策略空間過大的問題。

　　在推薦系統(tǒng)中應(yīng)用強化學習（RL）有很大的研究價值，但也面臨諸多挑戰(zhàn)。在這樣的配置中，在線用戶是環(huán)境（enironment），但是并沒有明確定義獎勵函數(shù)（reward）和環(huán)境動態(tài)（transition），這些都對 RL 的應(yīng)用造成了挑戰(zhàn)。

　　本文提出利用生成對抗網(wǎng)絡(luò)同時學習用戶行為模型（transition）以及獎勵函數(shù)（reward）。將該用戶模型作為強化學習的模擬環(huán)境，研究者開發(fā)了全新的 Cascading-DN 算法，從而得到了可以高效處理大量候選物品的組合推薦策略。

　　本文用真實數(shù)據(jù)進行了實驗，發(fā)現(xiàn)和其它相似的模型相比，這一生成對抗用戶模型可以更好地解釋用戶行為，而基于該模型的 RL 策略可以給用戶帶來更好的長期收益，并給系統(tǒng)提供更高的點擊率。

　　論文：Generatie Adersarial User Model for Reinforcement Learning Based Recommendation System

　　

　　論文地址：https://arxi.org/pdf/1812.10613.pdf

　　推薦系統(tǒng)的 RL 挑戰(zhàn)

　　幾乎對所有的在線服務(wù)平臺來說，推薦系統(tǒng)都是很關(guān)鍵的一部分。系統(tǒng)和用戶之間的交互一般是這樣的：系統(tǒng)推薦一個頁面給用戶，用戶提供反饋，然后系統(tǒng)再推薦一個新的頁面。

　　構(gòu)建推薦系統(tǒng)的常用方式是根據(jù)損失函數(shù)評估可以使模型預(yù)測結(jié)果和即時用戶響應(yīng)之間差異最小化的模型。換句話說，這些模型沒有明確考慮用戶的長期興趣。但用戶的興趣會根據(jù)他看到的內(nèi)容隨著時間而變化，而推薦者的行為可能會顯著影響這樣的變化。

　　從某種意義上講，推薦行為其實是通過凸顯特定物品并隱藏其他物品來引導(dǎo)用戶興趣的。因此，設(shè)計推薦策略會更好一點，比如基于強化學習（RL）的推薦策略——它可以考慮用戶的長期興趣。但由于環(huán)境是與已經(jīng)登陸的在線用戶相對應(yīng)的，因此 RL 框架在推薦系統(tǒng)設(shè)置中也遇到了一些挑戰(zhàn)。

　　首先，驅(qū)動用戶行為的興趣點（獎勵函數(shù)）一般是未知的，但它對于 RL 算法的使用來說至關(guān)重要。在用于推薦系統(tǒng)的現(xiàn)有 RL 算法中，獎勵函數(shù)一般是手動設(shè)計的（例如用 ±1 表示點擊或不點擊），這可能無法反映出用戶對不同項目的偏好如何 (Zhao et al., 2018a; Zheng et al., 2018)。

　　其次，無模型 RL 一般都需要和環(huán)境（在線用戶）進行大量的交互才能學到良好的策略。但這在推薦系統(tǒng)設(shè)置中是不切實際的。如果推薦看起來比較隨機或者推薦結(jié)果不符合在線用戶興趣，她會很快放棄這一服務(wù)。

　　因此，為決無模型方法樣本復(fù)雜度大的問題，基于模型的 RL 方法更為可取。近期有一些研究在相關(guān)但不相同的環(huán)境設(shè)置中訓練機器人策略，結(jié)果表明基于模型的 RL 采樣效率更高 (Nagabandi et al., 2017; Deisenroth et al., 2015; Claera et al., 2018)。

　　基于模型的方法的優(yōu)勢在于可以池化大量的離策略（off-policy）數(shù)據(jù)，而且可以用這些數(shù)據(jù)學習良好的環(huán)境動態(tài)模型，而無模型方法只能用昂貴的在策略（on-policy）數(shù)據(jù)學習。但之前基于模型的方法一般都是根據(jù)物理或高斯過程設(shè)計的，而不是根據(jù)用戶行為的復(fù)雜序列定制的。

　　解決方案

　　為決上述問題，本文提出了一種新的基于模型的 RL 框架來用于推薦系統(tǒng)，該框架用統(tǒng)一的極小化極大（minimax）框架學習用戶行為模型和相關(guān)的獎勵函數(shù)，然后再用這個模型學習 RL 策略。

　　

　　圖 1：用戶與推薦系統(tǒng)之間的交互。綠色箭頭表示推薦者信息流，橙色箭頭表示用戶信息流。

　　本文的主要技術(shù)貢獻在于：

　　開發(fā)了生成對抗學習（GAN）方法來模擬用戶行為動態(tài)并學習其獎勵函數(shù)?？梢酝ㄟ^聯(lián)合極小化極大優(yōu)化算法同時評估這兩個組件。該方法的優(yōu)勢在于：（i）可以得到更準確的用戶模型，而且可以用與用戶模型一致的方法學習獎勵函數(shù)；（ii）相較于手動設(shè)計的簡單獎勵函數(shù)，從用戶行為中學習到的獎勵函數(shù)更有利于后面的強化學習；（iii）學習到的用戶模型使研究者能夠為新用戶執(zhí)行基于模型的 RL 和在線適應(yīng)從而實現(xiàn)更好的結(jié)果。用這一模型作為模擬環(huán)境，研究者還開發(fā)了級聯(lián) DN 算法來獲得組合推薦策略。動作-價值函數(shù)的級聯(lián)設(shè)計允許其在大量候選物品中找到要顯示的物品的最佳子集，其時間復(fù)雜度和候選物品的數(shù)量呈線性關(guān)系，大大減少了計算難度。用真實數(shù)據(jù)進行實驗得到的結(jié)果表明，從保留似然性和點擊預(yù)測的角度來說，這種生成對抗模型可以更好地擬合用戶行為。根據(jù)學習到的用戶模型和獎勵，研究者發(fā)現(xiàn)評估推薦策略可以給用戶帶來更好的長期累積獎勵。此外，在模型不匹配的情況下，基于模型的策略也能夠很快地適應(yīng)新動態(tài)（和無模型方法相比，和用戶交互的次數(shù)要少得多）。

　　生成對抗用戶

　　本文提出了一個模擬用戶順序選擇的模型，并討論了該模型的參數(shù)化和評估值。用戶模型的建立受到了模仿學習的啟發(fā)，模仿學習是根據(jù)專家演示來學習順序決策策略的強大工具。研究者還制訂了統(tǒng)一的極小化極大優(yōu)化算法，可以根據(jù)樣本軌跡同時學習用戶行為模型和獎勵函數(shù)。

　　將用戶行為作為獎勵最大化

　　研究者還根據(jù)兩個現(xiàn)實的假設(shè)模擬了用戶行為：（i）用戶不是被動的。相反，當給用戶展示 k 個物品的集合時，她會做出選擇，從而最大化自己的獎勵。獎勵 r 度量了她對一個物品的興趣有多大或滿意程度。另外，用戶可以選擇不點擊任何物品。然后她得到的獎勵就是沒在無聊的物品上浪費時間。（ii）獎勵不僅取決于所選物品，還取決于用戶的歷史。

　　例如，一個用戶可能一開始對 Taylor Swift 的歌沒什么興趣，但有一次她碰巧聽到了她的歌，她可能喜歡上了這首歌，于是開始對她的其他歌感興趣。此外，用戶在反復(fù)聽 Taylor Swift 的歌之后可能會覺得無聊。換句話說，用戶對物品的評價可能會隨著她的個人經(jīng)歷而產(chǎn)生變化。

　　模型公式為：

　　

　　模型參數(shù)化

　　圖 2 說明了模型的整體參數(shù)化。簡單起見，研究者將獎勵函數(shù)中所有參數(shù)表示為 θ，將用戶模型中的所有參數(shù)集表示為 α，因此分別用符號 γ_θ 和 φ_α 表示。

　　

　　圖 2：由 (a) 位置權(quán)重 (PW) 或 (b) LSTM 參數(shù)化的模型架構(gòu)。(c) 級聯(lián) 網(wǎng)絡(luò)。

　　生成對抗訓練

　　在實踐中，用戶獎勵函數(shù) γ(s^t, a^t) 和行為模型 φ(s^t，A^t) 都是未知的，需要評估數(shù)據(jù)得到。行為模型 φ試圖模仿真實用戶的行為序列，該用戶采取行為以最大化獎勵函數(shù) γ。與生成對抗網(wǎng)絡(luò)相似：(i) φ 作為生成器，會根據(jù)用戶的歷史來生成她的下一個行為；(ii) γ 作為判別器，試圖將行為模型 φ 生成的行為與用戶的實際行為區(qū)分開來。因此，受 GAN 框架的啟發(fā)，研究者通過極小化極大方法同時評估了 φ 和 γ。

　　更確切地說，給定某個用戶的 T 個觀測到的行為的軌跡 {a^1_true, a^2_true, . . . , a^T_true} 及相應(yīng)的所點擊物品的特征 {f^1_ , f^2_ , . . . , f^T_ }，研究者通過求解下面的極小化極大優(yōu)化方法共同學習到用戶的行為模型和獎勵函數(shù)：

　　

　　研究者用 s^t_true 強調(diào)這是在數(shù)據(jù)中觀測到的值。

　　實驗

　　研究者用三組實驗來評估其生成對抗用戶模型（GAN 用戶模型）和由此產(chǎn)生的 RL 推薦策略。該實驗旨在解決下列問題：（1）GAN 用戶模型可以更好地預(yù)測用戶行為嗎？（2）GAN 用戶模型可以帶來更高的用戶獎勵和點擊率嗎？（3）GAN 用戶模型是否有助于降低強化學習的樣本復(fù)雜度？

　　下面展示的是具有位置權(quán)重（GAN-PW）和 LSTM（GAN-LSTM）的 GAN 用戶模型的預(yù)測準確率，表 1 結(jié)果表明 GAN 模型的性能顯著優(yōu)于基線。此外，GAN-PW 的性能幾乎和 GAN-LSTM 一樣，但訓練效率更高。因此后續(xù)實驗使用的是 GAN-PW（后面統(tǒng)稱 GAN）。

　　

　　表 1：預(yù)測性能的比較，研究者在 GAN-PW 和 GAN-LSTM 中使用的是香農(nóng)熵。

　　另一個在 Moielens 上得到的結(jié)果很有趣，如圖 3 所示。藍色曲線表示用戶隨時間推移的實際選擇。橙色曲線則是 GAN 和 W&D-CCF 預(yù)測的行為軌跡。

　　

　　圖 3：對比用戶選擇的真實軌跡（藍色曲線）、GAN 模型預(yù)測得到的模擬軌跡（上部分圖中的橙色曲線）和 W&D-CFF 預(yù)測得到的模擬軌跡（下圖中的橙色曲線）。Y 軸表示 80 個電影類別

作者：Xinshi Chen、Shuang Li、Hui Li、Shaohua Jiang、Yuan Qi、Le Song（來源：機器之心）

總結(jié)

以上是生活随笔為你收集整理的ICML 2019 | 强化学习用于推荐系统，蚂蚁金服提出生成对抗用户模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。