本文關(guān)注的是對(duì)用戶歷史序列的去噪問(wèn)題，旨在從歷史購(gòu)物序列中挑選出對(duì)預(yù)測(cè)具有真正影響力的相關(guān)商品，去除序列中不相關(guān)商品，以提高序列推薦效果。

論文標(biāo)題：

Pattern-enhanced Contrastive Policy Learning Network for Sequential Recommendation

論文作者：

Xiaohai Tong, Pengfei Wang, Chenliang Li, Long Xia, Shaozhang Niu

收錄情況：

IJCAI 2021 Full Paper

背景

首先介紹一下這篇論文的 task，也就是序列推薦，它是根據(jù)用戶的歷史購(gòu)物序列，來(lái)推薦用戶下一次可能購(gòu)買的商品。

由于用戶行為的隨機(jī)性和多樣性，用戶的歷史記錄中并不是所有商品都對(duì)預(yù)測(cè)下一次行為有幫助，所以辨識(shí)出有關(guān)聯(lián)的商品并提取出有價(jià)值的序列特征對(duì)提升序列推薦的性能有很大意義。

正如圖 1 所展示的，給出了用戶之前購(gòu)買過(guò)的四個(gè)商品，來(lái)推薦用戶下一時(shí)刻可能會(huì)購(gòu)買的商品。我們可以看到，商品 coat 可以被忽略掉，因?yàn)樗c其他商品不存在明顯的關(guān)系。與此同時(shí)，雖然商品 bread 和 milk 表現(xiàn)出了與 ham 的強(qiáng)關(guān)聯(lián)關(guān)系，但是在推薦 banana 時(shí)，它們就會(huì)變成噪聲來(lái)影響推薦效果。

挑戰(zhàn)

如何在無(wú)標(biāo)注的情況下，自動(dòng)挖掘出與推薦結(jié)果相匹配的時(shí)序模式，提高推薦的可解釋性和準(zhǔn)確性，是本文最大的挑戰(zhàn)。

模型

基于上述分析的種種原因，作者提出了一個(gè)模式增強(qiáng)的對(duì)比學(xué)習(xí)模型來(lái)自動(dòng)地挑選出與目標(biāo)商品相關(guān)聯(lián)的部分商品用于下一個(gè)商品的推薦。

本文采用強(qiáng)化學(xué)習(xí)的方法來(lái)對(duì)用戶歷史序列進(jìn)行去噪，并用于序列推薦。模型主要分為兩個(gè)部分：模式增強(qiáng)的策略模塊 和 對(duì)比學(xué)習(xí)模塊 。

3.1 模式增強(qiáng)的策略模塊

本文采用一種策略模塊來(lái)判定用戶購(gòu)物序列中的商品與目標(biāo)商品之間的關(guān)聯(lián)性。針對(duì)目標(biāo)商品 ，在 時(shí)刻，策略學(xué)習(xí)進(jìn)程處在狀態(tài) ，根據(jù)狀態(tài) ， 會(huì)執(zhí)行動(dòng)作 。動(dòng)作空間 = 1, = ，我們采用 動(dòng)作來(lái)表示該商品與目標(biāo)商品是相關(guān)的， 動(dòng)作表示該商品與目標(biāo)商品無(wú)關(guān)，應(yīng)從初始序列中刪去。 執(zhí)行動(dòng)作 的概率由以下策略來(lái)決定：

但是，在"用戶-商品"交互較為稀疏的序列上運(yùn)行復(fù)雜的策略并不容易。此外，由于沒(méi)有提供商品級(jí)的相關(guān)信息來(lái)監(jiān)督去噪過(guò)程，因此該過(guò)程也無(wú)法得到保證。考慮到序列模式可以在大量的用戶行為中得到良好表達(dá)，我們選擇挖掘序列模式，并將其作為先驗(yàn)知識(shí)來(lái)指導(dǎo)去噪過(guò)程。

我們首先使用 SPADE 算法從用戶序列中提取出序列模式特征，然后將長(zhǎng)度為 的模式特征整合到矩陣 中。其中， 就代表了 中的第 行信息， 的第 個(gè)元素就代表了從商品 出發(fā)到商品 結(jié)束的模式特征數(shù)量。針對(duì)商品 ，我們使用 = 來(lái)表達(dá)對(duì)應(yīng)的模式特征信息，并將其輸入到策略狀態(tài) 的計(jì)算中，來(lái)增強(qiáng)其語(yǔ)義表示：

其中， 是門控循環(huán)單元， 是一個(gè)多層感知機(jī)， 是商品 的嵌入向量， 是一個(gè)指示函數(shù)， 是一個(gè)拼接操作符。

3.2 對(duì)比學(xué)習(xí)模塊

給定一個(gè)交互序列 ，我們使用 為每個(gè)商品依次選取動(dòng)作，我們就得到了一個(gè)動(dòng)作序列 ，就可以很自然地將初始序列 分割成兩個(gè)子序列： 子序列 和 子序列 。那么，生成子序列 的概率就是：

基于以上生成的子序列 ，目標(biāo)函數(shù)就可以寫為：

其中， 正是子序列 的延遲激勵(lì) 。我們希望子序列 可以準(zhǔn)確地捕獲到與目標(biāo)商品 存在關(guān)聯(lián)關(guān)系的語(yǔ)義信息，最直接的一種方法就是對(duì) 進(jìn)行編碼。這里，我們選用一個(gè) 對(duì) 進(jìn)行處理，并將最后一個(gè)商品對(duì)應(yīng)的隱式狀態(tài)作為該子序列的向量表示 。然后，我們使用 與 之間的余弦相似度作為 ：

然而，由于沒(méi)有合理使用序列 中不相關(guān)的商品，這一策略并不是一個(gè)最優(yōu)的選擇，而且會(huì)加劇稀疏性問(wèn)題。同時(shí)，由于缺少監(jiān)督信號(hào)，策略模塊的一個(gè)錯(cuò)誤區(qū)分也會(huì)影響到性能。為了全面利用相關(guān)與不相關(guān)的商品，我們采用對(duì)比學(xué)習(xí)的方法來(lái)加強(qiáng)模型的學(xué)習(xí)進(jìn)程。

進(jìn)一步地，我們采用另一個(gè) 來(lái)對(duì) 子序列 進(jìn)行編碼，得到向量表示 ，對(duì)應(yīng)的生成概率就是：

類似地， 就等于 與 之間的余弦相似度。那么，最終的目標(biāo)函數(shù)就可以寫作：

3.3 學(xué)習(xí)和預(yù)測(cè)

我們采用 Adam 優(yōu)化器來(lái)最大化目標(biāo)函數(shù)。根據(jù)訓(xùn)練好的 RAP 模型，給定用戶的歷史交互序列和候選商品，我們首先依據(jù)狀態(tài)公式對(duì)整個(gè)序列進(jìn)行掃描，并依據(jù)下面的最大值概率來(lái)為每一個(gè)商品選取動(dòng)作。

根據(jù)上面的步驟，我們可以提取出可信賴的相關(guān)商品，并計(jì)算出對(duì)應(yīng)的 。之后，我們依據(jù)候選商品的 就可以對(duì)它們進(jìn)行排序，并返回 top- 作為推薦結(jié)果。

實(shí)驗(yàn)效果

4.1 主實(shí)驗(yàn)

4.2 消融實(shí)驗(yàn)

4.3 case study

小結(jié)與展望

本文提出了一個(gè)序列去噪問(wèn)題，并提出了一個(gè)模式增強(qiáng)的對(duì)比策略學(xué)習(xí)網(wǎng)絡(luò)（）來(lái)進(jìn)行去噪和推薦。 將序列去噪問(wèn)題轉(zhuǎn)化為 MDP 的一種形式，利用序列模式和對(duì)比學(xué)習(xí)過(guò)程進(jìn)行偏好學(xué)習(xí)。目前，我們只利用項(xiàng)目交互來(lái)進(jìn)行去噪，這種有限的資源會(huì)阻礙去噪和推薦的有效學(xué)習(xí)。在未來(lái)的研究中，我們將選擇從知識(shí)圖譜中提取序列依賴關(guān)系，這將為去噪過(guò)程帶來(lái)更多的好處。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開(kāi)渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無(wú)版權(quán)問(wèn)題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來(lái)稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的用户的购物历史都有用吗？看作者如何运用对比学习来筛选相关项的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。