MRIF: Multi-resolution Interest Fusion for Recommendation(SIGIR2020)

作者：一元，公眾號(hào)：煉丹筆記

背景

本文分享阿里的最新的工作，該工作中的aggregator很簡(jiǎn)單而且在我這還略有提效，希望能對(duì)大家也能帶來幫助，提前完成年終KPI！

個(gè)性化推薦的主要任務(wù)是根據(jù)用戶的歷史行為來獲取用戶的興趣。推薦系統(tǒng)的最新進(jìn)展主要集中在使用基于深度學(xué)習(xí)的方法精確地建模用戶的偏好。用戶興趣有兩個(gè)重要的屬性，

• 用戶興趣是動(dòng)態(tài)的，并且隨著時(shí)間的推移而演變；
• 用戶的興趣有不同的分辨率，或者精確地說是時(shí)間范圍，比如長(zhǎng)期偏好和短期偏好。

現(xiàn)有的方法要么使用遞歸神經(jīng)網(wǎng)絡(luò)（RNNs）來解決用戶興趣的漂移，而不考慮不同的時(shí)間范圍，要么設(shè)計(jì)兩個(gè)不同的網(wǎng)絡(luò)分別對(duì)長(zhǎng)期和短期偏好進(jìn)行建模。本文提出了一種綜合考慮用戶興趣的多resolution興趣融合模型。該模型能夠捕捉用戶興趣在不同時(shí)間范圍內(nèi)的動(dòng)態(tài)變化，為組合多resolution用戶興趣進(jìn)行預(yù)測(cè)提供了有效途徑。

提出的方案

Interest Extraction Layer

用戶在每一步的興趣可以被建模為一個(gè)隱藏變量，這個(gè)變量不能直接觀察到，通過歷史行為來估計(jì)。以往的研究使用隱馬爾可夫模型（HMM）來預(yù)測(cè)用戶的潛在興趣，通過最大化隱藏用戶興趣下行為序列的概率。然而，HMM模型的狀態(tài)非常有限，不能有效地表達(dá)用戶的興趣空間。DIEN選擇基于GRU的RNN作為用戶興趣抽取器，這對(duì)于長(zhǎng)序列是非常耗時(shí)的。有些文章提出的Transformer網(wǎng)絡(luò)依賴于self-attention而不是recurrence，這是一種更快，更有效的方法。

此處我們使用transformer進(jìn)行興趣的收取，預(yù)訓(xùn)練的transformer網(wǎng)絡(luò)來對(duì)下一步的商品進(jìn)行預(yù)測(cè)。我們先用Multi-head attenion將輸入序列投影到h的子空間中，然后使用scaled dot product attenion函數(shù)，我們使用兩個(gè)紡射轉(zhuǎn)化函數(shù)以及RELU函數(shù)來增加非線性能力。

Transformer網(wǎng)絡(luò)建立在Multihead Attention和FFN的基礎(chǔ)上，增加了dropout、layer normalization和residual鏈接。Transformer層方程如下：

為了準(zhǔn)確捕捉用戶在每一步的即時(shí)興趣，我們預(yù)先訓(xùn)練Transformer網(wǎng)絡(luò)來預(yù)測(cè)用戶在每一步的下一個(gè)行為。

本文我們使用三種aggregator。

1. Mean aggregator

2. Max aggregator

3. Attentional aggregator

其中a是和embedding位置相關(guān)的attention參數(shù)。

• POP方法在所有度量方面表現(xiàn)最差，因?yàn)樗豢紤]項(xiàng)目的流行性，而不考慮用戶端信息。
• BPR和NCF的性能優(yōu)于POP，這是因?yàn)檫@兩個(gè)模型使用基于協(xié)同過濾的方法來合并用戶信息。
• 在所有指標(biāo)上，DIN都比BPR和NCF獲得更好的結(jié)果，因?yàn)镈IN依賴于注意力機(jī)制，并且使用目標(biāo)項(xiàng)目關(guān)注用戶的歷史行為。
• GRU4Rec、LSTM4Rec、CASER和SASRec都是順序推薦方法，它們不僅使用了用戶交互過的項(xiàng)目，而且還使用了順序中項(xiàng)目的相對(duì)位置。由于考慮了項(xiàng)目的順序，順序方法的性能優(yōu)于DIN。
• SASRec在使用自我注意塊方面優(yōu)于其他三種順序方法。本文的方法優(yōu)于SASRec，在所有方法中取得了最好的結(jié)果。MRIF-attn在電影數(shù)據(jù)集上除AUC和GAUC指標(biāo)外，其他指標(biāo)均達(dá)到最佳，說明注意聚合器是最有效的。MRIF-avg的性能比MRIF-attn稍差，因?yàn)闄?quán)重在平均聚合器中是常數(shù)。MRIF-max在所提出的三種方法中表現(xiàn)最差，這可能是因?yàn)閙ax聚合器執(zhí)行困難，同時(shí)因?yàn)槲覀冎贿x擇一個(gè)商品從而很多輔助信息都丟失了。

本文提出了由興趣提取層、興趣聚集層和注意融合結(jié)構(gòu)組成的多分辨率興趣融合模型，解決了不同時(shí)間范圍內(nèi)用戶偏好的提取和組合問題。興趣提取層在每一步都依賴于變換塊來提取用戶的即時(shí)興趣。興趣聚合層的重點(diǎn)是找到一組不同分辨率的用戶興趣。提出了三種不同的聚合器：平均聚合器、最大聚合器和注意聚合器。興趣融合結(jié)構(gòu)采用注意機(jī)制，整合多分辨率興趣進(jìn)行預(yù)測(cè)。在七個(gè)評(píng)價(jià)指標(biāo)下對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，證明了該模型的優(yōu)越性。

MRIF: Multi-resolution Interest Fusion for Recommendation：https://arxiv.org/pdf/2007.07084.pdf

更多干貨，請(qǐng)關(guān)注“煉丹筆記”

總結(jié)

以上是生活随笔為你收集整理的推荐算法炼丹笔记：阿里序列化推荐算法MRIF的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。