Re-rank作為一種考慮到推薦items之間關(guān)系和影響的排序模式，近年來被越來越多的應(yīng)用到推薦系統(tǒng)中。常規(guī)的推薦系統(tǒng)僅僅考慮<user, item> pair，并不會(huì)考慮items間作為一個(gè)list進(jìn)行推薦互相的影響。Rerank模型將常規(guī)rank模型的輸出作為輸入，強(qiáng)化items之間的關(guān)系以及items與用戶的關(guān)系進(jìn)行one-more-time排序。對(duì)于不同用戶來說，list中items的分布應(yīng)該具有比較大的差異。

Personalized Re-ranking for Recommendation?arxiv.org

?

Learning a Deep Listwise Context Model for Ranking Refinement?arxiv.org

?

這篇paper的思路很大程度上繼承了DLMC(Deep Listwise Context Model)的思路，DLMC用的是rnn方法，基于搜索的場景，本文利用大火的transormer中multi head結(jié)構(gòu)去擬合item間的關(guān)系和影響，基于推薦的場景。兩篇paper都強(qiáng)調(diào)的一點(diǎn)是可以無縫遷移到工業(yè)界推薦系統(tǒng)，因?yàn)橛玫降奶卣鞫际乔耙徊絩ank中所用到的特征，不需要做額外的特征抽取。Transformer替換RNN的優(yōu)勢(shì)也是較為普遍認(rèn)知的，1.工程上并行化更容易2.算法上對(duì)于遠(yuǎn)距離的item關(guān)系刻畫更好。由于業(yè)務(wù)場景的不同，DLMC強(qiáng)調(diào)的是不同query下的特征分布是不同的，比如搜索“老友記”，那相關(guān)性相比于多樣性就更重要，本文強(qiáng)調(diào)不同用戶的意圖不同對(duì)推薦list的影響，比如一個(gè)沒有明顯購買意圖的用戶，推薦的多樣性就變得很重要。

Model Architecture

下圖是PRM的模型結(jié)構(gòu)，是一個(gè)比較傳統(tǒng)的multi head結(jié)構(gòu)，主要有input layer, encoding layer和output layer三部分組成。輸入Initial List是一個(gè)精排模型輸出的推薦集合，輸出Re-ranked List是重排序后的結(jié)果。

structure of PRM(Personalized Re-ranking Model)

Input Layer：?是該item在精排模型時(shí)的特征，??是用戶與該item的一個(gè)交叉特征，通過pre-train得到的，pre-train的方法用了一個(gè)dnn的方法，簡單粗暴，如下圖所示，作者在后文的實(shí)驗(yàn)中證明了，這種方法確實(shí)對(duì)整體的precision有一定程度提升。??是一個(gè)位置的embedding，主要是利用精排模型產(chǎn)出的排名，通過實(shí)驗(yàn)，作者發(fā)現(xiàn)??設(shè)置為trainable的效果更好一些。上述的三組embedding是輸入層的組成部分。

user-item pretrain method

Encoding Layer：利用Transformer中self-attention結(jié)構(gòu)，實(shí)現(xiàn)任意兩個(gè)item的交叉從而獲得他們互相間的影響。Encoding Layer就是一個(gè)傳統(tǒng)的Transformer結(jié)構(gòu)，Q,K,V都是同一個(gè)matrix如下圖所示。

transformer encoder

Output Layer:前邊transformer出來的score做一個(gè)softmax。

Last but not the least，作者通過實(shí)驗(yàn)發(fā)現(xiàn)，各種成熟的re-rank算法都是有正向的收益的，這個(gè)很好理解，re-rank是一個(gè)增量的過程，可以起到一定list-wise的作用。整篇paper的工業(yè)界實(shí)現(xiàn)應(yīng)該不是瓶頸，transformer也很好的解決了之前rnn的耗時(shí)問題，提供了我們一個(gè)做re-rank的思路。

總結(jié)

以上是生活随笔為你收集整理的阿里 Re-rank Recommendation 读后感的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。