点击率预估又有新花样?
好久沒有寫排序模型了,最近又看到一篇令人眼前一亮的論文,Deep User Match Network for Click-Through Rate Prediction。該文提出以往的論文都專注于挖掘item與item的關系,又或者是交互特征,都忽視了用戶和用戶之間的關系。這篇論文創新的提出了Deep User Match Network-DUMN,該模型設計了用戶表達層基于用戶歷史興趣學習用戶embeding。然后User Match層考慮了用戶與用戶的相關性,并對目標用戶和候選item直接的相似度進行度量。廢話不多說,直接看模型!
DUMN
先看看DUMN的框架圖輸入包括用戶畫像,用戶行為,候選item的特征,上下文等,輸入就是點擊率。
用戶和items之間有各種交互,如點擊,打分。基于這種交互,我們可以獲得目標用戶的交互行為和候選集。
用戶行為:指的是給定一個用戶u,我們可以拿到該用戶最近Nu個交互過的item list Iu和所有item的特征。
item行為:給定一個item m,我們可以獲得和該item交互過的一個user list Um 以及這些用戶的特征。Um = [(u1, Iu1), (u2, Iu2), ... , (Ul, Iul)]。
參考著上圖,大家已經對整個模型有了初步的認識了。Embedding Layer不做過多介紹,就是把各種離散特征映射成embedding,通過該層,目標用戶會被映射成eu,候選item會被映射成em,上下文會被映射成ec,用戶行為Iu會被映射成xu,item行為會被映射成zm。其中
用戶表示層(User Representation Layer),顧名思義就是要把xu和eu合并成一個embedding,當然少不了attention,如下圖所示:
會和候選item做attention,再把item list通過sum pooling合并成一個embedding,最后和user embeddinghebing,如下式:
用戶匹配層(User Match Layer),繼續參考框架圖,通過Relevance Unit計算item behavior和target user的attention,此處用于挖掘user-to-user的關系,將item behavior進行聚合,論文中使用的就是cos相似度,如下所示:
然后我們就可以通過Relavance Unit計算的相似度對item behavior進行聚合:
同時該模型將相似度總和也作為特征:
最終拼接特征,輸出ctr并計算logloss:
實驗
點擊率預估又有新花樣?
總結
以上是生活随笔為你收集整理的点击率预估又有新花样?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 双塔模型中的负采样
- 下一篇: 淘宝搜索中基于embedding的召回