作 者：一元 公眾號：煉丹筆記

背景

許多現有的建模開始基于用戶的歷史行為序列進行建模并且取得了相當不錯的效果,為了捕獲用戶動態和變化的興趣, 我們觀測到用戶經常在某個時間點擁有大量的興趣, 與此同時, 潛在的主導興趣是通過行為表現出來的。潛在主導興趣的切換會導致最終的行為變化。因此,建模和跟蹤潛在的多重興趣將是有益的。本篇文章,我們提出了一種新的方法DMIN(Deep Multi-Interest Network),通過建模用戶潛在的對于CTR任務的多興趣,來提升模型的效果。

模型

本文的核心框架如下：

和其它文章不一樣的地方在于,DMIN有兩大核心的組成成份, Behavior Refiner Layer以及Multi-Interest Extractor Layer。

Embedding Layer

此處共存在四組特征:用戶的Profile信息,用戶的歷史行為,上下文信息以及目標商品信息。

• 用戶Profile信息：例如用戶的id, 國家等信息;
• 目標商品(Target Item)：帶有特定特征的候選商品,例如item id,類別id,統計的ctr等信息;
• 用戶歷史行為: 用戶歷史點擊/加購/購買的商品；
• 上下文信息: 包括時間,匹配類型,trigger id等;

Behavior Refiner Layer

我們對用戶的行為序列使用multi-head self-attention來微調商品的表示。

1. 輔助Loss

在獲得提煉的商品表示之后,我們需要從提煉的商品表示中抽取大量的興趣。我們使用另外一個multi-head self-attention來獲取這些興趣。

最后我們使用attention單元來捕捉每個輸出的head和目標商品的相關性,此外,我們加入位置的embedding來引入位置信息,因為,第h個用戶的興趣可以被表示為：

最終的Loss

實驗

• Wide & Deep和手工設計的特征表現不佳。
• PNN是一個自動學習特征間交互的表，它比Wide & Deep要好。
• DIN表示用戶對目標項的興趣，結果優于Wide&Deep和PNN。
• DIEN使用一個特別設計的GRU結構來捕捉用戶興趣的變化，這有助于獲得比DIN更好的興趣表示。
• DMIN在三個數據集中的AUC得分最高，顯示了對用戶潛在的多重興趣進行建模和跟蹤的有效性。
• 輔助損失函數和位置嵌入的使用帶來了非常大的增益

小結

針對CTR預測任務，本文提出了一種新的用戶潛在多重興趣網絡(DMIN)建模方法。具體地說，我們設計了一個行為提煉(Refined)層，使用多頭自我注意來捕捉更好的用戶歷史商品表示。然后應用多興趣提取層提取多用戶興趣。實驗結果也驗證該方案的優勢。

參考文獻

• Deep Multi-Interest Network for Click-through Rate Prediction:https://dl.acm.org/doi/pdf/10.1145/3340531.3412092

---

總結

以上是生活随笔為你收集整理的推荐系统炼丹笔记：阿里DMIN多重兴趣网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。