AutoEmb: Automated Embedding Dimensionality Search in Streaming Recommendations

Xiangyu Zhao, Chong Wang,?Ming Chen, Xudong Zheng, Xiaobing Liu, Jiliang Tang

Michigan State University, Bytedance

https://arxiv.org/pdf/2002.11252.pdf

基于深度學習的推薦系統通常包含嵌入層，嵌入層能夠減少類別變量（比如用戶或商品特征）的維度，并且轉換到低維空間中。

大多數現有的深度學習推薦系統，對于用戶商品的嵌入層，根據經驗預先定義定長和統一的維度。最近研究表明，不同的用戶商品根據流行度需要映射到不同大小的嵌入空間中。但是，推薦系統中手動選擇嵌入層的大小非常具有挑戰性，因為用戶商品的量級很大，并且流行度也會隨時間動態變化。

這篇文章提出一種基于AutoML的端到端的框架，AutoEmb，可以根據流行度自動并且動態的設定多種嵌入空間。具體而言，作者們將典型的深度學習推薦系統進行增強，嵌入空間可以多種多樣，提出一種端到端的可微框架，可以根據用戶商品的流行度自動選擇不同的嵌入空間，并且在流式推薦場景中提出一種基于AutoML的優化算法。

在大量基準數據集上的實驗結果表明了AutoEmb框架的有效性。

基于深度學習的推薦系統主要包含以下三個部分

不同的embedding大小對應的效果不同

基礎的基于深度學習的推薦系統結構圖示如下

嵌入變換及選擇圖示如下

這種方案主要解決兩個問題，其一是不同embedding大小不同，如何統一為同一大小的embedding，其二為不同embedding尺度上不可比，如何轉為統一尺度。

自動選擇embedding大小的組件結構圖示如下

模型整體結構圖示如下

下面是算法偽代碼

數據集信息統計如下

實現細節及參數設置如下

評價指標如下

參與對比的方法有以下幾個

幾種方法效果對比如下

不同流行度對模型效果影響如下

不同的流行度下，不同embedding大小的權重分布不同

樣本數對模型效果影響如下

總結

以上是生活随笔為你收集整理的密歇根州立大学联合字节提出AutoEmb用于流式推荐的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。