來自：圓圓的算法筆記

今天帶大家讀兩篇AAAI 2023關于CTR預估的兩篇工作。一篇是華為發表的Adaptive Low-Precision Training for Embeddings in Click-Through Rate Prediction，提出了一種CTR預估中embedding量化壓縮的方法；另一篇是美團發表的Decision-Making Context Interaction Network for Click-Through Rate Prediction，通過在CTR預估模型中引入顯示和隱式的上下文信息提升預估效果。

1

華為：Embedding量化

CTR預估中占用參數量最大的就是embedding table，尤其user、item等特征的embedding表，由于實體數量很大，導致這些特征的embedding表非常大，占用了非常巨大的存儲開銷。因此，對embedding table進行壓縮是一個值得研究的領域。

目前業內關于embedding table的壓縮主要有NAS-based embedding dimension search、Embedding pruning、Hashing三種方法。前兩者都需要額外的存儲和訓練步驟來確定最優的embedding維度和剪枝方法，而hashing方法由于沖突問題會嚴重影響壓縮后的模型效果。

針對前面方法的不足，華為提出了一種基于量化的端到端CTR模型訓練方法。量化方法是將模型高精度float參數映射到離散化的值上，模型結構保持不變，極大節省了存儲空間。之前的文章中介紹過量化相關的工作。

本文提出的量化基本的訓練框架如下圖中的b所示。以往的量化壓縮方法為圖a，需要保存全精度的參數，在前向傳播過程中對全精度參數量化，基于量化后的參數計算梯度，再更新到全精度參數上，節省了計算資源。而本文提出的b方法，直接在量化后的參數上進行更新，而不用保存全精度的參數，適合本文提出的embedding存儲壓縮的場景。先把量化參數還原成全精度參數，再在全精度參數行梯度反傳更新，最后將更新后的參數還原回量化參數，完成一輪訓練。

量化中存在兩個核心問題，一個是如何確定離散化兩個值之間的step size，另一個是使用什么方法把float映射到離散化值。

針對第一個問題，文中提出了一種Adaptive low-precision training的方法，自動學習step size。具體的算法邏輯如下表，核心是在訓練過程中有兩階段的優化，第一階段更新模型的參數，第二階段優化step size。

針對第二個問題，業內主要有DR和SR兩種方式。DR直接根據四舍五入，確定性的將float離散化，而SR則是以一定概率隨機的將float離散化到距離最近的兩個整數之間。雖然之前的一些工作在實驗角度驗證了SR效果更好，但是沒有給出具體的理論證明。本文作者填補了這部分的空白，從理論上證明了SR的離散化方法具有更快的收斂性和更好的準確率，因此本文采用了SR的離散化方法。

在實驗階段，文中對比了不同壓縮方法的運行效率和效果，驗證了本文提出的方法的優越性：

2

美團：上下文建模

這篇文章提出在CTR中引入顯示和隱式的上下文信息來提升CTR預估模型效果。

先說說顯示上下文信息。以往的CTR預估模型重點在于用戶歷史行為序列建模，而忽略了用戶歷史行為中的上下文信息。比如下圖左側的例子，是某個用戶某次歷史搜索的行為，點擊了藍色框中的漢堡。以往的行為建模模型中，直接將這個漢堡加入到歷史行為中，判斷和當前商品的匹配情況。而上下文指的是用戶歷史搜索中，除了藍色框以外紅色框的部分。這部分信息引入的好處是，能夠確定用戶歷史行為產生的原因。例如點擊紅色框的漢堡，是和藍色框其他漢堡在價格、款式等維度上進行對比后，用戶做出的決策。

再說隱式上下文信息，指的是上游的匹配、打分鏈路中，根據用戶個性化信息建模流入下游的候選商品。如果流入下游的候選商品漢堡較多，那么表明用戶可能更喜歡吃漢堡。將這部分信息引入進來，有利于提升用戶喜好的建模。

基于以上出發點，本文提出了考慮用戶顯示隱式上下文信息的ctr預估模型。對于顯示上下文，使用CIU模塊進行編碼，主要包括對上下文中不相關商品的過濾，以及利用上下文中相關商品信息增強用戶的興趣建模。對于隱式上下文信息，即前面模型送到ctr預估模型打分的候選item，也使用CIU模塊進行有效信息的提取。最后，顯示信息和隱式信息經過CIU的結果會經過一層AIAU進行融合，AIAU主要和MLP+self-attention的結構，用于融合經過顯示、隱式增強后的用戶興趣信息。

本文提出的模型上線后，經過A/B test實驗，取得了CTR+2.9%/CPM+2.1%/GMV+1.5%的比較明顯的效果收益。

---

最后給大家推薦一下最近小編從最新的斯坦福NLP的公開課都放到了bilibili上了，都已做了中英翻譯，大部分已經更新完畢了，給需要的小伙伴~

是最新的呦~

目錄

• 詞向量
  

• 神經分類器
  

• 反向傳播和神經網絡

• 句法結構
  

• RNN
  

• LSTM
  

• 機器翻譯、Seq2Seq和注意力機制
  

• 自注意力和Transformer
  

• Transformers和預訓練
  

• 問答
  

• 自然語言生成
  

• 指代消解
  

• T5和大型預訓練模型

• 待更...
  
  

點擊閱讀原文直達b站~

---

進NLP群—>加入NLP交流群

總結

以上是生活随笔為你收集整理的AAAI'23 | 两篇大厂CTR预估最新工作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。