?PaperWeekly 原創 ·?作者｜Zhang

學校｜上海交通大學碩士生

研究方向｜深度學習、自然語言處理

背景介紹

Click Through Rate (CTR) Prediction 是一項非常重要的工業任務，例如計算廣告中、推薦系統中的應用。計算廣告中需要根據 CTR 的預估來進行競價，有的推薦系統則基于 CTR 進行排序。

CTR 預測即給定一個用戶/物品（廣告）對，預測用戶點擊該物品的概率。其中輸入的特征往往包括連續特征（年齡）和枚舉特征（性別、地區），即 continuous field 和 categorical field。其中枚舉特征還分為單一取值的特征（如性別）和多取值的特征（如購買記錄）。

一般先用 one-hot 或 multi-hot encoding 的方式編碼枚舉特征，之后在很多模型中都會通過 embedding layer 再將它映射成 dense feature。最后根據這些處理過的 feature 來預測用戶點擊該物品的概率。

模型發展史

傳統的模型有：LR [1]、FM [2]、FTRL [3]、GBDT+LR [4]、FFM [5]、PL-LSM [6] 等。

2.1 2016年

最簡單的基于 deep learning 的模型設計，例如 Deep Learning over Multi-field Categorical Data (DNN) 直接將 dense feature的concatenation 作為輸入，在其上疊加多層的神經網絡直接預測 CTR。

該文提出 FM supported 和 sampling based NN 兩種具體實現方式，分別通過? FM、基于負采樣的 DAE/RBM 預訓練得到 embedding 的初始化值，以及通過使用 RBM contrastive divergence 預訓練來初始化上層的神經網絡參數；最后通過 fine-tune 的方式訓練最終模型。

不同于上述模型完全依賴神經網絡（如果不考慮預訓練的作用）來學習不同 feature 之間的交互關系，另一類模型既顯式地建模 feature 之間的低階交互關系，又同時借助神經網絡來建模高階交互關系。

比如 Product-based Neural Networks for User Response Prediction (PNN) 中在不同的 feature 之間通過內積、外積的方式計算二階交互特征，最后將原始的一階和交互的二階特征相加輸入神經網絡。

Wide & Deep Learning for Recommender Systems (Wide&Deep) 中的 wide model 使用一階 feature 和通過手動設計 cross product transformation 得到的二階 feature，通過 linear model 進行預測。

deep model 則直接從一階 feature 出發疊加神經網絡；最終將 Wide&Deep 兩個模型 joint learning 訓練。

2.2 2017年

DeepFM: A Factorization-Machine based Neural Network for CTR Prediction (DeepFM) 中結合使用了 FM 和 DNN，其中 DNN 的輸入共享使用了 FM 中的 latent vector，最終結合兩部分的 feature 進行最終預測。

Deep & Cross Network for Ad Click Predictions (Deep&Cross)中從 embedding layer 出發并行地搭建一個 cross network、一個 DNN，最終合并兩個分支的 feature 進行最終預測。

其中 cross network 顯式地建模了高階（對應 cross network 的層數，不同于其他模型設計中只有二階的顯式交互設計）的 feature 交互。

Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks (AFM) 在 FM 的基礎上，通過 attention 的機制給不同的二階交互項加上權重、以及對 latent vector 的 Hadamard product 的不同 bit 進行加權求和：

其中 attention score 根據 、 的 Hadamard product 來計算。

Neural Factorization Machines for Sparse Predictive Analytics (NFM) 中首次完全融合了 FM 和 DNN，將 FM 中原有的 latent vector 內積項：

替換為通過 Bi-Interaction Layer（如下圖）+NN 建模的 feature 交互特征。

2.3 2018年

FwFM: Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising (FwFM) 中同樣考慮了不同二階交互特征對于最終預測的貢獻度不同，因此在 FM 的二階交互項中加入了權重系數，相比 FFM 減少了大量參數：

xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems (xDeepFM) 中同樣顯式地建模了高階的 feature 交互，進一步改進了 Cross Network，提出 Compressed Interaction Network，模型表達能力更強。

并且將 Cross Network 中 bit-wise 的交互方式（意味著同一個 feature embedding 的不同 bit 之間也會進行交互）改為 vector-wise 的交互方式。模型整體結構和 DeepFM 相同，將 FM 的部分替換為 CIN。

Deep Interest Network for Click-Through Rate Prediction (DIN) 在對 user behavior 的 feature（用戶歷史行為）處理中，區別于傳統的 average pooling 或 concatenation 的方式，考慮到了每個 behavior 的參考價值與具體的待預測目標有關。

因此通過 attention 的方式進行了加權求和來建模 user interest：

Deep Interest Evolution Network for Click-Through Rate Prediction (DIEN)?進一步關注了 user interest 隨時間變化的特點。模型主要包括一個 interest extractor layer、一個 interest evolving layer，都是基于 GRU 的結構，在 user behavior 的時間序列上學習。

其中 interest evolving layer 的輸入為 interest extractor layer 中對應時間步的隱藏層 ，并且由 和待預測物體的特征 計算得出 attention 來作為 update gate 的權重。

2.4 2019年

Deep Session Interest Network for Click-Through Rate Prediction (DSIN) 中則關注到用戶的歷史行為、用戶興趣的時間序列可分為不同的 session，session 內的行為比較 homogeneous，而不同 session 間則更heterogeneous。

因此對 user behavior 的建模包括了 session division、session interest extractor (multi-head self-attention)、session interest interaction (Bi-LSTM)、session interest activation (attention)。

FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction (FiBiNET) 中提出了基于? Squeeze-and-Excitation 的 feature importance 計算方法以及 bilinear 的 feature 交互方法。

其中關于 bilinear interaction，新提出了雜交 Hadamard product 和 inner Product 的表達方式，例如：

最終得出的二階交互特征替換 FM 模型中的二階交互項。

AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks (AutoInt) 中用 multi-head self attention network with residual connection 來建模 feature 交互。

2.5 2020年

FLEN: Leveraging Field for Scalable CTR Prediction (FLEN) 中提出了一種參數少、計算量小、適合工業化應用的模型，其中 feature 交互的部分結合了 intra/inter feature 的交互。最終用 field-wise bi-interaction module 得到的二階特征 +DNN 學到的特征進行預測。

A Sparse Deep Factorization Machine for Efficient CTR prediction (Sparse DeepFwFM)? 在 DeepFwFM 的基礎上進行了 structural pruning，大大減少模型參數以符合線上運行的需求，并且使模型的 ensemble 成為可能。

研究方向

feature interaction 的方式

• 只包含低階（二階）的特征交互，比如 FM、AFM、FFM、FwFM。

• 完全依賴深度學習來建模高階的交互特征，比如 DNN、AutoInt。

• 結合顯式的低階特征交互建模和基于深度學習的高階特征建模，比如 PNN、Wide&Deep、DeepFM、Deep&Cross、NFM、xDeepFM、FiBiNET、FLEN。其中 Deep&Cross 和 xDeepFM 顯式建模了高于二階的交互特征。

依據用戶的歷史行為以及待估計的對象研究用戶的興趣，比如 DIN、DIEN、DSIN。

簡化模型、工業應用，比如 FwFM、FLEN、Sparse DeepFwFM。

其他還有推薦系統中基于 CTR 的模型，例如 RippleNet [7]，利用了用戶和物品由點擊歷史構成的 graph 以及 knowledge graph，將用戶興趣在合并的? graph 上“傳播”，類似于基于物體的協同過濾方法。

效果比較

主要根據 AUC 和 logloss 來比較。在 Criteo 數據集上測試的模型較多，根據 paper 各自匯報的結果，在 Criteo 上表現最好的是 Sparse DeepFwFM，其次是 xDeepFM、DeepFM。根據 FLEN 自己在 Avazu 數據集上匯報的結果，FLEN 的優于 xDeepFM。

參考文獻

[1] Richardson, Matthew ; Dominowska, Ewa ; Ragno, Robert. Predicting clicks: estimating the click-through rate for new ads.?

[2] Rendle, Steffen ; Gantner, Zeno ; Freudenthaler, Christoph ; Schmidt-Thieme, Lars. Fast context-aware recommendations with factorization machines.?

[3] Mcmahan, H ; Holt, Gary ; Sculley, D ; Young, Michael ; Ebner, Dietmar ; Grady, Julian ; Nie, Lan ; Phillips, Todd ; Davydov, Eugene ; Golovin, Daniel ; Chikkerur, Sharat ; Liu, Dan ; Wattenberg, Martin ; Hrafnkelsson, Arnar ; Boulos, Tom ; Kubica, Jeremy. Ad click prediction: a view from the trenches.?

[4] He, Xinran ; Pan, Junfeng ; Jin, Ou ; Xu, Tianbing ; Liu, Bo ; Xu, Tao ; Shi, Yanxin ; Atallah, Antoine ; Herbrich, Ralf ; Bowers, Stuart ; Candela, Joaquin. Practical Lessons from Predicting Clicks on Ads at Facebook.?

[5] Juan, Yuchin ; Zhuang, Yong ; Chin, Wei-Sheng ; Lin, Chih-Jen. Field-aware Factorization Machines for CTR Prediction.?

[6] Gai, Kun ; Zhu, Xiaoqiang ; Li, Han ; Liu, Kai ; Wang, Zhe. Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction.?

[7] Wang, Hongwei ; Zhang, Fuzheng ; Wang, Jialin ; Zhao, Miao ; Li, Wenjie ;Xie, Xing ; Guo, Minyi. RippleNet: Propagating User Preferences on the Knowledge Graph for Recommender Systems.

點擊以下標題查看更多往期內容：?

• 變分推斷（Variational Inference）最新進展簡述
  

• 變分自編碼器VAE：原來是這么一回事
  

• 圖神經網絡三劍客：GCN、GAT與GraphSAGE
  

• 如何快速理解馬爾科夫鏈蒙特卡洛法？
  

• 深度學習預訓練模型可解釋性概覽
  

• ICLR 2020：從去噪自編碼器到生成模型

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的浅谈 CTR 预估模型发展史的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。