?PaperWeekly 原創 ·?作者?|?金金

單位?|?阿里巴巴研究實習生

研究方向?|?推薦系統

論文標題：

Looking at CTR Prediction Again: Is Attention All You Need?

論文來源：

SIGIR 2021

論文鏈接：

https://arxiv.org/abs/2105.05563

簡介

點擊率（CTR）預測是網絡搜索、推薦系統和在線廣告展示中的一個關鍵問題。學習良好的特征交互對于反映用戶對物品的偏好至關重要。許多基于深度學習的 CTR 預測模型已經被提出，但研究人員通常只關注是否達到了 state-of-the-art 的性能，而忽略了整個框架是否合理。

在這項工作中，作者使用經濟學中的離散選擇模型重新定義了 CTR 預測問題，并提出了一個基于自注意力機制的通用神經網絡框架。發現大多數現有的 CTR 預測模型與本文提出的通用框架一致。作者還檢查本文提出的框架的表達能力和模型復雜性，以及對一些現有模型的潛在擴展。最后，本文通過公共數據集上的一些實驗結果來展示和驗證作者的見解。

模型

本文中，作者提出了一個通用的框架，從而可以表示所有的 CTR 模型，該框架如下：

該模型首先通過一個輸入層讀取來自不同域的信息，并映射為 one-hot 的向量，然后使用一個嵌入表示層，將該表示轉化為稠密向量表示。

在此基礎上，使用特征交互層，計算不同特征之間的交互信息，然后通過一個聚合層聚合不同交互形式下的信息，最后使用一個空間 transformer 層，最終得到效用分數。

而已有的 CTR 模型嵌入到該框架中的具體形式如下：

那么在此基礎上，作者提出了新的基于自注意力機制的擴展 CTR 預估模型 SAM，并計算三種形式的變種的時間復雜度和空間復雜度如下：

實驗

本文的實驗在已有的真實數據集上進行，以驗證本文的復現效果以及提出的新的擴展框架的效果，最后發現，的確該方法可以融合已有的CTR預估框架，且基于自注意力機制的模型可以取得更準確的效果，從而說明了注意力機制的有效性。

結論

在這項工作中，作者提出了一個 CTR 預測的通用框架，它對應于基于神經網絡模型的個體決策過程。我們還嘗試研究注意力機制在 CTR 預測模型中是否至關重要。發現大多數CTR預測模型可以看作是應用于特征交互的通用注意力機制。從這個意義上說，注意力機制對于 CTR 預測模型很重要。

此外，作者基于本文的框架擴展了現有的 CTR 模型，并提出了三種類型的 SAM，其中 SAM1 和 SAM2 模型分別是 LR 和 FM 模型的擴展，SAM3 對應于 Transformer 中的 self-attention 模型與原始模型-場嵌入擴展到成對場嵌入。根據在兩個數據集上的實驗結果，雖然本文的擴展可以獲得相當有競爭力的結果，但 SAM3 模型并沒有表現出其顯著的優勢。

作者還對 SAM3A 模型中的 SAM 層數進行了更深入的分析，發現深度并不總是能帶來更好的性能。這在一定程度上也說明了 CTR 預測問題不同于 NLP 任務，高階特征交互的效果并不能帶來太大的提升。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的SIGIR 2021｜重新思考Attention在CTR预估中作用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。