?PaperWeekly 原創(chuàng) ·?作者?|?金金

單位?|?阿里巴巴研究實(shí)習(xí)生

研究方向?|?推薦系統(tǒng)

論文標(biāo)題：

Looking at CTR Prediction Again: Is Attention All You Need?

論文來源：

SIGIR 2021

論文鏈接：

https://arxiv.org/abs/2105.05563

簡(jiǎn)介

點(diǎn)擊率（CTR）預(yù)測(cè)是網(wǎng)絡(luò)搜索、推薦系統(tǒng)和在線廣告展示中的一個(gè)關(guān)鍵問題。學(xué)習(xí)良好的特征交互對(duì)于反映用戶對(duì)物品的偏好至關(guān)重要。許多基于深度學(xué)習(xí)的 CTR 預(yù)測(cè)模型已經(jīng)被提出，但研究人員通常只關(guān)注是否達(dá)到了 state-of-the-art 的性能，而忽略了整個(gè)框架是否合理。

在這項(xiàng)工作中，作者使用經(jīng)濟(jì)學(xué)中的離散選擇模型重新定義了 CTR 預(yù)測(cè)問題，并提出了一個(gè)基于自注意力機(jī)制的通用神經(jīng)網(wǎng)絡(luò)框架。發(fā)現(xiàn)大多數(shù)現(xiàn)有的 CTR 預(yù)測(cè)模型與本文提出的通用框架一致。作者還檢查本文提出的框架的表達(dá)能力和模型復(fù)雜性，以及對(duì)一些現(xiàn)有模型的潛在擴(kuò)展。最后，本文通過公共數(shù)據(jù)集上的一些實(shí)驗(yàn)結(jié)果來展示和驗(yàn)證作者的見解。

模型

本文中，作者提出了一個(gè)通用的框架，從而可以表示所有的 CTR 模型，該框架如下：

該模型首先通過一個(gè)輸入層讀取來自不同域的信息，并映射為 one-hot 的向量，然后使用一個(gè)嵌入表示層，將該表示轉(zhuǎn)化為稠密向量表示。

在此基礎(chǔ)上，使用特征交互層，計(jì)算不同特征之間的交互信息，然后通過一個(gè)聚合層聚合不同交互形式下的信息，最后使用一個(gè)空間 transformer 層，最終得到效用分?jǐn)?shù)。

而已有的 CTR 模型嵌入到該框架中的具體形式如下：

那么在此基礎(chǔ)上，作者提出了新的基于自注意力機(jī)制的擴(kuò)展 CTR 預(yù)估模型 SAM，并計(jì)算三種形式的變種的時(shí)間復(fù)雜度和空間復(fù)雜度如下：

實(shí)驗(yàn)

本文的實(shí)驗(yàn)在已有的真實(shí)數(shù)據(jù)集上進(jìn)行，以驗(yàn)證本文的復(fù)現(xiàn)效果以及提出的新的擴(kuò)展框架的效果，最后發(fā)現(xiàn)，的確該方法可以融合已有的CTR預(yù)估框架，且基于自注意力機(jī)制的模型可以取得更準(zhǔn)確的效果，從而說明了注意力機(jī)制的有效性。

結(jié)論

在這項(xiàng)工作中，作者提出了一個(gè) CTR 預(yù)測(cè)的通用框架，它對(duì)應(yīng)于基于神經(jīng)網(wǎng)絡(luò)模型的個(gè)體決策過程。我們還嘗試研究注意力機(jī)制在 CTR 預(yù)測(cè)模型中是否至關(guān)重要。發(fā)現(xiàn)大多數(shù)CTR預(yù)測(cè)模型可以看作是應(yīng)用于特征交互的通用注意力機(jī)制。從這個(gè)意義上說，注意力機(jī)制對(duì)于 CTR 預(yù)測(cè)模型很重要。

此外，作者基于本文的框架擴(kuò)展了現(xiàn)有的 CTR 模型，并提出了三種類型的 SAM，其中 SAM1 和 SAM2 模型分別是 LR 和 FM 模型的擴(kuò)展，SAM3 對(duì)應(yīng)于 Transformer 中的 self-attention 模型與原始模型-場(chǎng)嵌入擴(kuò)展到成對(duì)場(chǎng)嵌入。根據(jù)在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，雖然本文的擴(kuò)展可以獲得相當(dāng)有競(jìng)爭(zhēng)力的結(jié)果，但 SAM3 模型并沒有表現(xiàn)出其顯著的優(yōu)勢(shì)。

作者還對(duì) SAM3A 模型中的 SAM 層數(shù)進(jìn)行了更深入的分析，發(fā)現(xiàn)深度并不總是能帶來更好的性能。這在一定程度上也說明了 CTR 預(yù)測(cè)問題不同于 NLP 任務(wù)，高階特征交互的效果并不能帶來太大的提升。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

?????稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的SIGIR 2021｜重新思考Attention在CTR预估中作用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。