作者：一元，公眾號：煉丹筆記

MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction(CIKM20)

點擊率預(yù)測是在線廣告系統(tǒng)中的一項重要任務(wù)。現(xiàn)有的工作主要針對單域CTR預(yù)測問題和模型方面，如特征交互、用戶行為歷史和上下文信息。然而，廣告通常以自然內(nèi)容顯示，這為cross domain的CTR預(yù)測提供了機會。本文解決了這個問題，并利用輔助數(shù)據(jù)，從源領(lǐng)域，以提高CTR預(yù)測性能的目標(biāo)領(lǐng)域。

我們的研究是基于UC Toutiao（一個與UC瀏覽器應(yīng)用程序集成的新聞訂閱服務(wù)，每天為數(shù)億用戶提供服務(wù)），其中源域是新聞，目標(biāo)域是廣告。為了有效地利用新聞數(shù)據(jù)預(yù)測廣告的點擊率，我們提出了混合興趣網(wǎng)絡(luò)（MiNet），它聯(lián)合建模了三個領(lǐng)域用戶興趣類型：

• 跨域的長期興趣;
• 源域的短期興趣;
• 目標(biāo)域的短期興趣。

MiNet包含兩個層次的attention，其中item-level的attention可以自適應(yīng)地從點擊的新聞/廣告中提取有用信息，interest-level可以自適應(yīng)地融合不同的興趣表示。離線實驗表明，MiNet的預(yù)測性能優(yōu)于幾種最新的CTR預(yù)測方法。我們在UC頭條部署了MiNet，A/B測試結(jié)果表明在線CTR也得到了實質(zhì)性的改善。

為了有效的利用cross-domain的數(shù)據(jù)，本文考慮了三類用戶興趣：

• Long-term interst across domain: 每個用戶都有自己的個人資料功能，如用戶ID、年齡組、性別和城市。這些配置文件特性反映了用戶的長期內(nèi)在興趣。基于跨域數(shù)據(jù)（即用戶與之交互的所有新聞和廣告），我們能夠了解到語義更豐富、統(tǒng)計上更可靠的用戶特征嵌入。
• Short-term interst from the source domain:對于要預(yù)測其CTR的每個目標(biāo)廣告，在源域中存在相應(yīng)的短期用戶行為（例如，用戶剛剛觀看的新聞）。雖然一條新聞的內(nèi)容可能與目標(biāo)廣告的內(nèi)容完全不同，但它們之間可能存在一定的相關(guān)性。例如，一個用戶在觀看了一些娛樂星聞之后有很大的概率點擊一個游戲廣告，基于這樣的關(guān)系，我們就可以從源域中的有用的信息遷移到目標(biāo)域中。
• Short-term interest in the target domain：對于每個目標(biāo)廣告，目標(biāo)域中也存在相應(yīng)的短期用戶行為。用戶最近點擊的廣告可能對用戶在短期內(nèi)點擊的廣告有很大的影響。

并不是所有點擊的新聞都表示目標(biāo)廣告的點擊率；

不是所有點擊的廣告都是關(guān)于目標(biāo)廣告點擊率的信息；

模型必須能夠?qū)⑿畔男侣剛鬟f到廣告;

這三種用戶興趣的相對重要性在不同的目標(biāo)廣告中可能有所不同;例如，如果目標(biāo)廣告與最近點擊的廣告相似，那么目標(biāo)領(lǐng)域的短期利益應(yīng)該更重要；如果目標(biāo)廣告與最近點擊的新聞和廣告都無關(guān)，那么長期利益應(yīng)該更重要。

目標(biāo)廣告和用戶感興趣的三種類型的廣告的表示可能具有不同的維度（由于特征的不同數(shù)量）。尺寸差異可能會自然地增強或減弱某些表示的影響，這是不希望看到的。

為了應(yīng)對這些挑戰(zhàn)，我們提出了混合興趣網(wǎng)絡(luò)（MiNet），其結(jié)構(gòu)下所示。在MiNet中，

• 用戶的長期興趣通過用戶特征嵌入Pu的串聯(lián)建模，Pu是基于跨領(lǐng)域數(shù)據(jù)的聯(lián)合學(xué)習(xí)，實現(xiàn)了知識的傳遞；
• 來自源領(lǐng)域的短期興趣通過向量as來建模，as聚合了最近點擊的新聞信息；
• 目標(biāo)域中的短期興趣是通過向量at來建模的，它聚集了最近點擊的廣告的信息。

MiNet包含了了兩種不同的attention(item-level的和interest-level的),

• item-level的attention同時用于source-domain以及target-domain，我們希望通過此可以直接從source domain和target domain中點擊的新聞和廣告中抽取有用的信息；(解決上述的挑戰(zhàn)1和2)
• transfer的矩陣被引入用來從新聞到廣告的遷移;(解決上述的挑戰(zhàn)3)
• long-term的用戶興趣是基于cross-domain的數(shù)據(jù)學(xué)習(xí)的，也可以進行知識遷移(解決上述的挑戰(zhàn)3)；
• 引入interest-level的attention動態(tài)調(diào)整三類用戶興趣的重要性, 關(guān)于不同的目標(biāo)廣告(解決上述的挑戰(zhàn)4);
• 線下和線上的實驗結(jié)果表明了MiNet的有效性;

在線廣告點擊率預(yù)測的任務(wù)是建立一個預(yù)測模型來估計用戶點擊特定廣告的概率，每個實例可以用用戶信息（“用戶ID”、“城市”、“年齡”等）和廣告信息（“創(chuàng)意ID”、“活動ID”、“標(biāo)題”等）以及個字段來描述。字段的實例化是一個特性。例如，“用戶ID”字段可以包含諸如“2135147”和“3467291”之類的特征。表1顯示了一些示例。

• 我們定義cross-domain CTR預(yù)測任務(wù)為從source domain中利用數(shù)據(jù)來提升目標(biāo)域的CTR預(yù)估。

在新聞提要廣告中（如圖1所示的UC Toutiao），源域是自然新聞提要，目標(biāo)域是廣告。在這個場景中，源域和目標(biāo)域共享同一組用戶，但是沒有重疊項。

給定一個用戶，對于在目標(biāo)域中預(yù)測其CTR的每個目標(biāo)廣告，用戶通常在源域中查看新聞片段。雖然一條新聞的內(nèi)容可能與目標(biāo)廣告的內(nèi)容完全不同，但它們之間可能存在一定的相關(guān)性。例如，用戶在觀看一些娛樂新聞后很有可能點擊游戲廣告。基于這些關(guān)系，我們可以將有用的知識從源領(lǐng)域轉(zhuǎn)移到目標(biāo)領(lǐng)域。

item-level的Attention

給定一個用戶，對于每個要預(yù)測其CTR的目標(biāo)廣告，該用戶在目標(biāo)域中也有最近的行為。用戶最近點擊的廣告可能對用戶在短期內(nèi)點擊的廣告有很大的影響。

1. Effectiveness

• MiNet不僅考慮了用戶的長期興趣，還考慮了用戶對這兩個領(lǐng)域的短期興趣。通過適當(dāng)?shù)亟M合這些不同的興趣信號，MiNet算法的性能明顯優(yōu)于其他方法.

2. Ablation Study: Level of Attention

• 無論是item-level attention還是interest-level attention都能提高AUC，兩種注意水平的使用都能提高AUC。此外，“興趣-Attention（sigmoid）”的表現(xiàn)比“興趣-Attention（exp）”差得多。這是因為不恰當(dāng)?shù)募せ詈瘮?shù)不能有效地解決維度偏差問題。這些結(jié)果證明了所提出的層次注意機制的有效性。

3. Ablation Study: Effect of Modeling Different Types of User Interest

• 當(dāng)在MiNet中綜合考慮所有這些因素時，我們得到了最高的AUC，表明不同類型的興趣可以互補，聯(lián)合建模可以得到最佳和更健壯的性能。

4. Online Deployment

• 在線A/B測試表明，與DSTN相比，MiNet使在線CTR提高了4.12%。

本文研究了在線廣告的跨域CTR預(yù)測問題。我們提出了一種新的方法，稱為混合興趣網(wǎng)絡(luò)（MiNet），它模擬了三種類型的用戶興趣：

• 跨域的長期興趣;
• 源域的短期興趣;
• 目標(biāo)域的短期興趣。

MiNet包含兩個level的注意，其中item-level attention可以動態(tài)地從最近點擊的新聞/廣告中提取有用信息，interest-level attention可以自適應(yīng)地調(diào)整不同用戶興趣信號的重要性。離線實驗驗證了三種用戶興趣模型的有效性和分層注意的使用。在線A/B測試結(jié)果也驗證了該模型在實際網(wǎng)絡(luò)廣告CTR預(yù)測任務(wù)中的有效性。

MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction：https://arxiv.org/pdf/2008.02974.pdf

更多干貨，請關(guān)注微信公眾號：煉丹筆記

傳送門：

跨域CTR預(yù)估，帶你一飛沖天！

總結(jié)

以上是生活随笔為你收集整理的推荐搜索炼丹笔记：MiNet阿里跨域点击率CTR预估的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。