文 | 水哥
源 | 知乎

saying

1. 把點(diǎn)擊多的item曝光提升是推薦模型的基本能力，也是基本要求。后驗(yàn)不好的曝光提高也可能是好模型，后驗(yàn)好的曝光不提高，可以開除推薦模型了
2. 在起量階段，各路item需要爭寵，誰能最快博取精排的歡心，誰就有可能在冷啟動階段占據(jù)壓倒性優(yōu)勢
3. 廣告主很像dota教練，他們深信一個原則：陣容（素材）沒問題，下把干（投放）回來
4. 粗排沒別的任務(wù)，就是向上管理

上一講我們提到，整個鏈路是一個大漏斗，前面召回入口最多，最后精排僅僅輸出一點(diǎn)點(diǎn)，在這一講中我們會對漏斗的連接部分做更多的分析。包括上一講中很多同學(xué)都想問的粗排，召回的學(xué)習(xí)目標(biāo)，評價標(biāo)準(zhǔn)分別是什么，也會在這一講和下一講中詳細(xì)講解。

首先我們要分析漏斗的各個環(huán)節(jié)，學(xué)習(xí)的目標(biāo)是什么。雖然整個鏈路正著往后推理，但是改進(jìn)的時候往往是倒著往前的，原因我們在上一講提到過。假如想加某種特征，那么先是精排驗(yàn)證有效，然后粗排。召回可以不按照這個規(guī)則走，因?yàn)檎倩睾芏鄷r候是覺得上面的隊(duì)列里缺少哪一方面的東西，才多一路的。

各個環(huán)節(jié)的學(xué)習(xí)目標(biāo)及問題

精排的學(xué)習(xí)目標(biāo)：后驗(yàn)

以點(diǎn)擊率（CTR）預(yù)估為例，精排學(xué)習(xí)的目標(biāo)的范圍一般是所有存在曝光的樣本。有曝光但沒有點(diǎn)擊的是負(fù)樣本，有曝光也有點(diǎn)擊的就是正樣本。在其他目標(biāo)中可以以此類推：比如轉(zhuǎn)化率（CVR）預(yù)估，點(diǎn)擊了沒轉(zhuǎn)化的是負(fù)樣本，點(diǎn)擊了，也轉(zhuǎn)化了就是正樣本。

精排的評估方式：AUC/GAUC

說白了，精排還是一個排序模型，排序模型輸出的結(jié)果，線下都可以由AUC來進(jìn)行評估。在[1]這篇論文中，阿里的工程師們提出了另一個評價指標(biāo)：Group AUC（GAUC），如下：

在這個指標(biāo)中，w代表的是曝光數(shù)或者點(diǎn)擊數(shù)。這個指標(biāo)是對用戶的行為做了加權(quán)，比較偏向高活躍的用戶。

線上指標(biāo)則根據(jù)業(yè)務(wù)各有不同，比如在短視頻平臺上，推薦看的就是觀看時長，而廣告看的則是eCPM（出價乘以CTR乘以CVR）。在電商平臺上看的是GMV（Gross Merchandise Volume，商品交易總額）。線上提升是由線下的一個一個模型提升帶來的。比如在廣告場景下，既要提升CTR，也要提升CVR，也要改善出價機(jī)制。推薦場景下，既要提升對于觀看時長的預(yù)估，也要提升用戶正負(fù)反饋（比如點(diǎn)贊關(guān)注這些）的預(yù)估。

精排的樣本組成

在精排中，每次行為都是一條樣本，最后實(shí)際上是一個分類任務(wù)，分為“點(diǎn)擊”或者“不點(diǎn)擊”的二分類。在一個點(diǎn)擊率預(yù)估模型中，正樣本是非常稀疏的。對于模型來說，當(dāng)他遇到正樣本的時候，它必須把這個結(jié)果反映到當(dāng)前的用戶和item上。也就是說，相比于沒有點(diǎn)擊的樣本，這個item會得到模型的認(rèn)可。那么在接下來的預(yù)估中，這個item自然會被更加青睞，排序更加靠前。這樣就使得item的曝光能力提升。這樣我們就歸納出了推薦系統(tǒng)的一個基本性質(zhì)：正反饋的能力。指的是對于一開始后驗(yàn)較好的item，他們的排序更靠前，曝光會進(jìn)一步提升。如果去掉一開始這三個字，這句話就是一句廢話。但是所謂“一開始”就表明該item不一定是一個真正好的素材，而這會引發(fā)下面的問題。

（這里留一個思考題，這個正反饋會無限地持續(xù)下去嗎？答案我們在未來專門講item的生命周期中來揭曉）

精排的問題1：ground truth不夠置信

我們想評價一個item的質(zhì)量是否好，其實(shí)是需要一定量的曝光量才能說明。但是系統(tǒng)整體的曝光機(jī)會往往是有限的。給你的曝光多了必然意味著對他的曝光機(jī)會少了。因此有很多item在沒有得到充分曝光的情況下就被判了死刑。有的item可能不錯，但是在一開始因?yàn)橛悬c(diǎn)隨機(jī)性，或者精排沒預(yù)估的比較準(zhǔn)，導(dǎo)致最初的量沒起來。當(dāng)最初的量沒起來的時候，別的起來了的item迅速博取了精排的歡心，這個不幸運(yùn)的item就只能被打入冷宮了。如下圖

這個問題不僅我們知道，廣告主們也知道。他們不僅知道，他們還會不服。他們當(dāng)然會優(yōu)化素材，但同時也會進(jìn)行大量的“重開”，即同樣的素材內(nèi)容，換一個id再來一遍（當(dāng)id變成新的，系統(tǒng)就會把它當(dāng)做新的重新開始，這涉及到后面要講的冷啟動問題）。這就是所謂的“陣容沒問題，下把干回來”。當(dāng)大量的廣告主這樣做了之后，平臺資源就會被極大的浪費(fèi)，因此平臺也會做各種方法來阻止這件事情。所以我們也能看到，平臺和金主爸爸有時候也存在一種博弈。

精排的問題2：自嗨

從上面的敘述中，可以看出精排學(xué)習(xí)的目標(biāo)往往有一個共同的特點(diǎn)，就是正負(fù)樣本都來自于已經(jīng)曝光的樣本，而曝光與否是誰決定的呢？是精排自己決定的。這就造成了“自己學(xué)自己”的問題，學(xué)習(xí)的目標(biāo)本來就是自己產(chǎn)生的，在自己原本的大方向上有可能一條路走到黑。設(shè)想有AB兩個item，實(shí)際上B是一個更優(yōu)秀的素材，因?yàn)橄到y(tǒng)隨機(jī)性或者精排的缺陷，A獲得了更多的曝光量，而B只獲得了很少的曝光量。而B恰好在這幾個曝光量中都沒獲得什么正向反饋。那接下來B就慘了，根據(jù)我們上面說的正反饋特性，A的曝光會越來越高，正向的點(diǎn)擊數(shù)據(jù)越來越多，而B可能就暴斃了。這個情況如果不斷惡化，推薦系統(tǒng)可能會陷入局部最優(yōu)中出不來，也就是我們說的“自嗨”：它認(rèn)為A好，所以給了A更好的條件，而A自然獲得了更好的反饋，又再一次驗(yàn)證了系統(tǒng)的“正確性”。最終在A比B好的錯誤路線上越走越遠(yuǎn)。

那么有什么辦法可以防止這個情況？一般來說有兩種方法。第一種是策略的干涉。有的策略會強(qiáng)制一定的探索量，比如上面的B曝光不能低于100，這樣會緩解一些學(xué)習(xí)錯誤的問題。可能還是有個別item的序會不符合，但是整體上發(fā)生錯誤的概率會變低。另一種做法是開辟“隨機(jī)流量”，即有一定比例的請求不通過任何模型預(yù)估，直接隨機(jī)展示看看點(diǎn)擊率。隨機(jī)流量的結(jié)果一方面可以認(rèn)為是完全真實(shí)的訓(xùn)練樣本，另一方面也可以對照當(dāng)前模型的效果。

---

講完了精排部分，我們再來講講粗排部分

粗排的學(xué)習(xí)目標(biāo)：精排

naive的方案中，粗排也可以直接學(xué)習(xí)后驗(yàn)數(shù)據(jù)。但這不是一個好主意，你又決定不了輸出，學(xué)精排（領(lǐng)導(dǎo)）的做事方法，你優(yōu)化的目標(biāo)精排（領(lǐng)導(dǎo)）不認(rèn)，還沒干好自己的本職工作（向上管理）。畢竟后驗(yàn)是精排控制的，粗排只能優(yōu)化級聯(lián)的下一端。

粗排的學(xué)習(xí)目標(biāo)應(yīng)該是精排的輸出。說白了，粗排只是一個精排的影子，就像上一講提到的，要不是精排吃不下，也不會需要粗排。因此粗排就是跟精排保持步調(diào)一致。如果粗排排序高的，精排排序也高，那么粗排就很好的完成了“幫助精排緩沖”的目的。反之，如果你排序低的，精排反而排的高了，那你不就是跟領(lǐng)導(dǎo)對著干嘛。

粗排的樣本組成+學(xué)習(xí)方法：Learning to Rank

對于粗排，我們需要兩個，或者一組樣本。假如精排的隊(duì)列有100個排好序的樣本，我們可以在前10里面取出一個A，作為好樣本。再從后10個取出一個B當(dāng)做壞樣本。粗排的目標(biāo)，就是要讓自己也認(rèn)為A好于B。越是這樣，它就和精排越像，就越能幫精排分擔(dān)壓力。

此時不是一個分類任務(wù)了，而是learning to rank的一種方法，pairwise的學(xué)習(xí)。目標(biāo)是讓上面的A和B之間差距盡可能大（還可以更徹底的拿出更多樣本，比如精排輸出每10個里面取一個，得到一個長度為10的list，按照list-wise的方式去學(xué)習(xí)。list-wise比較復(fù)雜，后面再講）。這里先提一下pairwise如何實(shí)現(xiàn)。我們把兩個樣本記為 和，做差之后帶入一個binary cross entropy的loss：

其中 代表sigmoid。假如第一個樣本更好， ，只有前半部分被激活。此時loss最小就要求 比 大的越多越好。反之亦然。

注意在這樣的設(shè)計下，我們就把沒有曝光的樣本納入訓(xùn)練范圍了。粗排入口比精排大，訓(xùn)練樣本也比它多，這就很合理。

最后用一張圖來總結(jié)下：

粗排的評估標(biāo)準(zhǔn)：精排

既然粗排學(xué)習(xí)的目標(biāo)是精排的輸出，那么粗排的評估自然也就是學(xué)精排學(xué)得像不像。在線下可以有兩種指標(biāo)來評估。一種是NDCG，它是一種評價兩個排序相似度的指標(biāo)，就是把精排輸出的樣本讓粗排過一遍，看看粗排輸出的排序結(jié)果和精排有多像。

NDCG的具體計算方式：yone：NDCG及實(shí)現(xiàn)[1]

第二種評估方式是召回率，或者重疊度（也可以用IOU啥的）。即精排輸出的前K，有多少在粗排輸出的前K里面。這個也是用來評價兩個模型輸出像不像。

相比之下，NDCG是一種更細(xì)致的指標(biāo)。我們可以認(rèn)為NDCG不僅僅刻畫了topK的召回，也刻畫了top K-1，K-2……等等情況。

講完粗排之后發(fā)現(xiàn)要講的東西太多了，寫不下了，我們留（鴿）到下一講吧

下期預(yù)告

推薦系統(tǒng)全鏈路（3）：召回粗排精排-級聯(lián)漏斗（下）

往期回顧

1.召回 粗排 精排，如何各司其職？

2.拍不完的腦袋：推薦系統(tǒng)打壓保送重排策略

3.簡單復(fù)讀機(jī)LR如何成為推薦系統(tǒng)精排之鋒？

后臺回復(fù)關(guān)鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復(fù)關(guān)鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

?

[1]. yone：NDCG及實(shí)現(xiàn) https://zhuanlan.zhihu.com/p/84206752

[2]. Optimized Cost per Click in Taobao Display Advertising

總結(jié)

以上是生活随笔為你收集整理的召回粗排精排-级联漏斗（上）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。