來(lái)源：DataFunTalk本文約6500字，建議閱讀15分鐘?本文將介紹校準(zhǔn)算法在阿里媽媽展示廣告中的應(yīng)用和演進(jìn)，將從背景介紹、校準(zhǔn)算法演進(jìn)、工程實(shí)踐以及總結(jié)展望四個(gè)方面展開(kāi)介紹。

分享嘉賓：黃思光 阿里 高級(jí)算法工程師

[ 導(dǎo)讀 ]校準(zhǔn)技術(shù)是可信機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究分支，它能夠改善機(jī)器學(xué)習(xí)模型在預(yù)估準(zhǔn)確度和置信度方面的不確定性，在醫(yī)療診斷、氣象預(yù)測(cè)、自動(dòng)駕駛以及計(jì)算廣告領(lǐng)域具有重要的應(yīng)用。本文將介紹校準(zhǔn)算法在阿里媽媽展示廣告中的應(yīng)用和演進(jìn)，將從背景介紹、校準(zhǔn)算法演進(jìn)、工程實(shí)踐以及總結(jié)展望四個(gè)方面展開(kāi)介紹。

01?背景介紹

首先介紹校準(zhǔn)的概念，并舉例說(shuō)明在計(jì)算廣告中為什么需要對(duì)預(yù)估值進(jìn)行校準(zhǔn)。

1. 預(yù)估技術(shù)的挑戰(zhàn)

用戶(hù)行為概率預(yù)估技術(shù)（點(diǎn)擊率、轉(zhuǎn)化率、短視頻3s曝光率等）是搜索、推薦以及計(jì)算廣告領(lǐng)域的核心技術(shù)能力。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，預(yù)估模型在過(guò)去幾年中也經(jīng)歷了快速的迭代，不斷向更龐大、更精細(xì)、更準(zhǔn)確的方向演進(jìn)。但是預(yù)估模型真的變得更準(zhǔn)確了嗎？不失一般性，我們以計(jì)算廣告中的點(diǎn)擊率預(yù)估模型為例，思考以下幾個(gè)問(wèn)題：

① 用戶(hù)的真實(shí)點(diǎn)擊概率是可以被準(zhǔn)確觀測(cè)的嗎？

點(diǎn)擊率是指“用戶(hù)在某個(gè)時(shí)刻對(duì)曝光廣告進(jìn)行點(diǎn)擊的概率”。理論上每條流量都存在一個(gè)潛在的點(diǎn)擊概率，從統(tǒng)計(jì)意義上來(lái)講，如果存在平行空間將廣告曝光給某個(gè)用戶(hù)的事件重復(fù)多次，則可以根據(jù)大數(shù)定律將用戶(hù)的點(diǎn)擊概率估算出來(lái)。但是在真實(shí)世界中，我們能且僅能觀察到事件的單次發(fā)生（點(diǎn)擊與否），所以是無(wú)法準(zhǔn)確觀測(cè)到任意樣本的真實(shí)點(diǎn)擊概率的。

② 點(diǎn)擊率預(yù)估模型的準(zhǔn)確性偏差原因是什么？

因?yàn)檎鎸?shí)點(diǎn)擊概率是不可以被準(zhǔn)確觀測(cè)到的，所以點(diǎn)擊率預(yù)估模型也不能直接對(duì)點(diǎn)擊率進(jìn)行回歸預(yù)測(cè)。現(xiàn)有點(diǎn)擊率預(yù)估模型通常從統(tǒng)計(jì)視角對(duì)問(wèn)題進(jìn)行抽象和簡(jiǎn)化，假設(shè)特征和點(diǎn)擊事件的聯(lián)合分布服從某種函數(shù)形式（不同模型的假設(shè)分布不同），然后以Data-Driven的方式訓(xùn)練模型，實(shí)現(xiàn)對(duì)點(diǎn)擊率的預(yù)測(cè)。但是該預(yù)測(cè)值是對(duì)真實(shí)點(diǎn)擊概率的猜測(cè)，其預(yù)估偏差根本取決于分布假設(shè)與實(shí)際情況的差異程度，并受限于模型的真實(shí)學(xué)習(xí)效率。

③ 預(yù)估模型的準(zhǔn)確性如何度量，AUC指標(biāo)是足夠的嗎？

我們無(wú)法對(duì)預(yù)測(cè)結(jié)果從單樣本粒度來(lái)度量其準(zhǔn)確性（真實(shí)點(diǎn)擊概率的不可預(yù)測(cè)性）。AUC是一種退而求其次從宏觀層面對(duì)樣本的比較關(guān)系進(jìn)行度量的指標(biāo)，反映了預(yù)測(cè)序關(guān)系對(duì)真實(shí)序關(guān)系的逼近程度。但是它無(wú)法表征預(yù)估值的“大小準(zhǔn)確性”。大小準(zhǔn)確性是指，如果廣告點(diǎn)擊率是1%，則意味著廣告曝光10000次后將有100次被真實(shí)點(diǎn)擊。如果低于100次，則意味著模型高估，反之則意味著模型低估。所以?xún)H僅考慮序關(guān)系是不全面的，校準(zhǔn)技術(shù)在本質(zhì)上是一種在現(xiàn)有模型基礎(chǔ)上進(jìn)一步優(yōu)化預(yù)估值大小準(zhǔn)確性，使其盡可能逼近（近似）真實(shí)值的技術(shù)。

2. 預(yù)估值大小準(zhǔn)確性在計(jì)算廣告中的必要性

在計(jì)算廣告中，模型預(yù)估值大小準(zhǔn)確性的優(yōu)化（預(yù)估校準(zhǔn)）在出價(jià)準(zhǔn)確性、穩(wěn)定性（包括算法出價(jià)oCPX/Auto-Bidding等）、竟價(jià)公平性，計(jì)劃冷啟動(dòng)等方面發(fā)揮重要作用。以下舉兩個(gè)簡(jiǎn)單的例子進(jìn)行簡(jiǎn)要說(shuō)明：

• 例1：純CPC競(jìng)價(jià)的廣告模式
  

如上圖所示，廣告競(jìng)價(jià)排名由平臺(tái)期望收益eCPM決定，ad3的pCTR為1.0%，排序?yàn)?。如果ad3的pCTR被高估30%，則eCPM將從10變?yōu)?3從而獲得展示機(jī)會(huì)，從而導(dǎo)致ad3的拿量能力變大，但平臺(tái)的期望收入降低。

• 例2：CPC(AD2&AD4)&CPM(AD1&AD3)廣告混競(jìng)的模式

如上圖所示，如果AD2的pCTR從1.1%被高估到1.2%，那么在GSP拍賣(mài)機(jī)制下，仍然是AD1贏得曝光機(jī)會(huì)，但是其扣費(fèi)卻從11變?yōu)?2，導(dǎo)致AD1被多扣費(fèi)，平臺(tái)收入增加；反之，AD1如果從1.1%被低估為1.0%，則AD1會(huì)被少扣費(fèi)，平臺(tái)收入產(chǎn)生折損。

以上兩個(gè)例子說(shuō)明在模型預(yù)估值大小發(fā)生偏差的情況下會(huì)明顯導(dǎo)致廣告主或平臺(tái)的收益受損。除此之外，隨著廣告業(yè)務(wù)形態(tài)的發(fā)展，更多的場(chǎng)景對(duì)模型預(yù)估值大小準(zhǔn)確性提出了挑戰(zhàn)，包括：① 多種Bid類(lèi)型混競(jìng)：CPC、CPM、算法智能出價(jià)（Auto-Bid）、智能調(diào)價(jià)（OCPX）等Bidding方式繁榮發(fā)展，混合競(jìng)價(jià)，預(yù)估大小準(zhǔn)確性和穩(wěn)定性直接影響出價(jià)；② 多物料混合：圖文、直播、短視頻等各類(lèi)內(nèi)容形態(tài)廣告混合，不同物料上的預(yù)估水平參差不齊；③ 廣告與推薦流量混排：廣告和推薦（自然）內(nèi)容有各自獨(dú)立的打分邏輯，預(yù)估大小的量綱和分布統(tǒng)一是能夠保證混排公平性和高效性的基礎(chǔ)。所以，預(yù)估值大小的準(zhǔn)確性在廣告領(lǐng)域至關(guān)重要。

3. 校準(zhǔn)目標(biāo)及其相關(guān)工作

• ① 校準(zhǔn)目標(biāo)

校準(zhǔn)技術(shù)的目標(biāo)是：使用戶(hù)行為的預(yù)估值盡可能逼近真實(shí)概率值。具體形式化表示如下，其中X為基礎(chǔ)預(yù)估模型的輸出空間（如預(yù)估點(diǎn)擊率），Y為實(shí)際用戶(hù)行為（如點(diǎn)擊與否），f(x)為校準(zhǔn)函數(shù)，f*為最優(yōu)校準(zhǔn)函數(shù)。在實(shí)際應(yīng)用中，優(yōu)化預(yù)估值大小準(zhǔn)確性的同時(shí)，也會(huì)保證整體排序水平不會(huì)下降。

• ② 相關(guān)工作

現(xiàn)有預(yù)估模型在預(yù)估值上的不確定性，導(dǎo)致在實(shí)際應(yīng)用中缺乏可信度（trustworthiness）和可解釋性（interpretability），會(huì)導(dǎo)致次優(yōu)結(jié)果甚至錯(cuò)誤決策的風(fēng)險(xiǎn)，校準(zhǔn)技術(shù)最早在氣象預(yù)報(bào)和醫(yī)療診斷領(lǐng)域被提出和應(yīng)用，近幾年進(jìn)一步延伸到自動(dòng)駕駛和計(jì)算廣告領(lǐng)域。具體校準(zhǔn)方法總的來(lái)講可以分為兩大類(lèi)：

第一類(lèi)是嘗試將導(dǎo)致模型預(yù)估偏差的因素（如假設(shè)分布偏差等各類(lèi)先驗(yàn)信息）反向引入特征處理或損失函數(shù)中，端到端優(yōu)化預(yù)估值大小。

第二類(lèi)是后處理方法（Post-processing），即在基礎(chǔ)預(yù)估模型的基礎(chǔ)上串接一個(gè)校準(zhǔn)模塊，以后處理的方式得到校準(zhǔn)結(jié)果。這種方式更具靈活性，是目前研究和應(yīng)用最為廣泛的形式。常見(jiàn)的后處理校準(zhǔn)方法包括：Histogram Binning（將樣本分為多個(gè)桶，每個(gè)桶內(nèi)的樣本Label均值作為該桶每個(gè)樣本的校準(zhǔn)結(jié)果）、Isotonic Regression（學(xué)習(xí)一個(gè)保序函數(shù)作為校準(zhǔn)函數(shù)，它能夠保證校準(zhǔn)后的結(jié)果和基礎(chǔ)模型預(yù)估值的排序能力是一致的）以及Scaling方法(基于某種參數(shù)化分布函數(shù)學(xué)習(xí)預(yù)估值到校準(zhǔn)值的映射)等。近幾年，也發(fā)展出上述方法的結(jié)合算法，并對(duì)校準(zhǔn)技術(shù)進(jìn)行了理論驗(yàn)證，本文不做過(guò)多展開(kāi)，詳細(xì)可參考：

https://github.com/huangsg1/uncertainty-calibration

阿里媽媽的校準(zhǔn)技術(shù)采用的是后處理方式，主要考慮以下兩點(diǎn)原因：1.我們希望在不改變已有基礎(chǔ)預(yù)估模型的前提下，將校準(zhǔn)技術(shù)解耦，做成靈活可插拔的形式；2.端到端的方法難以快速響應(yīng)線(xiàn)上分布的劇烈變化，在阿里大促活動(dòng)中線(xiàn)上環(huán)境的頻繁變化是常態(tài)，更需要具備輕便靈敏的模型校準(zhǔn)能力。

• ③ 后處理方法的關(guān)鍵技術(shù)問(wèn)題

前面提到在實(shí)際環(huán)境中是無(wú)法觀測(cè)到樣本的真實(shí)點(diǎn)擊概率的。但是我們可以采用近似的方法去逼近：針對(duì)觀測(cè)樣本，將各類(lèi)特征相似的PV作為一個(gè)類(lèi)簇，統(tǒng)計(jì)該類(lèi)簇的整體點(diǎn)擊率作為其中所有PV的真實(shí)點(diǎn)擊概率（當(dāng)類(lèi)簇的數(shù)據(jù)量高于閾值時(shí)才認(rèn)為是置信的）；然后采用線(xiàn)性或非線(xiàn)性函數(shù)進(jìn)行預(yù)估值和真實(shí)值的映射，該映射函數(shù)就構(gòu)成了一種輕量級(jí)的校準(zhǔn)函數(shù)。在這個(gè)過(guò)程中如何選擇合理的類(lèi)簇劃分方式進(jìn)行PV聚類(lèi)就成為了問(wèn)題的關(guān)鍵。經(jīng)典的Isotonic Regression和Binning校準(zhǔn)算法本質(zhì)上是按預(yù)估值的大小進(jìn)行樣本劃分，這種劃分方式基于的假設(shè)是類(lèi)簇劃分精度的好壞與模型預(yù)估值的大小有關(guān)（或模型對(duì)于相近預(yù)估值大小的廣告會(huì)具有相似的預(yù)估誤差）。

在實(shí)踐中我們發(fā)現(xiàn)校準(zhǔn)維度越精細(xì)，越有利于產(chǎn)出準(zhǔn)確的校準(zhǔn)函數(shù)，但同時(shí)樣本量也變的稀疏，當(dāng)數(shù)據(jù)量不具有統(tǒng)計(jì)意義時(shí)，反而會(huì)降低校準(zhǔn)函數(shù)的準(zhǔn)確度。所以算法設(shè)計(jì)中需要進(jìn)一步權(quán)衡校準(zhǔn)維度選擇和數(shù)據(jù)稀疏的問(wèn)題，我們的算法演進(jìn)之路也是不斷解決這兩個(gè)問(wèn)題的進(jìn)化之路。

4.?校準(zhǔn)評(píng)價(jià)指標(biāo)

在介紹校準(zhǔn)算法之前，先介紹一下校準(zhǔn)效果的度量指標(biāo)。

• ① Predict click over click (PCOC)

PCOC指標(biāo)是校準(zhǔn)之后的點(diǎn)擊率與后驗(yàn)點(diǎn)擊率（近似真實(shí)概率）的比值，越接近于1，意味著在絕對(duì)值上越準(zhǔn)確，大于1為高估，小于1為低估，是一種常用的高低估評(píng)價(jià)指標(biāo)。但是PCOC存在一定局限性，舉個(gè)例子：2萬(wàn)個(gè)樣本，其中1萬(wàn)個(gè)樣本的預(yù)估概率是0.2，后驗(yàn)概率是0.4，計(jì)算出PCOC是0.2/0.4=0.5，是顯著低估的，另1萬(wàn)個(gè)樣本PCOC是0.8/0.6= 1.3，明顯是高估的。所以校準(zhǔn)效果并不好，但是樣本放一起看，校準(zhǔn)后概率是（0.2+0.8）/2=0.5，后驗(yàn)概率是（0.4+0.6）/2=0.5，整體PCOC是1.0，表現(xiàn)完全正常。所以單一PCOC指標(biāo)不能表征樣本各維度下的校準(zhǔn)水平。

• ②?Calibration-N(Cal-N)
  

針對(duì)PCOC問(wèn)題，我們?cè)O(shè)計(jì)了一個(gè)新的指標(biāo)Cal-N，將樣本集合按照自定義規(guī)則劃分出多個(gè)簇分別計(jì)算PCOC，并計(jì)算與標(biāo)準(zhǔn)1的偏差作為校準(zhǔn)誤差。相比PCOC，Cal-N顯然能夠更好的表征細(xì)粒度的校準(zhǔn)水平。

• ③ Grouped Calibration-N(GC-N)
  

在廣告領(lǐng)域中，通常會(huì)重點(diǎn)關(guān)注某一維度下的校準(zhǔn)效果（如廣告計(jì)劃維度）。我們進(jìn)一步提出了GC-N指標(biāo)，能夠在Cal-N基礎(chǔ)上自定義各維度權(quán)重。

以上是對(duì)校準(zhǔn)背景、概念、相關(guān)工作以及評(píng)價(jià)方法的簡(jiǎn)單介紹。

02?校準(zhǔn)算法演進(jìn)

從18年以來(lái)我們開(kāi)始在校準(zhǔn)算法上不斷創(chuàng)新，實(shí)現(xiàn)了對(duì)點(diǎn)擊率、轉(zhuǎn)化率、收藏加購(gòu)率、關(guān)注率等各類(lèi)預(yù)估指標(biāo)的校準(zhǔn)能力。整個(gè)迭代路線(xiàn)以實(shí)際業(yè)務(wù)需求為導(dǎo)向，以輕量級(jí)、通用性和靈活性為設(shè)計(jì)目標(biāo)。接下來(lái)詳細(xì)介紹我們提出的各類(lèi)校準(zhǔn)方法。

1.?保序回歸平滑校準(zhǔn)算法（Smoothed Isotonic Regression，SIR）

SIR算法是18年提出的，如上圖所示，我們結(jié)合了Binning、Isotonic Regression和線(xiàn)性Scaling方法。具體思想為：模型原始打分相近的PV具有近似的真實(shí)點(diǎn)擊率，PCTR大小區(qū)間可作為一個(gè)合理的校準(zhǔn)維度（分桶）；分桶數(shù)據(jù)量稀疏時(shí)，進(jìn)一步利用模型本身的排序能力，對(duì)各分桶后驗(yàn)點(diǎn)擊率與模型預(yù)估點(diǎn)擊率做保序處理（保序回歸）；最后使用單調(diào)平滑函數(shù)擬合模型原始打分和后驗(yàn)點(diǎn)擊率的映射關(guān)系（線(xiàn)性Scaling）就得到了校準(zhǔn)函數(shù)。該算法的優(yōu)勢(shì)在于充分利用了保序和平滑思想緩解了數(shù)據(jù)稀疏的問(wèn)題，而且具備輕量級(jí)和可解釋性特點(diǎn)。對(duì)比各類(lèi)校準(zhǔn)算法效果如下（AB是兩個(gè)數(shù)據(jù)集），在實(shí)際應(yīng)用中RPM、CTR以及廣告主ROI均有顯著提升（詳細(xì)可見(jiàn)論文：Calibrating user response predictions in online advertising）。

2.?貝葉斯平滑SIR校準(zhǔn)算法（Bayes-SIR）

在SIR算法應(yīng)用中，我們發(fā)現(xiàn)廣告計(jì)劃投放初期校準(zhǔn)效果明顯差于平均水平，并在實(shí)際業(yè)務(wù)中造成以下問(wèn)題：1）影響新建計(jì)劃初始階段的投放表現(xiàn)；2）影響強(qiáng)時(shí)效性廣告的全生命周期效果；3）小客戶(hù)在整個(gè)投放周期里數(shù)據(jù)一直稀疏，得不到準(zhǔn)確的校準(zhǔn)，影響競(jìng)價(jià)公平性。這是SIR校準(zhǔn)算法的冷啟動(dòng)問(wèn)題，我們采用了Bayes平滑的思想進(jìn)行優(yōu)化（貝葉斯平滑方法最早在雅虎的一篇論文里面中提出，用于解決數(shù)據(jù)稀疏問(wèn)題下的點(diǎn)擊率預(yù)估優(yōu)化）。

Bayes-SIR的算法思想：如上圖所示，首先從豐富的先驗(yàn)數(shù)據(jù)中估計(jì)出每個(gè)廣告計(jì)劃的點(diǎn)擊率先驗(yàn)分布，然后依據(jù)該先驗(yàn)知識(shí)和新觀測(cè)到的少量數(shù)據(jù)，根據(jù)貝葉斯定理計(jì)算得到更準(zhǔn)確的后驗(yàn)點(diǎn)擊率。這種估計(jì)方法能充分利用先驗(yàn)知識(shí)，具備置信程度過(guò)渡平滑的特點(diǎn)。將貝葉斯平滑CTR估計(jì)過(guò)程替換掉SIR算法的樸素CTR統(tǒng)計(jì)邏輯即構(gòu)成了具有冷啟動(dòng)問(wèn)題優(yōu)化效果的校準(zhǔn)方法。實(shí)際上線(xiàn)后，新廣告的投放效果得到明顯的提升。

3.?Bayes-SIR實(shí)時(shí)波動(dòng)問(wèn)題優(yōu)化（RTW-BSIR）

實(shí)際應(yīng)用中，我們進(jìn)一步發(fā)現(xiàn)Bayes-SIR校準(zhǔn)算法整體表現(xiàn)穩(wěn)定，但是不同時(shí)間段內(nèi)效果卻是不斷波動(dòng)的，這會(huì)加劇廣告競(jìng)價(jià)環(huán)境的波動(dòng)，并影響廣告計(jì)劃拿量的均勻性和算法出價(jià)的穩(wěn)定性（如上圖所示）。

經(jīng)分析，這是校準(zhǔn)訓(xùn)練數(shù)據(jù)和應(yīng)用時(shí)數(shù)據(jù)分布之間存在差異導(dǎo)致的，是一種典型的數(shù)據(jù)漂移問(wèn)題。直接思路是將該差異進(jìn)行消除，實(shí)現(xiàn)無(wú)偏的校準(zhǔn)能力。考慮到時(shí)效性影響，數(shù)據(jù)分布一直在發(fā)生變化，如果直接對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行修正則無(wú)法避免后續(xù)模型訓(xùn)練鏈路延遲導(dǎo)致的偏差因素。所以我們借鑒了反事實(shí)學(xué)習(xí)的思想，通過(guò)實(shí)時(shí)計(jì)算應(yīng)用數(shù)據(jù)和Bayes-SIR模型的分布偏差，直接修正Bayes-SIR校準(zhǔn)函數(shù)，這樣就實(shí)現(xiàn)了對(duì)現(xiàn)有校準(zhǔn)效果時(shí)序波動(dòng)性的優(yōu)化算法（如下圖所示）。上線(xiàn)應(yīng)用后，能夠有效保證校準(zhǔn)效果的穩(wěn)定性，尤其在大促活動(dòng)等環(huán)境劇烈波動(dòng)時(shí)，對(duì)流量分配效率極其穩(wěn)定性起到明顯的優(yōu)化作用。

上述內(nèi)容介紹了SIR算法極其在冷啟動(dòng)和時(shí)序波動(dòng)性方面的優(yōu)化，該系列算法具備輕量級(jí)、可解釋的特點(diǎn)，在阿里媽媽展示廣告業(yè)務(wù)上得到了大范圍的應(yīng)用，并取得了非常顯著的業(yè)務(wù)收益。

但是這些方法仍舊存在一些缺陷，比如Binning方式單一缺乏靈活性、排序能力上具備天花板而且無(wú)法自定義校準(zhǔn)目標(biāo)。針對(duì)這些問(wèn)題我們也提出了新的算法方案，本文不再展開(kāi)。下文進(jìn)一步介紹校準(zhǔn)算法在后鏈路指標(biāo)校準(zhǔn)方面的應(yīng)用擴(kuò)展。

4.?后鏈路預(yù)估值校準(zhǔn)（PCCEM）

后鏈路指標(biāo)指的是曝光/點(diǎn)擊之后的加購(gòu)、收藏、轉(zhuǎn)化、關(guān)注等指標(biāo)（特點(diǎn)如上圖所示）。面向轉(zhuǎn)化或加購(gòu)等優(yōu)化目標(biāo)的算法出價(jià)能力不斷成為主流的廣告投放方式，但是轉(zhuǎn)化和加購(gòu)的模型預(yù)估能力遠(yuǎn)不如點(diǎn)擊率，這使得后鏈路預(yù)估值的校準(zhǔn)存在極大的必要性和可優(yōu)化空間。相比點(diǎn)擊率校準(zhǔn)，后鏈路預(yù)估值的校準(zhǔn)存在新的挑戰(zhàn)：數(shù)據(jù)稀疏性和延遲反饋，以轉(zhuǎn)化為例，用戶(hù)點(diǎn)擊廣告后不一定立即產(chǎn)生購(gòu)買(mǎi)行為，這導(dǎo)致我們無(wú)法實(shí)時(shí)計(jì)算準(zhǔn)確的后驗(yàn)轉(zhuǎn)化率以指導(dǎo)校準(zhǔn)函數(shù)的訓(xùn)練，而等待多天后再產(chǎn)出校準(zhǔn)函數(shù)，預(yù)估模型的分布也可能發(fā)生了新的變化。

我們提出了一種算法叫Post-Click Conversion Estimation Model，簡(jiǎn)稱(chēng)PCCEM。上圖左側(cè)的折線(xiàn)圖反映了轉(zhuǎn)化的延遲性以及短期中間指標(biāo)與轉(zhuǎn)化行為的相關(guān)性。所以，針對(duì)延遲反饋問(wèn)題，我們可以構(gòu)建用戶(hù)點(diǎn)擊后的短期行為（如瀏覽、停留時(shí)長(zhǎng)等）與后鏈路指標(biāo)之間的關(guān)系來(lái)預(yù)測(cè)用戶(hù)長(zhǎng)期的轉(zhuǎn)化行為，該模型被稱(chēng)為PCEEM模型。在該模型基礎(chǔ)上，結(jié)合前述點(diǎn)擊率的校準(zhǔn)算法即可實(shí)現(xiàn)對(duì)后鏈路指標(biāo)的校準(zhǔn)能力（算法如上圖右側(cè)偽碼所示，具體可參考論文：Calibrating user response predictions in online advertising）。在線(xiàn)上應(yīng)用后廣告轉(zhuǎn)化率以及廣告主ROI均有顯著提升。

03?工程實(shí)踐

1. 廣告系統(tǒng)模塊結(jié)構(gòu)

如上圖所示，我們?cè)趯?shí)際應(yīng)用中，Calibration模塊在預(yù)估和策略排序模塊之間，和其他模塊是獨(dú)立和解耦的，有利于校準(zhǔn)的靈活性。

2. SIR/PCCEM-Based算法數(shù)據(jù)流程圖

如上圖所示，其中綠色部分是廣告的召回排序預(yù)估鏈路，校準(zhǔn)模塊部分如果是淺層預(yù)估指標(biāo)校準(zhǔn)，直接基于Tracked Data，應(yīng)用SIR系列校準(zhǔn)算法即可完成校準(zhǔn)；后鏈路指標(biāo)則需要先進(jìn)行點(diǎn)擊質(zhì)量預(yù)估（如藍(lán)色區(qū)域），再進(jìn)行算法校準(zhǔn)。

04?總結(jié)與展望

我們對(duì)校準(zhǔn)技術(shù)做了詳細(xì)的調(diào)研，上圖中簡(jiǎn)要列了目前被廣泛應(yīng)用的校準(zhǔn)算法，其中Platt Scaling方法早在1999年就被提了出來(lái)，后續(xù)也不斷有別的方法被提出，但是一直到近幾年才有計(jì)算機(jī)相關(guān)的論文從理論層面對(duì)校準(zhǔn)技術(shù)進(jìn)行證明和探討（ICML/NIPS會(huì)議有相關(guān)文章）。阿里媽媽展示廣告從18年開(kāi)始在預(yù)估中引入校準(zhǔn)方法，對(duì)廣告系統(tǒng)的穩(wěn)定性、效果的保障性以及算法出價(jià)能力等方面起到了顯著的優(yōu)化作用。但是過(guò)去幾年中我們一直走輕量級(jí)的迭代方式，缺少一些向更復(fù)雜更精細(xì)化方法的探索，而且在發(fā)展過(guò)程中一直以業(yè)務(wù)需求為導(dǎo)向，在理論層面缺乏深入的探索，這些問(wèn)題將是我們未來(lái)重點(diǎn)優(yōu)化的方向。

校準(zhǔn)技術(shù)在氣象預(yù)報(bào)、醫(yī)療診斷、自動(dòng)駕駛、計(jì)算廣告以及工業(yè)應(yīng)用等領(lǐng)域都有實(shí)際的落地應(yīng)用。也有學(xué)者將校準(zhǔn)技術(shù)歸納可信機(jī)器學(xué)習(xí)的一個(gè)研究分支，它可以為機(jī)器學(xué)習(xí)模型的確定性、可信度以及可解釋性起到優(yōu)化作用，輔助提升機(jī)器學(xué)習(xí)模型在各領(lǐng)域的實(shí)際應(yīng)用價(jià)值。

05?問(wèn)答環(huán)節(jié)

問(wèn)：請(qǐng)問(wèn)Bayes-SIR里面先驗(yàn)數(shù)據(jù)和觀測(cè)數(shù)據(jù)的區(qū)別是什么？

答：先驗(yàn)數(shù)據(jù)是過(guò)去歷史上所有能獲取到的用戶(hù)行為數(shù)據(jù)，也可能是專(zhuān)家經(jīng)驗(yàn)。先驗(yàn)數(shù)據(jù)的粒度可以比較粗，范圍可以比較大，時(shí)間也可以比較長(zhǎng)，是對(duì)待校準(zhǔn)數(shù)據(jù)表現(xiàn)的一個(gè)預(yù)判。觀測(cè)數(shù)據(jù)是指待校準(zhǔn)廣告的即時(shí)表現(xiàn)，是短期的小部分可觀測(cè)數(shù)據(jù)。

問(wèn)：數(shù)據(jù)偏移一般是什么原因造成的，是鏈路延遲嗎？

答：有很多影響因素，特別是在廣告系統(tǒng)中，除鏈路延遲外，廣告主的行為以及用戶(hù)習(xí)慣和興趣都在不斷發(fā)生變化，這些都會(huì)直接影響系統(tǒng)內(nèi)數(shù)據(jù)分布的穩(wěn)定性。

問(wèn)：校準(zhǔn)模型是小時(shí)級(jí)更新的嗎，還是天級(jí)更新就可以？

答：因?yàn)榛A(chǔ)預(yù)估模型的高低估程度在一天之內(nèi)也在發(fā)生不斷的波動(dòng)，而且是不可預(yù)測(cè)的。所以校準(zhǔn)模型理論上更新響應(yīng)速度越快越好。

問(wèn)：校準(zhǔn)模型訓(xùn)練數(shù)據(jù)的時(shí)間窗口是多長(zhǎng)？

答：窗口越短，模型反應(yīng)越靈敏，但是數(shù)據(jù)量越稀疏，影響校準(zhǔn)的準(zhǔn)確性。在實(shí)際應(yīng)用中會(huì)根據(jù)實(shí)際數(shù)據(jù)量級(jí)進(jìn)行折中來(lái)確定窗口時(shí)長(zhǎng)。

問(wèn)：校準(zhǔn)技術(shù)可以用在推薦系統(tǒng)中嗎？

答：可以。如果推薦系統(tǒng)的優(yōu)化目標(biāo)是絕對(duì)值效果（如絕對(duì)點(diǎn)擊量，GMV等），排序策略中需要系統(tǒng)保證預(yù)估值大小的準(zhǔn)確性，此時(shí)校準(zhǔn)技術(shù)能夠起到優(yōu)化作用。

問(wèn)：SIR方法的分桶數(shù)量應(yīng)該如何確定，有經(jīng)驗(yàn)取值嗎？

答：這還是一個(gè)精細(xì)度和置信度權(quán)衡的問(wèn)題。分桶數(shù)越多絕對(duì)值誤差問(wèn)題越能夠被充分的暴露，校準(zhǔn)效果也能做的越精細(xì)。但是桶內(nèi)的樣本量也就越少，統(tǒng)計(jì)上更不置信，影響校準(zhǔn)結(jié)果的準(zhǔn)確度。理論層面有一些對(duì)不同分桶數(shù)下的誤差Bound的證明，在實(shí)際應(yīng)用中是結(jié)合實(shí)驗(yàn)對(duì)比來(lái)確定的。

編輯：王菁

校對(duì)：林亦霖

總結(jié)

以上是生活随笔為你收集整理的阿里妈妈展示广告预估校准技术演进之路的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。