導(dǎo)語

本文主要介紹商業(yè)策略技術(shù)團(tuán)隊(duì)在預(yù)算平滑技術(shù)上的探索實(shí)踐，首先介紹了主流的預(yù)算平滑技術(shù)，然后結(jié)合具體業(yè)務(wù)場(chǎng)景，分享基于pacing方法的預(yù)算平滑技術(shù)在58的實(shí)踐應(yīng)用和心得體會(huì)。

背景

按點(diǎn)擊計(jì)費(fèi)(cost per click)的在線廣告是互聯(lián)網(wǎng)平臺(tái)變現(xiàn)的重要手段，當(dāng)用戶點(diǎn)擊網(wǎng)站或APP里展示的廣告時(shí)，平臺(tái)就會(huì)收取廣告主相應(yīng)的費(fèi)用。廣義二價(jià)拍賣機(jī)制(generalized second-price auction mechanism)廣泛應(yīng)用于競(jìng)價(jià)類的在線廣告中，廣告主需要為廣告設(shè)定一個(gè)出價(jià)(bid)以及每天的廣告預(yù)算(budget)，廣告的出價(jià)會(huì)影響廣告在頁(yè)面里展示的排名和平均點(diǎn)擊價(jià)格(acp)，若當(dāng)天的花費(fèi)超過了每日的預(yù)算，廣告就會(huì)從平臺(tái)中下線，直到第二天恢復(fù)上線。
廣告主通常都希望能將廣告展示給更多的人，但受限于廣告的預(yù)算，在平臺(tái)的流量高峰時(shí)段內(nèi)容易發(fā)生廣告的預(yù)算被迅速消耗、廣告過早的下線、廣告主的投放體驗(yàn)差。針對(duì)廣告預(yù)算被快速消耗的問題，業(yè)界流行的做法是通過pacing的方式，將預(yù)算的消耗合理平滑的分配到一天中的各個(gè)時(shí)間段。58平臺(tái)上有大量預(yù)算非常有限的小微廣告主，通過預(yù)算平滑技術(shù)延長(zhǎng)廣告的在線時(shí)長(zhǎng)、降低廣告主的轉(zhuǎn)化成本十分必要。
本文主要介紹商業(yè)策略技術(shù)團(tuán)隊(duì)在預(yù)算平滑技術(shù)上的探索實(shí)踐，包括以下幾方面：

• 主流的預(yù)算平滑技術(shù)簡(jiǎn)介
• 58應(yīng)用場(chǎng)景簡(jiǎn)介
• Budget Pacing的算法原理
• 系統(tǒng)設(shè)計(jì)
• 上線效果
• 總結(jié)和展望

主流的預(yù)算平滑技術(shù)簡(jiǎn)介

1、基于pacing的方法
在業(yè)界中主流的預(yù)算平滑技術(shù)是基于pacing的方法，大體可分為以下2類：
1) 調(diào)節(jié)廣告出價(jià)(bid modification)
通過調(diào)節(jié)出價(jià)從而影響競(jìng)價(jià)成功的概率，從而達(dá)到控制預(yù)算消耗的目的。Mehta等人在論文[1]中提出了在每次廣告競(jìng)價(jià)時(shí)，根據(jù)當(dāng)前的預(yù)算消耗情況調(diào)節(jié)廣告的出價(jià)的方法，原理公式如下：

這種方法在實(shí)踐中存在2個(gè)難題：首先是在RTB(real-time bidding)類廣告中，競(jìng)價(jià)環(huán)境不斷在發(fā)生變化，并不是一個(gè)穩(wěn)定的環(huán)境，通過調(diào)節(jié)bid難以精準(zhǔn)的控制廣告的預(yù)算消耗；其次，媒體方(SSP)通常都會(huì)設(shè)有一個(gè)底價(jià)(reserve price)，當(dāng)調(diào)節(jié)后的出價(jià)低于底價(jià)時(shí)、廣告不被展示，影響策略的調(diào)節(jié)效果。
2) 調(diào)節(jié)廣告曝光概率(probabilistic throttling)
論文[2]和[3]則基于調(diào)節(jié)廣告曝光概率的方法，其原理是將廣告預(yù)算以某種方式(如根據(jù)一天中的流量分布或轉(zhuǎn)化的分布)分配至各個(gè)時(shí)間段，當(dāng)某個(gè)時(shí)間段消耗的預(yù)算超過了計(jì)劃值，策略就會(huì)降低廣告的曝光量或減少?gòu)V告的競(jìng)價(jià)次數(shù)，反之則增加。2、基于強(qiáng)化學(xué)習(xí)的方法
使用強(qiáng)化學(xué)習(xí)(reinforcement learning)的技術(shù)解決RTB廣告的出價(jià)策略已成為當(dāng)前業(yè)界的研究熱點(diǎn)。通過將預(yù)算作為廣告競(jìng)價(jià)的一個(gè)重要約束引入到RL模型中，可以更加優(yōu)雅的解決預(yù)算的消耗過快的問題，并達(dá)成廣告主投放目標(biāo)。相比基于pacing方法，基于強(qiáng)化學(xué)習(xí)的方法目前更多還處于研究階段。
這方面的典型研究如下：
1) 2017年張偉楠團(tuán)隊(duì)在論文[4]提出將強(qiáng)化學(xué)習(xí)用于解決RTB領(lǐng)域的廣告出價(jià)問題。論文使用MDP模型(Markov Decision Process)對(duì)RTB的廣告競(jìng)價(jià)問題進(jìn)行建模，通過動(dòng)態(tài)規(guī)劃(dynamic programming)的方式找到最優(yōu)出價(jià)策略。文章在iPinYou RTB數(shù)據(jù)集上做了實(shí)驗(yàn)，和多個(gè)基線出價(jià)策略相比，該模型可以在相同廣告消耗下獲得更多的點(diǎn)擊；模型還在Vlion DSP線上系統(tǒng)做了ab測(cè)，觀察到在該模型的控制下，廣告的預(yù)算消耗和點(diǎn)擊分布都更加平滑。
2) 2018年阿里發(fā)表論文[5]，提出了多智能體的強(qiáng)化學(xué)習(xí)(Multi-Agent Reinforcement Learning)來處理預(yù)算約束下的廣告出價(jià)。常見的RL方法只能為單個(gè)廣告主建立出價(jià)策略，該論文通過對(duì)廣告主的聚類和MARL方法，可以為多個(gè)廣告主確定最優(yōu)出價(jià)策略。在離線實(shí)驗(yàn)中，相比單智能體的RL方法，該模型幫助廣告主在有限預(yù)算的條件下獲得了更多的訂單量。

58應(yīng)用場(chǎng)景簡(jiǎn)介

我們?cè)?8房產(chǎn)、招聘、黃頁(yè)、二手車業(yè)務(wù)線上都落地了預(yù)算平滑策略。這4類業(yè)務(wù)有以下特點(diǎn)：
1) 以小微廣告主居多、每日的預(yù)算極為有限，若沒有預(yù)算控制策略廣告每天在線時(shí)間會(huì)很短，例如有些廣告每天的預(yù)算之內(nèi)支持不到10次的點(diǎn)擊，在線時(shí)長(zhǎng)不到10分鐘；
2) 產(chǎn)品區(qū)別大。黃頁(yè)的在線廣告屬于競(jìng)價(jià)cpc類產(chǎn)品，房產(chǎn)屬于定價(jià)cpc類產(chǎn)品；此外，這兩類產(chǎn)品在廣告的售賣方式、召回排序等方面的邏輯都不同；
3) 流量構(gòu)成較為復(fù)雜，廣告主在不同流量上的轉(zhuǎn)化成本有一定的差異。首先，從平臺(tái)角度，包含了PC、M、APP、小程序4種類型；然后，從場(chǎng)景角度，可以分為推薦、搜索、列表3類；其次，從分布角度看，流量在不同城市、一天里的不同時(shí)間段內(nèi)分布差異大；
在具體實(shí)踐時(shí)，為了緩解小微廣告主集中消耗的問題，預(yù)算平滑策略需要能夠快速、精準(zhǔn)的控制廣告的預(yù)算消耗情況；為了能夠適應(yīng)不同的商業(yè)產(chǎn)品，預(yù)算平滑策略需要具有良好的通用性；為了幫助廣告主降低轉(zhuǎn)化成本，預(yù)算平滑策略還需要能夠幫助廣告主優(yōu)先將廣告展示在低成本的流量上。
綜合以上需求，我們?cè)趯?shí)踐中采用了pacing方法，并核心參考了論文[2]中Linkin的做法，同時(shí)結(jié)合58的應(yīng)用場(chǎng)景對(duì)算法做了改進(jìn)。模型上線后在緩解廣告預(yù)算快速消耗，延長(zhǎng)廣告在線時(shí)長(zhǎng)，降低廣告主轉(zhuǎn)化成本上取得了較為顯著的效果。下面對(duì)我們的方法做詳細(xì)說明。

基于Pacing方法的預(yù)算平滑

基于Pacing方法的預(yù)算平滑，核心在于“計(jì)劃“與”控制“，具體如下：
1) 預(yù)算分配，即制定一個(gè)合理的預(yù)算消耗計(jì)劃。
例如可以將廣告預(yù)算按一天24小時(shí)劃分成24份，每小時(shí)的消耗不能超過對(duì)應(yīng)的預(yù)算份額。一個(gè)合理的預(yù)算計(jì)劃可以幫助廣告主達(dá)成預(yù)算消耗目標(biāo)、同時(shí)避免預(yù)算在某個(gè)時(shí)間段被集中消耗。
2) 預(yù)算控制，即按“計(jì)劃”控制廣告的消耗。
用戶點(diǎn)擊天然會(huì)滯后于廣告的展現(xiàn)，偶然出現(xiàn)的流量突增等因素都會(huì)給預(yù)算控制帶來了不小的挑戰(zhàn)。
后文將從這2個(gè)方面展開，論述我們?cè)?8業(yè)務(wù)場(chǎng)景下的做法。

1、預(yù)算分配(budget allocation)
要解決廣告預(yù)算快速消耗的問題，首先需要明確什么樣的消耗方式(即預(yù)算分配，budget allocation)是合理的。這是一個(gè)開放性的問題，在不同的業(yè)務(wù)場(chǎng)景下往往有不同的答案，常見的做法是按一天中流量、或轉(zhuǎn)化的分布情況進(jìn)行分配，考慮到58是一個(gè)偏低頻的應(yīng)用，每天的轉(zhuǎn)化分布波動(dòng)較大而流量分布相對(duì)穩(wěn)定，因此在實(shí)踐中我們采用基于流量的分布對(duì)預(yù)算進(jìn)行調(diào)節(jié)。

在實(shí)踐中，各種內(nèi)外部的因素都會(huì)影響模型的準(zhǔn)確性，為了保證廣告主的預(yù)算消耗率目標(biāo)，我們會(huì)假定每天22點(diǎn)之后的流量為0，即需要在前22個(gè)小時(shí)內(nèi)完成廣告主的預(yù)算消耗目標(biāo)，剩余的時(shí)間會(huì)放開budget pacing控制。

圖1 廣告請(qǐng)求量(歸一化后)的隨時(shí)間的累積分布圖

2、預(yù)算控制

在初期，我們使用的是Linkin的做法，即使用固定調(diào)節(jié)速率對(duì)PTR值進(jìn)行控制，后期我們根據(jù)上線效果，改為使用基于PID控制的方法。具體如下：
?2.1、初版控制方法: 基于固定的調(diào)節(jié)速率

r是公式中一個(gè)很重要的參數(shù)，表示每次的PTR的調(diào)節(jié)的步長(zhǎng)，它是一個(gè)不隨時(shí)間變化的值(因此我們稱這個(gè)方法為“固定速率”的調(diào)節(jié))。在實(shí)踐中，我們通過數(shù)據(jù)分析和業(yè)務(wù)規(guī)則將流量劃分為2類，每類設(shè)置一個(gè)調(diào)節(jié)參數(shù) 。這是因?yàn)榍拔奶岬?8有較為復(fù)雜的流量構(gòu)成，不同的流量上的廣告的轉(zhuǎn)化率有較大的區(qū)別，通過為不同的流量設(shè)置不同的調(diào)節(jié)步長(zhǎng)，可以使廣告優(yōu)先展示在高轉(zhuǎn)化率的流量上，幫助廣告主降低轉(zhuǎn)化成本。
此外，廣告的預(yù)算通常是以天為單位設(shè)置的，每天凌晨自動(dòng)重置廣告的消耗數(shù)據(jù)，因此我們也會(huì)初始化廣告的PTR值。為更好的幫助廣告主緩解快速消耗問題，目前我們對(duì)所有廣告都使用了較小的定值作為初始PTR值，在實(shí)踐中發(fā)現(xiàn)某些廣告的預(yù)算消耗率降低了，因此我們后續(xù)計(jì)劃為每個(gè)廣告設(shè)置不同的初始化PTR值。一個(gè)可行的做法是將廣告期望的曝光量和可用曝光量的比值作為初始值，廣告期望的曝光量是指將廣告預(yù)算消耗完所需的最小曝光量。
1.1. 改進(jìn)后的方法: 基于PID控制PID調(diào)節(jié)器是一種線性調(diào)節(jié)器，是實(shí)際工業(yè)控制過程中應(yīng)用最廣泛、最成功的一種控制方法。PID控制的主要優(yōu)點(diǎn)在于：原理簡(jiǎn)單，魯棒性強(qiáng)，當(dāng)被控對(duì)象的結(jié)構(gòu)和參數(shù)不能完全掌握，或得不到精確的數(shù)學(xué)模型時(shí)，應(yīng)用PID控制技術(shù)最為快速有效。PID調(diào)節(jié)器的離散形式的微分方程如下所示：

其中，cost是廣告的消耗，pv是廣告的曝光，ctr是廣告的點(diǎn)擊率。我們使用統(tǒng)計(jì)的方法計(jì)算廣告的點(diǎn)擊率，對(duì)于新廣告則使用具有相似投放需求的其它廣告的平均點(diǎn)擊率。

系統(tǒng)設(shè)計(jì)

在廣告系統(tǒng)中，預(yù)算平滑功能的主要流程如圖3所示，由4個(gè)模塊組成。

• 實(shí)時(shí)統(tǒng)計(jì)模塊：使用實(shí)時(shí)處理框架Flink技術(shù)，通過消費(fèi)消息隊(duì)列Kafka里的廣告實(shí)時(shí)展現(xiàn)和點(diǎn)擊(計(jì)費(fèi))數(shù)據(jù)，統(tǒng)計(jì)每條廣告在固定時(shí)間周期里的曝光量和預(yù)算消耗。
• 預(yù)算分配模塊：根據(jù)廣告的預(yù)算計(jì)算當(dāng)前時(shí)間段內(nèi)的計(jì)劃消耗(或計(jì)劃曝光量)。
• PID控制模塊：實(shí)現(xiàn)PID控制邏輯，根據(jù)廣告的計(jì)劃值和實(shí)際值的偏差、輸出廣告的PTR值。
• PTR過濾模塊：為本次請(qǐng)求召回的每條廣告生成一個(gè)[0,1]區(qū)間的隨機(jī)數(shù)，若該隨機(jī)數(shù)小于這條廣告的PTR值，該廣告在本次廣告請(qǐng)求中不參與競(jìng)價(jià)，反之則參與。同時(shí)，在這個(gè)模塊中還會(huì)集成AB test分流功能(基于廣告的分流)和一些用于支持業(yè)務(wù)需求的功能(例如針對(duì)廣告的黑白名單等)。

圖3 預(yù)算平滑的主要流程

上線效果

通過線上ab測(cè)實(shí)驗(yàn)觀察，基于PID控制的預(yù)算平滑策略取得了既定的業(yè)務(wù)目標(biāo)：有效的緩解了廣告預(yù)算快速消耗的問題、并顯著增加了這些廣告的在線時(shí)長(zhǎng)。同時(shí)得益于在線時(shí)長(zhǎng)的提高、廣告受眾多樣性得到了提高，我們觀察到廣告主的轉(zhuǎn)化成本有較為明顯的降低。
基于PID控制的預(yù)算平滑策略上線后，我們隨機(jī)挑選一個(gè)預(yù)算較充足的廣告(圖4)和一個(gè)預(yù)算非常有限的廣告(圖5)，分別觀察實(shí)際控制效果。
在圖4中，藍(lán)線(ptr)表示該廣告一天中的ptr值的變化情況，黃線(target)代表該廣告的計(jì)劃累積曝光分布，紅線(base)表示該廣告在沒有預(yù)算平滑策略的情況下的累積曝光分布，綠線(exp)表示該廣告在預(yù)算平滑(基于PID)作用下的累積曝光分布。可以看出，在預(yù)算平滑的控制下，廣告的在線時(shí)長(zhǎng)由13.83個(gè)小時(shí)延長(zhǎng)至19.75個(gè)小時(shí)，增加了43%，同時(shí)廣告的預(yù)算消耗率持平、轉(zhuǎn)化成本有較明顯的降低，說明通過合理的預(yù)算分配能夠有效的提高廣告的在線時(shí)長(zhǎng)。此外我們還看到通過PID控制，廣告實(shí)際累積曝光和計(jì)劃累積曝光分布基本吻合，說明了基于PID控制的策略有效。圖4 基于PID控制的預(yù)算平滑策略上線效果如圖5所示，該廣告主每日預(yù)算僅能支持4次點(diǎn)擊。當(dāng)沒有預(yù)算控制策略時(shí)，廣告在線時(shí)間僅有7分鐘(base)，在上線預(yù)算平滑策略后，在線時(shí)間大幅增加至3小時(shí)(exp)。這里需要指出，對(duì)于預(yù)算非常少的廣告，為了幫助廣告主將預(yù)算向高轉(zhuǎn)化率的流量上傾斜、降低轉(zhuǎn)化成本，我們?cè)趯?shí)踐中會(huì)把流量分為點(diǎn)擊轉(zhuǎn)化率高(part1)和低(part2)2類，并將策略應(yīng)用在低轉(zhuǎn)化率流量上。線上實(shí)驗(yàn)可以觀察到，該廣告主的在part1上的曝光占比超從基線路的12%提升至94%，同時(shí)轉(zhuǎn)化成本顯著降低。圖5 基于PID控制的預(yù)算平滑策略上線效果

總結(jié)和展望

我們?cè)?8多個(gè)業(yè)務(wù)線的(cpc類)在線廣告產(chǎn)品中較為成功的落地了基于pacing原理的預(yù)算平滑策略，并在“延長(zhǎng)廣告在線時(shí)長(zhǎng)，降低廣告主轉(zhuǎn)化成本”的目標(biāo)上取得了一定的成績(jī)。后續(xù)我們考慮將預(yù)算平滑和其它策略(如ocpc)相結(jié)合，通過強(qiáng)化學(xué)習(xí)的技術(shù)手段、智能化的幫助廣告主完成廣告投放，并實(shí)現(xiàn)廣告主業(yè)務(wù)目標(biāo)。

參考文獻(xiàn)1、Mehta A , Saberi A , Vazirani U V , et al. AdWords and Generalized On-line Matching[C]// 46th Annual IEEE Symposium on Foundations of Computer Science (FOCS 2005), 23-25 October 2005, Pittsburgh, PA, USA, Proceedings. IEEE, 2005.
2、Agarwal D, Ghosh S, Wei K, et al. Budget pacing for targeted online advertisements at linkedin[C]//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. 2014: 1613-1619.
3、Lee K C, Jalali A, Dasdan A. Real time bid optimization with smooth budget delivery in online advertising[C]//Proceedings of the Seventh International Workshop on Data Mining for Online Advertising. 2013: 1-9.
4、Cai H, Ren K, Zhang W, et al. Real-time bidding by reinforcement learning in display advertising[C]//Proceedings of the Tenth ACM International Conference on Web Search and Data Mining. 2017: 661-670.
5、Jin J, Song C, Li H, et al. Real-time bidding with multi-agent reinforcement learning in display advertising[C]//Proceedings of the 27th ACM International Conference on Information and Knowledge Management. 2018: 2193-2201.
6、Agarwal D, Chen D, Lin L, et al. Forecasting high-dimensional data[C]//Proceedings of the 2010 ACM SIGMOD International Conference on Management of data. 2010: 1003-1012.作者簡(jiǎn)介劉楊，商業(yè)產(chǎn)品技術(shù)部-策略技術(shù)團(tuán)隊(duì)算法資深開發(fā)工程師，主要負(fù)責(zé)58同城商業(yè)產(chǎn)品機(jī)制類策略(ocpc，預(yù)算控制)，以及在推薦流量上的廣告召回策略。

END

閱讀推薦

房產(chǎn)經(jīng)紀(jì)人頁(yè)面錯(cuò)誤信息采集方案58房產(chǎn)Nginx 網(wǎng)絡(luò)調(diào)優(yōu)實(shí)踐如何設(shè)計(jì)打造金融場(chǎng)景下的業(yè)務(wù)平臺(tái)前端埋點(diǎn)統(tǒng)一接入方案實(shí)踐招才貓直聘安卓DU動(dòng)態(tài)框架實(shí)現(xiàn)Hermes推送系統(tǒng)架構(gòu)及實(shí)施(iOS)

總結(jié)

以上是生活随笔為你收集整理的ctr 平滑_预算平滑技术在58商业的探索与实践的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。