分享嘉賓：韋春陽 Hulu

編輯整理：Hoh Xil

內(nèi)容來源：AI 科學前沿大會

出品社區(qū)：DataFun

注：歡迎轉(zhuǎn)載，轉(zhuǎn)載請注明出處

導讀：Hulu 是一家美國領(lǐng)先的互聯(lián)網(wǎng)專業(yè)視頻服務平臺，商業(yè)廣告是 Hulu 的重要變現(xiàn)手段之一。視頻網(wǎng)站中的廣告以擔保合約式品牌廣告為主，本次演講分享了機器學習、人工智能技術(shù)如何在 Hulu 的廣告系統(tǒng)中實踐落地，如何幫助廣告業(yè)務更加高效的運轉(zhuǎn)，介紹了包括精準廣告定向、廣告流量匹配、廣告庫存預估等項目中機器學習算法的應用實踐。

▌概述

首先介紹一下 Hulu 以及 Hulu 的廣告產(chǎn)品形態(tài)。

Hulu 是一家美國的提供專業(yè)視頻點播與直播的服務平臺，成立于2006年，目前由迪士尼控股，擁有近3000萬付費訂閱用戶，是全美用戶數(shù)量增長最快的流媒體平臺。

①?產(chǎn)品形態(tài)：點播，直播，回看等；

②?廣告形態(tài)：以視頻流中的15秒、30秒的視頻廣告短片為主；

③?廣告特點：

• 以品牌類廣告為主，品牌類廣告看重長期效果，品牌的曝光度，用戶認知等等；

• 采用 CPM?( Cost Per Mille，千次展示 ) 方式計費，即無論用戶是否點擊，按照展示次數(shù)計價；

• 以擔保式廣告訂單為主，廣告主希望其品牌曝光有一定量的保障，例如，某品牌希望在指定地區(qū)給指定用戶群投放指定的次數(shù)；

• 質(zhì)量要求非常高，包括清晰度、創(chuàng)意、制作的精良程度等等。

上面簡單介紹了 Hulu 和 Hulu 的廣告產(chǎn)品形態(tài)，接下來介紹下廣告系統(tǒng)中我們主要面對的核心算法問題有哪些，以及算法發(fā)揮的主要作用。

廣告生態(tài)系統(tǒng)有三個核心要素：廣告主，用戶，媒體方 ( Hulu )?。每個要素都有自己的優(yōu)化目標。

廣告主：

廣告主的核心優(yōu)化目標是廣告的投放效率、有效性，以及?ROAS?( Return-On-Ad-Spend，廣告支出回報率 )，算法的主要應用為：

①?廣告定向：使用機器學習算法進行受眾定向、基于上下文的定向、lookalike 定向等；

② 訂單及價格優(yōu)化：給廣告主一些訂單定向條件及價格的建議，使其在 Hulu 上更好的進行訂單的購買和投放；

③ 轉(zhuǎn)化率優(yōu)化：越來越多的品牌類的廣告主也開始在意短期或者長期的轉(zhuǎn)化率，使用機器學習方法提高轉(zhuǎn)化率，把正確的廣告投給正確的用戶；

用戶：

對于用戶的核心優(yōu)化目標是優(yōu)化用戶體驗，盡可能減少廣告對用戶的干擾，給用戶更有連貫性的觀看體驗，算法的主要應用為：

① 個性化廣告：給用戶推薦更感興趣，更相關(guān)的廣告

② 情景式廣告：使用 AI 技術(shù)進行圖像音頻的識別、廣告創(chuàng)意的生成，為用戶帶來浸入式廣告體驗

③?個性化頻次控制：為用戶提供個性化頻次控制，避免重復及過量廣告為用戶帶來的反感

媒體方（Hulu）：

最終的優(yōu)化目標：廣告收入最大化，吸引更多的廣告商和用戶；與此同時我們也會進行生產(chǎn)環(huán)境的工作效率優(yōu)化，算法的主要應用為：

① 庫存預估：這是在擔保式廣告里面是一個必不可少的環(huán)節(jié)，在售賣廣告以及做廣告預算時發(fā)揮重要作用

② 廣告流量匹配：對廣告訂單與用戶流量進行匹配，保證擔保式廣告能夠按時按量且均勻的進行投放

③ 定價策略優(yōu)化：根據(jù)流量的熱門程度及售賣壓力，進行動態(tài)的定價，讓整個系統(tǒng)得到一個收入的最大化。

下圖總結(jié)了在 Hulu 的視頻廣告系統(tǒng)中的核心算法問題，也是我們研究員每天在做的事情：

①?廣告定向，涉及到：

• 預估模型：例如用戶標簽的補全，構(gòu)建 lookalike 模型等等

• 主題模型：使用無監(jiān)督方式挖掘用戶屬性

• 圖像識別技術(shù)：識別視頻內(nèi)容中物體、場景、氛圍等等，投放上下文相關(guān)視頻廣告

② 庫存預估，涉及到：

• 時序預測算法：庫存預估一般被建模成時序預測問題

③?流量匹配，涉及到：

• 凸優(yōu)化：使用凸優(yōu)化進行離線流量匹配

• 自動化控制理論 ( PID Controller )：使用自動化控制理論進行線上動態(tài)調(diào)整

④?轉(zhuǎn)化率優(yōu)化，涉及到：

• CVR 預估模型

• Casual Inference ( 因果推斷 )：使用因果推斷，得到一個更加公正、有效的指標來評估轉(zhuǎn)化是否有效。

• Bandit/增強學習：使用 Bandit 以及增強學習的方式來解決廣告冷啟動的問題

⑤?程序化交易廣告，涉及到：

• RTB ( Real time bidding ) 策略研究

• 流量預估/CVR 預估/投放節(jié)奏控制

⑥?用戶/廣告體驗分析，涉及到：

• 統(tǒng)計理論

• Casual Inference ( 因果推斷 )

⑦?價格機制設計，涉及到：

• 博弈問題

• 增強學習

▌核心業(yè)務場景中的算法實踐

由于篇幅有限，這里著重講一下在三個比較核心的業(yè)務場景下，算法在 Hulu 廣告系統(tǒng)中的實踐與落地。

1.?Ad Targeting 廣告定向

廣告定向在品牌類廣告中，是最最重要的一個環(huán)節(jié)。

在 Hulu 的場景下，主要有三種類型的廣告定向：

① 上下文相關(guān)：例如用戶用的設備，在什么位置，在哪個頻道，看什么樣的視頻內(nèi)容，插播廣告點前后的視頻內(nèi)容是什么情景等等。

② 用戶相關(guān)：例如用戶年齡性別、用戶基本屬性以及根據(jù)用戶歷史行為挖掘出來的屬性等。

③ 用戶廣告交互相關(guān)：

• Remarketing ( 再營銷 )：例如投放廣告給最近訪問過廣告商網(wǎng)站的用戶，為他加深品牌印象；

• Look-alike Targeting ( 相似訪客定向 )：投放廣告給與種子用戶相似的受眾，擴大受眾人數(shù)，以及挖掘具有潛能的用戶。

下面分別介紹一下針對這三種類型的廣告定向使用到的核心算法：

a. 用戶相關(guān)定向：

我們構(gòu)建了用戶畫像系統(tǒng)作為用戶定向的基礎。底層是一個核心用戶平臺，負責用戶數(shù)據(jù)的管理，版本控制，每天的 ETL 等等。注入的數(shù)據(jù)來自三種數(shù)據(jù)源：

① 來自第三方數(shù)據(jù)平臺的用戶標簽、屬性，

② Hulu 自己本身的一些標簽，這里有兩類工作：

• 第一類是工作是標簽的補全，我們會用一些例如 XGBoost、DNN 的預測模型來對這些缺失標簽的用戶進行一個預估，得到用戶具有哪些標簽，以及概率是多少。

• 第二類是無監(jiān)督模式，我們從用戶的歷史行為以及其他屬性中進行挖掘，挖掘出一些新的屬性出來，會涉及聚類、主題模型、user2vec 的方式來生成用戶的標簽。

③ 廣告商提供的用戶標簽，針對這種標簽最常用的就是進行 Lookalike 定向，我們會用機器學習的方式來進行預測，找到與種子用戶相似的用戶群體。

b.?上下文相關(guān)定向：

這里主要介紹一下 AI 在視頻內(nèi)容上下文情景廣告中的應用。視頻廣告會插播在視頻內(nèi)容播放前以及播放中， 投放與視頻上下文情節(jié)比較相關(guān)的廣告，會減少廣告對用戶的干擾，舉個例子：用戶當前所看的是婚禮視頻，如果此時投放的廣告是珠寶廣告，那就毫無違和感，甚至會激起用戶的購買欲望。另外，我們需要探測視頻中的的一些暴力血腥畫面，在這些地方不適合投放廣告。

這個問題的核心是使用圖像識別技術(shù)檢測出視頻每幀都出現(xiàn)了什么樣的實體、情景以及氛圍等。Hulu 結(jié)合業(yè)界的標準構(gòu)建了自己的 Taxonomy 體系，分為情緒、物體、場景、位置以及聲音幾個大的分類。

簡要介紹一下圖像檢測大致流程：考慮到獲取大量數(shù)據(jù)樣本的人力物力成本較大，我們最開始會借助于公開數(shù)據(jù)集 ( 比如 Open Iamge、Places 365等 )，使用 Inception V3、VGG 等模型去生成一些標簽，接下來會根據(jù) Hulu 的場景進行少量的人工標注，對模型進行 Finetune 以及使用多模型融合決定最終的標簽。

c. 轉(zhuǎn)化率優(yōu)化：

雖然品牌類的廣告點擊率沒有那么重要，但是越來越多的廣告商開始和 Hulu 談，我把我的轉(zhuǎn)化數(shù)據(jù)給你，你幫我計算下我這次投放的轉(zhuǎn)化率是多少。這就帶來了另外一個問題，廣告商最終還是希望優(yōu)化自己廣告的轉(zhuǎn)化率，所以我們最近開始了這方面的研究。目前開展的研究是基于 Hulu 自己的廣告的轉(zhuǎn)化率優(yōu)化，Hulu 在自己的視頻里面也會放一些推廣新劇的廣告內(nèi)容，例如一個15秒的預告，希望這些廣告能投放給正確的用戶，得到比較高的轉(zhuǎn)化率。這個問題被建模成為 CVR 預估的問題，根據(jù)投放數(shù)據(jù)以及轉(zhuǎn)化數(shù)據(jù)，通過機器學習來建模用戶看到廣告后的7天內(nèi)、30天內(nèi)的轉(zhuǎn)化率，再投放的時候把正確的廣告投放給正確的用戶。

• 轉(zhuǎn)化率優(yōu)化中的特征 & 模型

特征主要分為三塊：

• User related：基本的用戶屬性，如位置，活躍度，留存時間等，以及一些重要的歷史行為，比如曾經(jīng)看過哪些內(nèi)容，搜索過哪些內(nèi)容，收藏過哪些內(nèi)容。

• Ad related：廣告本身的屬性，如行業(yè)、劇目本身的信息等等。

• User-Ad：用戶這個廣告看過多少次了，通過多次投放使用戶加深印象。

模型方面我們目前使用了 DIN + FM 模型進行建模，同時也在探索更好的模型優(yōu)化。

d. 廣告定向中不可忽視的問題：因果推斷和共享賬號

• 因果推斷

我們在評估廣告轉(zhuǎn)化率的時候，會考慮評估是否正確，廣告是否有效，舉個例子：假如有一群用戶，不論你對不對他投放廣告，他都會去買這輛車，如果把廣告投放給這樣的用戶，最后評估廣告的轉(zhuǎn)化率的時候會評估的非常高，其實廣告效果一般，因為你投不投他都會去買，其實是白白消耗了這次投放。這就需要引入 Casual Inference 作為評估指標，其核心思想是：評估這個用戶看這個廣告和不看這個廣告的收益分別是怎么樣，最后將兩者之間的差作為評估指標，使用 Doubly Robust Estimator 進行建模。除此，更加重要的問題是怎么根據(jù) Casual Inference 作為目標去進行轉(zhuǎn)化率的優(yōu)化，怎么找到這些廣告增益最大的用戶，然后把廣告投放給這些用戶。

• 共享賬號

接下來是用戶共享賬號的問題，例如：一個賬號，孩子晚上8點左右看動畫片，媽媽晚上10點左右看綜藝節(jié)目，爸爸周末看體育視頻，媽媽使用該賬號的時候，發(fā)現(xiàn)推薦的都是動畫片，找不到自己喜歡看的內(nèi)容。這個在推薦以及廣告定向中都是非常重要的問題，例如有的廣告商，希望這個體育類廣告只推薦給家庭中的爸爸，如果是小孩和媽媽看是沒有效果的。

這個問題規(guī)劃到三個方面來解決：

① 探測這個賬號背后有多少個虛擬用戶

② 給每個虛擬用戶打上標簽，預測他的行為模式

③ 用戶來到 app 的時候預估是哪個虛擬用戶，推薦對應的廣告和內(nèi)容

這個問題核心是一些聚類的算法和預估模型的問題，這也是我們目前正在解決的問題。

2.?Inventory Prediction 流量預估

流量預估在擔保式廣告中是非常重要的環(huán)節(jié)，廣告在售賣之前都要檢查是否有足夠多的庫存余量賣給廣告主，以保證售出的廣告都能夠保量完成投放。

問題簡單描述為：給定未來的一段時間，一些定向條件的組合，預估有多少廣告流量庫存。

這個問題可以建模成時序預估的問題，通常有以下兩個步驟：

第一步：用時序預估模型來預估總的流量是多少；

第二步：根據(jù)歷史分布把流量分配到不同的排列組合，不同的維度上。

• Time Series Model

我們目前嘗試過以下三類模型：

第一個是ARIMA ( Autoregressive Integrated Moving Average model )，穩(wěn)定時序預估中最常用的模型，第二個是來自 Facebook 的 Prophet 模型，第三個是 LSTM。

ARIMA 作為最為直接簡單的穩(wěn)定時序預估模型，在我們的實驗中，在短期時序的預估準確率很不錯，但是對長期的預估相對來說就不那么穩(wěn)定了。原因在于，以下一些因素都會影響到長期的廣告流量時序數(shù)據(jù)：

• 用戶增長的因素

• 季節(jié)性的因素

• 每周的波動

• 節(jié)假日和特殊事件

Prophe 模型是專門為具有這幾種特性的時序數(shù)據(jù)而設計的時序預估模型。

Prophet 把時序數(shù)據(jù)拆成了三部分：趨勢部分，周期性和季節(jié)性部分，節(jié)假日部分，每一部分會單獨做預測模型，最后合到一起得到最終的預測結(jié)果。

例如，上圖為 Prophet 模型產(chǎn)生的幾種因素的分解：左上角為趨勢，左下角為節(jié)假日，右邊為季度性，分別為每個月和每周的變化，可以觀察到淡季和旺季的變化。目前，我們采用的是 Prophet 模型，在 Hulu 的廣告流量預估問題上表現(xiàn)穩(wěn)健。

3.?Inventory Allocation 流量匹配

流量匹配在擔保式廣告的投放環(huán)節(jié)發(fā)揮著重要的作用，保證所有廣告訂單都可以按時按量并且節(jié)奏均勻的投放完成。

流量匹配算法會分為以下幾個步驟：

第一步，把廣告訂單的投放目標拆分到每個小時，這個拆分會根據(jù)我們預估的流量和緊俏程度來進行分配；

第二步，進行 Offline Solving，把問題建模成一個二步圖匹配算法，然后使用優(yōu)化算法進行壓縮解的求解；

第三步，進行線上調(diào)控，采用 PID ( Proportion Integration Differentiation ) 控制，根據(jù)真實的流量實時進行調(diào)控。

第一個步驟比較簡單，下面簡單介紹一下第二、三步中具體用到的算法。

在離線匹配中，我們把問題建模成一個二部圖匹配問題。

在廣告中最主要有 SUPPLY 與 DEMAND 端的兩個限制條件：上圖中左邊? SUPPLY 表示用戶帶來的流量，流量上會有一些標簽，表示用戶及廣告位的屬性，右邊 DEMAND 表示廣告商的訂單，訂單上也會有些屬性，比如投給男性，或者某個地區(qū)的；SUPPLY 與 DEMAND 之間的連線表示這個廣告位可以投放的廣告。SUPPLY 端的限制條件為最多只有這么多的庫存可以使用，DEMAND 端的限制條件為需要將每個廣告訂單都保量投放完成。

之后可以根據(jù)二部圖建模優(yōu)化問題，求解目標是每個邊的權(quán)重，表示該流量以多大的比例分配給某個廣告訂單。

首先會將原始優(yōu)化問題轉(zhuǎn)化為拉格朗日對偶問題，求解得到對偶變量 α_j?和 β_j，表示的分別是廣告的對偶變量和流量的對偶變量。根據(jù)最優(yōu)解滿足 KKT 條件，我們可以只將相對數(shù)量級較低的廣告對偶變量 α_j?記下來，提高存儲效率，線上再根據(jù) KKT 條件計算 β_j?和 x_ij。α_j?可以被看做各個訂單重要程度影響因子，作為線上選擇訂單的權(quán)重。

但是這里還是存在一個問題，這里全部都是用的預估的流量和訂單來進行匹配，但實際上會發(fā)生一些變化。所以需要第三步，線上實時調(diào)控。第一可以保證適應真實的線上流量， 第二也可以進一步保證投放節(jié)奏的穩(wěn)定性。一般使用 PID ( Proportion Integration Differentiation ) 控制技術(shù)，這是常用于機械、電氣系統(tǒng)中的一種應用非常廣泛的自動控制技術(shù)，分為比例調(diào)節(jié)、積分調(diào)節(jié)、微分調(diào)節(jié)這3項的調(diào)節(jié)，根據(jù)線上廣告真實投放的快慢來調(diào)控接下來應該投放的速度。

----------

以上就是今天的所有內(nèi)容了，由于篇幅有限，計算廣告以及視頻廣告系統(tǒng)中很多涉及到的算法沒有辦法一一覆蓋，也有很多更有挑戰(zhàn)的算法問題亟待研究員和算法工程師們來一一解決。本篇文章作為拋磚引玉，歡迎同行進行探討指正。另外，對廣告算法感興趣、想要了解算法如何在商業(yè)化中落地、想要見證算法如何變現(xiàn)、想要解決具有挑戰(zhàn)性問題的同學，歡迎聯(lián)系：

chunyang.wei@hulu.com

嘉賓介紹

韋春陽，2012年從北京大學碩士畢業(yè)后加入 Hulu，目前擔任智能廣告算法團隊負責人。有7年的計算廣告領(lǐng)域的從業(yè)經(jīng)驗，致力于利用機器學習、人工智能技術(shù)來推動 Hulu 廣告業(yè)務的發(fā)展，負責包括精準廣告定向、廣告流量匹配、廣告庫存預估、廣告轉(zhuǎn)化率優(yōu)化等項目。

總結(jié)

以上是生活随笔為你收集整理的Hulu：视频广告系统中的算法实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。