1、 背景

? ? ? CTR預(yù)估（Click-Through Rate Prediction）是互聯(lián)網(wǎng)計算廣告中的關(guān)鍵環(huán)節(jié)，預(yù)估準確性直接影響公司廣告收入。CTR預(yù)估中用的最多的模型是LR（Logistic Regression）[1]，LR是廣義線性模型，與傳統(tǒng)線性模型相比，LR使用了Logit變換將函數(shù)值映射到0~1區(qū)間[2]，映射后的函數(shù)值就是CTR的預(yù)估值。LR這種線性模型很容易并行化，處理上億條訓(xùn)練樣本不是問題，但線性模型學(xué)習(xí)能力有限，需要大量特征工程預(yù)先分析出有效的特征、特征組合，從而去間接增強LR的非線性學(xué)習(xí)能力。

? ? ? LR模型中的特征組合很關(guān)鍵， 但又無法直接通過特征笛卡爾積解決，只能依靠人工經(jīng)驗，耗時耗力同時并不一定會帶來效果提升。如何自動發(fā)現(xiàn)有效的特征、特征組合，彌補人工經(jīng)驗不足，縮短LR特征實驗周期，是亟需解決的問題。Facebook 2014年的文章介紹了通過GBDT（Gradient Boost Decision Tree）解決LR的特征組合問題[3]，隨后Kaggle競賽也有實踐此思路[4][5]，GBDT與LR融合開始引起了業(yè)界關(guān)注。

? ? ? GBDT（Gradient Boost Decision Tree）是一種常用的非線性模型[6][7][8][9]，它基于集成學(xué)習(xí)中的boosting思想[10]，每次迭代都在減少殘差的梯度方向新建立一顆決策樹，迭代多少次就會生成多少顆決策樹。GBDT的思想使其具有天然優(yōu)勢可以發(fā)現(xiàn)多種有區(qū)分性的特征以及特征組合，決策樹的路徑可以直接作為LR輸入特征使用，省去了人工尋找特征、特征組合的步驟。這種通過GBDT生成LR特征的方式（GBDT+LR），業(yè)界已有實踐（Facebook，Kaggle-2014），且效果不錯，是非常值得嘗試的思路。下圖1為使用GBDT+LR前后的特征實驗示意圖，融合前人工尋找有區(qū)分性特征（raw feature）、特征組合（cross feature），融合后直接通過黑盒子（Tree模型GBDT）進行特征、特種組合的自動發(fā)現(xiàn)。

圖1

2、 GBDT與LR融合現(xiàn)狀

? ? ? GBDT與LR的融合方式，Facebook的paper有個例子如下圖2所示，圖中Tree1、Tree2為通過GBDT模型學(xué)出來的兩顆樹，x為一條輸入樣本，遍歷兩棵樹后，x樣本分別落到兩顆樹的葉子節(jié)點上，每個葉子節(jié)點對應(yīng)LR一維特征，那么通過遍歷樹，就得到了該樣本對應(yīng)的所有LR特征。由于樹的每條路徑，是通過最小化均方差等方法最終分割出來的有區(qū)分性路徑，根據(jù)該路徑得到的特征、特征組合都相對有區(qū)分性，效果理論上不會亞于人工經(jīng)驗的處理方式。

圖2

? ? ? GBDT模型的特點，非常適合用來挖掘有效的特征、特征組合。業(yè)界不僅GBDT+LR融合有實踐，GBDT+FM也有實踐，2014 Kaggle CTR競賽冠軍就是使用GBDT+FM，可見，使用GBDT融合其它模型是非常值得嘗試的思路[11]。

? ? ? 筆者調(diào)研了Facebook、Kaggle競賽關(guān)于GBDT建樹的細節(jié)，發(fā)現(xiàn)兩個關(guān)鍵點：采用ensemble決策樹而非單顆樹；建樹采用GBDT而非RF（Random Forests）。解讀如下：

? ? ? 1）?為什么建樹采用ensemble決策樹？

? ? ? 一棵樹的表達能力很弱，不足以表達多個有區(qū)分性的特征組合，多棵樹的表達能力更強一些。GBDT每棵樹都在學(xué)習(xí)前面棵樹尚存的不足，迭代多少次就會生成多少顆樹。按paper以及Kaggle競賽中的GBDT+LR融合方式，多棵樹正好滿足LR每條訓(xùn)練樣本可以通過GBDT映射成多個特征的需求。

? ? ? 2）?為什么建樹采用GBDT而非RF？

? ? ? RF也是多棵樹，但從效果上有實踐證明不如GBDT。且GBDT前面的樹，特征分裂主要體現(xiàn)對多數(shù)樣本有區(qū)分度的特征；后面的樹，主要體現(xiàn)的是經(jīng)過前N顆樹，殘差仍然較大的少數(shù)樣本。優(yōu)先選用在整體上有區(qū)分度的特征，再選用針對少數(shù)樣本有區(qū)分度的特征，思路更加合理，這應(yīng)該也是用GBDT的原因。

? ? ? 然而，Facebook和Kaggle競賽的思路是否能直接滿足現(xiàn)在CTR預(yù)估場景呢？

? ? ? 按照Facebook、Kaggle競賽的思路，不加入廣告?zhèn)鹊腁DID特征？但是現(xiàn)CTR預(yù)估中，AD ID類特征是很重要的特征，故建樹時需要考慮AD ID。直接將AD ID加入到建樹的feature中？但是AD ID過多，直接將AD ID作為feature進行建樹不可行。下面第三部分將介紹針對現(xiàn)有CTR預(yù)估場景GBDT+LR的融合方案。

3、 GBDT與LR融合方案

? ? ? AD ID類特征在CTR預(yù)估中是非常重要的特征，直接將AD ID作為feature進行建樹不可行，顧考慮為每個AD ID建GBDT樹。但互聯(lián)網(wǎng)時代長尾數(shù)據(jù)現(xiàn)象非常顯著，廣告也存在長尾現(xiàn)象，為了提升廣告整體投放效果，不得不考慮長尾廣告[12]。在GBDT建樹方案中，對于曝光充分訓(xùn)練樣本充足的廣告，可以單獨建樹，發(fā)掘?qū)蝹€廣告有區(qū)分度的特征，但對于曝光不充分樣本不充足的長尾廣告，無法單獨建樹，需要一種方案來解決長尾廣告的問題。

? ? ? 綜合考慮方案如下，使用GBDT建兩類樹，非ID建一類樹，ID建一類樹。1）非ID類樹：不以細粒度的ID建樹，此類樹作為base，即便曝光少的廣告、廣告主，仍可以通過此類樹得到有區(qū)分性的特征、特征組合。2）ID類樹：以細粒度的ID建一類樹，用于發(fā)現(xiàn)曝光充分的ID對應(yīng)有區(qū)分性的特征、特征組合。

? ? ? 如何根據(jù)GBDT建的兩類樹，對原始特征進行映射？以如下圖3為例，當一條樣本x進來之后，遍歷兩類樹到葉子節(jié)點，得到的特征作為LR的輸入。當AD曝光不充分不足以訓(xùn)練樹時，其它樹恰好作為補充。

圖3

? ? ? 通過GBDT 映射得到的特征空間維度如何？GBDT樹有多少個葉子節(jié)點，通過GBDT得到的特征空間就有多大。如下圖4一顆樹，一個葉子節(jié)點對應(yīng)一種有區(qū)分性的特征、特征組合，對應(yīng)LR的一維特征。這顆樹有8個葉子節(jié)點，即對應(yīng)LR 的8維特征。估算一下，通過GBDT轉(zhuǎn)換得到的特征空間較低，Base樹、ID樹各N顆，特征空間維度最高為（N+N*廣告數(shù)+N*廣告主數(shù)+ N*廣告類目數(shù)）*葉子節(jié)點個數(shù)。其中廣告數(shù)、廣告主數(shù)、廣告類目數(shù)都是有限的，同時參考Kaggle競賽中樹的數(shù)目N最多為30，葉子節(jié)點個數(shù)小于10，則估算通過GBDT 映射得到的特征空間維度并不高，且并不是每個ID訓(xùn)練樣本都足以訓(xùn)練多顆樹，實際上通過GBDT 映射得到的特征空間維度更低。

?

圖4

? ? ? 如何使用GBDT 映射得到的特征？

? ? ? 通過GBDT生成的特征，可直接作為LR的特征使用，省去人工處理分析特征的環(huán)節(jié)，LR的輸入特征完全依賴于通過GBDT得到的特征。此思路已嘗試，通過實驗發(fā)現(xiàn)GBDT+LR在曝光充分的廣告上確實有效果，但整體效果需要權(quán)衡優(yōu)化各類樹的使用。同時，也可考慮將GBDT生成特征與LR原有特征結(jié)合起來使用，待嘗試。

4、 總結(jié)與展望

? ? ? 點擊率預(yù)估模型涉及的訓(xùn)練樣本一般是上億級別，樣本量大，模型常采用速度較快的LR。但LR是線性模型，學(xué)習(xí)能力有限，此時特征工程尤其重要。現(xiàn)有的特征工程實驗，主要集中在尋找到有區(qū)分度的特征、特征組合，折騰一圈未必會帶來效果提升。GBDT算法的特點正好可以用來發(fā)掘有區(qū)分度的特征、特征組合，減少特征工程中人力成本，且業(yè)界現(xiàn)在已有實踐，GBDT+LR、GBDT+FM等都是值得嘗試的思路。不同場景，GBDT融合LR/FM的思路可能會略有不同，可以多種角度嘗試。

5、 參考文獻

[1].Chapelle O, Manavoglu E, Rosales R. Simple and scalable responseprediction for display advertising[J]. ACM

[2].?http://blog.csdn.net/lilyth_lilyth/article/details/10032993

[3].?He X, Pan J, Jin O, et al. Practical lessons from predicting clicks on adsat facebook[C]. Proceedings of 20th ACM SIGKDD Conference on KnowledgeDiscovery and Data Mining. ACM, 2014: 1-9.

[4].?http://www.csie.ntu.edu.tw/~r01922136/Kaggle-2014-criteo.pdf

[5].?https://github.com/guestwalk/Kaggle-2014-criteo

[6]. http://www.cnblogs.com/leftnoteasy/archive/2011/03/07/random-forest-and-gbdt.html

[7].?https://github.com/dmlc/xgboost

[8].?http://cos.name/2015/03/xgboost/?replytocom=6610

[9].?http://vdisk.weibo.com/s/vlQWp3erG2yo/1431658679

[10].?Ensemble Methods: Foundations and Algorithms (Chapman& Hall/Crc Machine Learnig & Pattern Recognition): Zhi-Hua Zhou:9781439830031

?[11].?http://blog.csdn.net/hero_fantao/article/details/42747281

[12]. Richardson M, Dominowska E, Ragno R. Predicting clicks: estimatingthe click-through rate for new ads[C]. Proceedings of the 16th internationalconference on World Wide Web. ACM, 2007: 521-530.

轉(zhuǎn)載于:https://www.cnblogs.com/jingsupo/p/CTR-GBDT-LR.html

總結(jié)

以上是生活随笔為你收集整理的CTR预估中GBDT与LR融合方案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。