GBDT + LR 模型融合在之前的推薦系統(tǒng)中很常見，甚至現(xiàn)在有的廠子也在用這一套東西，畢竟每個廠子的業(yè)務不同數(shù)據(jù)不同，所以不同的算法模型效果也會參差不齊

13年左右的時候，業(yè)界訓練模型主要有兩條路:

? ? 大規(guī)模特征 ＋ 線性模型(Goole,Baidu)

? ? 中小規(guī)模特征 ＋ 非線性模型(Yahoo,Bing,Taobao)

之前很多人都會用到LR，是因為LR是線性模型，可以并行處理大量數(shù)據(jù)，但是缺點也是同樣顯著，就是需要大規(guī)模的特征；人工處理大量的特征并不能保證會帶來效果上的提升，因此如何自動組合、挖掘特征是一個重要的問題。

挖掘特征目前主要有兩條路：

?1、FM系列－>通過隱變量的形式，挖掘特征之間的組合關系

?2、樹系列－> GBDT，Xgboot，lightGBM

今天給大家說一下樹系列的組合特征挖掘

GBDT是樹系列的一個模型，拆開來看就是 梯度(G)? + 集成(B) + 決策回歸樹(DT)

首先它是由一顆決策回歸樹(DT)為單位組成的，這里要注意是回歸樹不是分類樹，兩者有區(qū)別，例如預測的是身高、年齡這種連續(xù)的用回歸樹，如果出現(xiàn)是否點擊，是否聊天這種屬于分類

其次它是一個集成(B)的樹，它是一個串行的結構和隨機森林不同，隨機森林是并行結構，為什么說它是串行結構，是因為它會先讓第一個樹先學習，假如你的目標值是10，第一個樹只學到9，那么還有殘差為1沒有學到，第二顆樹的目標值是1而不是10，直到最終學習到的值小于閾值，停止學習

最后說一下梯度(G)，說白了它就是往殘差逐漸減小的方向學習

LR模型大家應該比較清楚啦，它就是一個線性函數(shù)?w1x1+w2x2+......，之后外面套一個sigmoid函數(shù)，把最終的數(shù)值映射到0-1之間，目的學的是w1,w2.....wn這些參數(shù)

GBDT ＋ LR：

說白了就是兩步，

第一步把數(shù)據(jù)輸入到gbdt輸出的是每條數(shù)據(jù)對應一個向量，如下圖所示

第二步把向量輸入到LR分類模型，獲取結果

代碼實現(xiàn):

導入相應包

加載數(shù)據(jù)，預處理

設置參數(shù)，輸出實驗結果:

現(xiàn)在大量的數(shù)據(jù)業(yè)務會出現(xiàn)很多高維度離散數(shù)據(jù)，很多網(wǎng)上的帖子說之所以現(xiàn)在很多樹模型并不適用，是因為大數(shù)據(jù)高維離散特征，樹模型比較容易過擬合，其實以目前我的觀點來看，我并不完全贊同這種說法:

1、感覺很多樹模型并不適用的主要原因是沒有深度模型效果好

2、很多深度模型會加上正則項來控制過擬合，但是在非線性模型樹中，你主要就是調(diào)整樹的深度和個數(shù)，通過訓練集和測試集合的效果的差值來評判是否是過擬合，一般來說訓練集AUC 和測試集AUC 之差大于3%，表示過擬合

3、現(xiàn)在很多公司都在用xgboost,lightgbm這種模型神器，很大一部分原因就是公司業(yè)務不同，數(shù)據(jù)不同，所以不同模型效果不同

很多公司都會測試各種模型，比較那個模型比較好

?

參考:

1、http://quinonero.net/Publications/predicting-clicks-facebook.pdf

2、https://www.jianshu.com/p/96173f2c2fb4

3、https://blog.csdn.net/weixin_41362649/article/details/83184422

4、https://blog.csdn.net/weixin_41362649/article/details/82803279

5、https://blog.csdn.net/weixin_41362649/article/details/82080198

?

總結

以上是生活随笔為你收集整理的GBDT+LR的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。