Boosting

boosting一句話理解：三個臭皮匠，頂個諸葛亮。
在計算機學(xué)習(xí)理論里，強可學(xué)習(xí)和弱可學(xué)習(xí)是等價的。
弱可學(xué)習(xí)模型轉(zhuǎn)化為強可學(xué)習(xí)模型方法：前向分布加法模型。

最簡單前向分布加法模型

y_k+1 = y_k + ( y-y_k )
( y-y_k )即為殘差，每一個新的弱分類器學(xué)習(xí)的目標(biāo)都是殘差
這么一個簡單的模型，能否得到我們想要的結(jié)果？
理論上( y-y_k )只有方向是準(zhǔn)確的，具體是多少是模糊的。

進階用梯度代替殘差，即GB

理論上( y-y_k )只有方向是準(zhǔn)確的，具體是多少是模糊的。
用梯度代替( y-y_k )：
y_k+1 = y_k + ( a_k *梯度)， a_k為步長
這里的梯度就是我們常聽說的偽殘差，擬合偽殘差得到方向，掃描搜索得到最好的步長。

使用指數(shù)函數(shù)為損失函數(shù)，即為Adaboost
使用決策樹為分類器，即為GBDT
通過上述算法，我們(x,偽殘差)得到方向g，（x,g）得到步長（單變量一元回歸）

泰勒展開與GB

GBDT使用上述公式一階泰勒展開
XGBoosting上述公式二階泰勒展開
我們知道泰勒二階展開就是牛頓法，直接求出了方向和步長，不需要線性搜索合適的步長。

XGBoosting

XGBoosting上述公式二階泰勒展開
我們知道泰勒二階展開就是牛頓法，直接求出了方向和步長，不需要線性搜索合適的步長。
實際上處理不會一步到位，避免過擬合
詳細(xì)推導(dǎo)見：https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf link.
從這里可以看出XGBoost基本還是集成前人的東西，考慮大數(shù)據(jù)處理，優(yōu)化并行計算，形成工業(yè)級應(yīng)用才是XGBoost最大作用。

參考學(xué)習(xí)資料：

https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf link.
https://arxiv.org/abs/1603.02754

總結(jié)

以上是生活随笔為你收集整理的从GB到GBDT到XGBoost的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。