【机器学习基础】xgboost系列丨xgboost建树过程分析及代码实现
生活随笔
收集整理的這篇文章主要介紹了
【机器学习基础】xgboost系列丨xgboost建树过程分析及代码实现
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
前面我們通過對論文中的公式詳細(xì)解讀，一步步推導(dǎo)了XGBoost的優(yōu)化目標(biāo)以及建樹方法。下面我們就來動手實踐，拿真實的數(shù)據(jù)來手動計算，并且使用python來實現(xiàn)一個簡易的XGBoost。
01?
手動計算還原xgboost的過程
XGBoost的建樹過程包括下面幾個關(guān)鍵步驟。
計算分裂前樣本的G,H(每個樣本的g,h求和)
貪心枚舉每個特征每個值做為分隔條件
計算分隔后左右節(jié)點的G_l,H_l,G_r,H_r，算出Gain
更新最大增益Gain_max，更新分隔點。
最終得到最優(yōu)分隔點。
根據(jù)上述過程遞歸建樹直到終止條件。
計算葉節(jié)點的權(quán)重w
在建完一個樹后，再建下棵樹時，注意G/H/Gain的計算用到的預(yù)測值要進(jìn)行更新，對之前的所有樹的預(yù)測值求和可以得到建下棵樹時的。
這里我們使用一個簡單的UCI數(shù)據(jù)集?：
http://archive.ics.uci.edu/ml/datasets/Container+Crane+Controller+Data+Set
數(shù)據(jù)集的樣本條數(shù)只有15條，2個特征。具體如下：
<<? 左右滑動查看更多? >>
import?pandas?as?pd df?=?pd.read_csv('1.csv',index_col=0) #?df?=?pd.read_clipboard(index_col=0)?可以直接復(fù)制下面這個表格后使用read_clipboard讀成DataFrame對于二分類問題概率是預(yù)測值經(jīng)過Sigmoid函數(shù)變換后得到的，默認(rèn)預(yù)測概率為0.5，也就是默認(rèn)的預(yù)測值為0。
<<? 左右滑動查看更多? >>
def?log_loss_obj(preds,?labels):preds?=?1.0?/?(1.0?+?np.exp(-preds))grad?=?preds?-?labelshess?=?preds?*?(1.0?-?preds)return?grad,?hessbase_predict?=?np.zeros_like(df.y) g,h?=?log_loss_obj(base_predict,df.y.values)?#?計算每個樣本的g和h df['g'],?df['h']?=?g,h df| 1 | 1 | -5 | 0 | 0.5 | 0.25 |
| 2 | 2 | 5 | 0 | 0.5 | 0.25 |
| 3 | 3 | -2 | 1 | -0.5 | 0.25 |
| 4 | 1 | 2 | 1 | -0.5 | 0.25 |
| 5 | 2 | 0 | 1 | -0.5 | 0.25 |
| 6 | 6 | -5 | 1 | -0.5 | 0.25 |
| 7 | 7 | 5 | 1 | -0.5 | 0.25 |
| 8 | 6 | -2 | 0 | 0.5 | 0.25 |
| 9 | 7 | 2 | 0 | 0.5 | 0.25 |
| 10 | 6 | 0 | 1 | -0.5 | 0.25 |
| 11 | 8 | -5 | 1 | -0.5 | 0.25 |
| 12 | 9 | 5 | 1 | -0.5 | 0.25 |
| 13 | 10 | -2 | 0 | 0.5 | 0.25 |
| 14 | 8 | 2 | 0 | 0.5 | 0.25 |
| 15 | 9 | 0 | 1 | -0.5 | 0.25 |
首先對特征x1上的不同的值進(jìn)行枚舉分裂增益。特征一總共有以下幾個取值：
sorted(df.x1.unique()) #?[1,?2,?3,?6,?7,?8,?9,?10]對x1的取值進(jìn)行排序后，最小值為1，顯然沒有樣本的x1特征值<1，以x1劃分相當(dāng)于沒有進(jìn)行劃分，因此從x1=2進(jìn)行劃分。
<<? 左右滑動查看更多? >>
def?split_data(df,?split_feature,?split_value):left_instance?=?df[df[split_feature]?<?split_value]right_instance?=?df[df[split_feature]?>=?split_value]return?left_instance,?right_instanceleft_instance,?right_instance?=?split_data(df,'x1',2) left_instance.index.tolist(),right_instance.index.tolist() #??([1,?4],?[2,?3,?5,?6,?7,?8,?9,?10,?11,?12,?13,?14,?15])可以看到樣本1,4被劃分到了左側(cè)，其余樣本劃分到了右側(cè)。對劃分后的數(shù)據(jù)計算G/H，并求出分裂后的增益Gain為0.055727554179566596。
<<? 左右滑動查看更多? >>
reg_lambda?=?1 G,H?=?df.g.sum(),?df.h.sum()?#?分裂前全部樣本的G/H for?thresh_values?in?sorted(df.x1.unique())[1:]:???G_left,?H_left?=?left_instance[['g',?'h']].sum()?#?分裂后的G_l,H_lG_right,?H_right?=?right_instance[['g',?'h']].sum()?#?分裂后的G_r,H_rGain?=?G_left**2/(H_left+reg_lambda)+G_right**2?/?\(H_right+reg_lambda)-G**2/(H+reg_lambda)?#?分裂后的增益計算對x1每個取值進(jìn)行劃分，得到下面不同劃分下的增益值。
| 2 | 0.0 | 0.50 | -1.5 | 3.25 | 0.055728 |
| 3 | 0.0 | 1.00 | -1.5 | 2.75 | 0.126316 |
| 6 | -0.5 | 1.25 | -1.0 | 2.50 | -0.076859 |
| 7 | -1.0 | 2.00 | -0.5 | 1.75 | -0.049442 |
| 8 | -1.0 | 2.50 | -0.5 | 1.25 | -0.076859 |
| 9 | -1.0 | 3.00 | -0.5 | 0.75 | -0.080827 |
| 10 | -2.0 | 3.50 | 0.5 | 0.25 | 0.615205 |
同樣，對于特征x2每個取值的分裂情況：
| -2 | -0.5 | 0.75 | -1.0 | 3.00 | -0.080827 |
| 0 | 0.0 | 1.50 | -1.5 | 2.25 | 0.218623 |
| 2 | -1.5 | 2.25 | 0.0 | 1.50 | 0.218623 |
| 5 | -1.0 | 3.00 | -0.5 | 0.75 | -0.080827 |
我們可以看到當(dāng)最大的增益為特征x1=10時，增益為0.615205，因此將x1<10作為第一個分裂條件。
接下來開始進(jìn)行第2個分裂條件的選擇：
<<? 左右滑動查看更多? >>
use_instance,_?=?split_data(df,'x1',10) G,H?=?use_instance.g.sum(),?use_instance.h.sum() for?thresh_values?in?sorted(use_instance.x1.unique())[1:]:???left_instance,?right_instance?=?split_data(use_instance,'x1',thresh_values)G_left,?H_left?=?left_instance[['g',?'h']].sum()G_right,?H_right?=?right_instance[['g',?'h']].sum()Gain?=?G_left**2/(H_left+reg_lambda)+G_right**2?/?\(H_right+reg_lambda)-G**2/(H+reg_lambda)對于特征x1：
| 2 | 0.0 | 0.50 | -2.0 | 3.00 | 0.111111 |
| 3 | 0.0 | 1.00 | -2.0 | 2.50 | 0.253968 |
| 6 | -0.5 | 1.25 | -1.5 | 2.25 | -0.085470 |
| 7 | -1.0 | 2.00 | -1.0 | 1.50 | -0.155556 |
| 8 | -1.0 | 2.50 | -1.0 | 1.00 | -0.103175 |
| 9 | -1.0 | 3.00 | -1.0 | 0.50 | 0.027778 |
對于特征x2：
| -2 | -0.5 | 0.75 | -1.5 | 2.75 | -0.146032 |
| 0 | -0.5 | 1.25 | -1.5 | 2.25 | -0.085470 |
| 2 | -2.0 | 2.00 | 0.0 | 1.50 | 0.444444 |
| 5 | -1.5 | 2.75 | -0.5 | 0.75 | -0.146032 |
因此最優(yōu)的劃分為特征x2<2。
通過不斷的對上述過程迭代，即可遞歸地建出第一棵樹。
02
簡易版XGBoost實現(xiàn)
我們首先使用XGBoost的開源實現(xiàn)來構(gòu)建模型，和下面我們的實現(xiàn)做對比。
<<? 左右滑動查看更多? >>
import?xgboost?as?xgb model?=?xgb.XGBClassifier(n_estimators=2,max_depth=3,learning_rate=0.1,random_state=1,reg_lambda=1,gamma=0,objective='binary:logistic',min_child_weight=0,) model.fit(df[['x1','x2']],df.y) xgb.to_graphviz(model,num_trees=0)可以看到第一棵樹的結(jié)構(gòu)如下：
第二棵樹的結(jié)構(gòu)如下：xgb.to_graphviz(model,num_trees=1)下面我們來用Python實現(xiàn)自己的簡易版XGBoost。
首先創(chuàng)建節(jié)點類，通過節(jié)點的遞歸構(gòu)建出一棵樹。
<<? 左右滑動查看更多? >>
注意這里我們寫了一個visualize_tree方法，使用graphviz來繪制建好的樹的結(jié)構(gòu)，在XGBoost的開源實現(xiàn)中也是使用類似的方案。該方法不是必須的，但是卻對我們了解建樹過程有著很好的幫助。同時我們使用show方法將節(jié)點的信息也字符形式顯示出來。
下面來看一下?lián)p失函數(shù)和建樹過程的實現(xiàn)：
<<? 左右滑動查看更多? >>
#?樹的結(jié)構(gòu)參數(shù) reg_lambda?=?1?#?葉節(jié)點權(quán)重L2正則系數(shù) min_samples_split?=?1?#?分裂所需的最小樣本個數(shù) max_depth?=?3?#?樹的深度#?建樹過程參數(shù) learning_rate?=?0.1?#?學(xué)習(xí)率 n_estimators?=?2?#?樹的個數(shù)#?log損失函數(shù) def?log_loss_obj(preds,?labels):#?preds是建該樹之前模型的輸出，對于二分類問題需要的是概率，因此將該值經(jīng)過Sigmoid轉(zhuǎn)換probs?=?1.0?/?(1.0?+?np.exp(-preds))grad?=?probs?-?labelshess?=?probs?*?(1.0?-?probs)return?grad,?hessdef?build_tree(df,?feature_names,?depth=1):df?=?df.copy()df['g'],?df['h']?=?log_loss_obj(df.y_pred,?df.y)G,?H?=?df[['g',?'h']].sum()Gain_max?=?float('-inf')#?終止條件?當(dāng)前節(jié)點個數(shù)小于分裂所需最小樣本個數(shù)，深度大于max_depth，葉節(jié)點只有一類樣本無需再分if?df.shape[0]?>?min_samples_split?and?depth?<=?max_depth?and?df.y.nunique()?>?1:for?feature?in?feature_names:?#?遍歷每個特征thresholds?=?sorted(set(df[feature]))?#?特征取值排序for?thresh_value?in?thresholds[1:]:?#?遍歷每個取值left_instance?=?df[df[feature]?<?thresh_value]?#?劃分到左右節(jié)點的樣本right_instance?=?df[df[feature]?>=?thresh_value]G_left,?H_left?=?left_instance[['g',?'h']].sum()G_right,?H_right?=?right_instance[['g',?'h']].sum()Gain?=?G_left**2/(H_left+reg_lambda)+G_right**2?/?\(H_right+reg_lambda)-G**2/(H+reg_lambda)?#?評價劃分的增益效果if?Gain?>=?Gain_max:Gain_max?=?Gainsplit_feature?=?feature?#?最大增益對應(yīng)的分裂特征split_value?=?thresh_value?#?最大增益對應(yīng)的分裂值left_data?=?left_instance?#?最大增益對應(yīng)的分裂后左節(jié)點樣本right_data?=?right_instance?#?最大增益對應(yīng)的分裂后右節(jié)點樣本left?=?build_tree(left_data,?feature_names,??depth+1)?#?遞歸建左子樹right?=?build_tree(right_data,?feature_names,?depth+1)#?遞歸建右子樹return?Node(split_feature=split_feature,?split_value=split_value,?left=left,?right=right)?#?返回分裂節(jié)點return?Node(leaf_value=-G/(H+reg_lambda)*learning_rate)?#?分裂終止，返回葉節(jié)點權(quán)重對于單棵樹的預(yù)測，我們使用predict函數(shù)，根據(jù)樹的分裂條件以及當(dāng)前數(shù)據(jù)的信息來確認(rèn)每個樣本被分到當(dāng)前這棵樹的哪個葉節(jié)點，得到對應(yīng)葉節(jié)點的權(quán)重。
<<? 左右滑動查看更多? >>
def?predict(x,?tree):#?遞歸每個分裂點直到樣本對應(yīng)的葉節(jié)點#?終止條件：葉節(jié)點if?tree.leaf_value?is?not?None:return?tree.leaf_valueif?x[tree.split_feature]?<?tree.split_value:return?predict(x,?tree.left)else:return?predict(x,?tree.right)根據(jù)已建好的樹來更新預(yù)測結(jié)果，進(jìn)而確定新建樹的結(jié)構(gòu)，不斷迭代最終得到全部的樹：
<<? 左右滑動查看更多? >>
trees?=?[] y_pred?=?0??#?初始預(yù)測值 for?i?in?range(n_estimators):df['y_pred']?=?y_predtree?=?build_tree(df,?feature_names=['x1',?'x2'])data_weight?=?df[['x1',?'x2']].apply(predict,?tree=tree,?axis=1)y_pred?+=?data_weighttrees.append(tree)對于已建好的樹，使用我們前面定義的visualize_tree函數(shù)，可以方便的看到樹的結(jié)構(gòu)。
第一棵數(shù)的結(jié)構(gòu)：
trees[0].visualize_tree() 第二棵樹的結(jié)構(gòu)：trees[1].visualize_tree()
可以看到，我們自己實現(xiàn)的XGBoost與開源的XGBoost得到的樹的結(jié)構(gòu)是一致的。
03
封? 裝
把前面的各部分代碼封裝成類：
<<? 左右滑動查看更多? >>
import?numpy?as?np import?pandas?as?pd import?xgboost?as?xgb from?graphviz?import?Digraphclass?Node(object):"""結(jié)點leaf_value ：?記錄葉子結(jié)點值split_feature ：特征isplit_value ：?特征i的值left ：?左子樹right ：?右子樹"""def?__init__(self,?leaf_value=None,?split_feature=None,?split_value=None,?left=None,?right=None):self.leaf_value?=?leaf_valueself.split_feature?=?split_featureself.split_value?=?split_valueself.left?=?leftself.right?=?rightdef?show(self):print(f'weight:?{self.leaf_value},?split_feature:?{self.split_feature},?split_value:?{self.split_value}.')def?visualize_tree(self):"""遞歸查找繪制樹"""def?add_nodes_edges(self,?dot=None):if?dot?is?None:dot?=?Digraph()dot.node(name=str(self),label=f'{self.split_feature}<{self.split_value}')#?Add?nodesif?self.left:if?self.left.leaf_value:dot.node(name=str(self.left),label=f'leaf={self.left.leaf_value:.10f}')else:dot.node(name=str(self.left),label=f'{self.left.split_feature}<{self.left.split_value}')dot.edge(str(self),?str(self.left))dot?=?add_nodes_edges(self.left,?dot=dot)if?self.right:if?self.right.leaf_value:dot.node(name=str(self.right),label=f'leaf={self.right.leaf_value:.10f}')else:dot.node(name=str(self.right),label=f'{self.right.split_feature}<{self.right.split_value}')dot.edge(str(self),?str(self.right))dot?=?add_nodes_edges(self.right,?dot=dot)return?dotdot?=?add_nodes_edges(self)return?dotdef?log_loss_obj(preds,?labels):preds?=?1.0?/?(1.0?+?np.exp(-preds))grad?=?preds?-?labelshess?=?preds?*?(1.0?-?preds)return?grad,?hessdef?mse_obj(preds,?labels):grad?=?labels-y_predhess?=?np.ones_like(labels)return?grad,?hessclass?XGB:def?__init__(self,?n_estimators=2,?learning_rate=0.1,?max_depth=3,?min_samples_split=0,?reg_lambda=1,?base_score=0.5,?loss=log_loss_obj):#?學(xué)習(xí)控制參數(shù)self.n_estimators?=?n_estimatorsself.learning_rate?=?learning_rateself.base_score?=?base_score#?樹參數(shù)self.max_depth?=?max_depthself.min_samples_split?=?min_samples_splitself.loss?=?lossself.reg_lambda?=?reg_lambdaself.trees?=?[]self.feature_names?=?Nonedef?sigmoid_array(self,?x):return?1?/?(1?+?np.exp(-x))def?_predict(self,?x,?tree):#?循環(huán)終止條件：葉節(jié)點if?tree.leaf_value?is?not?None:return?tree.leaf_valueif?x[tree.split_feature]?<?tree.split_value:return?self._predict(x,?tree.left)else:return?self._predict(x,?tree.right)def?_build_tree(self,?df,?depth=1):df?=?df.copy()df['g'],?df['h']?=?self.loss(df.y_pred,?df.y)G,?H?=?df[['g',?'h']].sum()Gain_max?=?float('-inf')if?df.shape[0]?>?self.min_samples_split?and?depth?<=?self.max_depth?and?df.y.nunique()?>?1:for?feature?in?self.feature_names:thresholds?=?sorted(set(df[feature]))for?thresh_value?in?thresholds[1:]:left_instance?=?df[df[feature]?<?thresh_value]right_instance?=?df[df[feature]?>=?thresh_value]G_left,?H_left?=?left_instance[['g',?'h']].sum()G_right,?H_right?=?right_instance[['g',?'h']].sum()Gain?=?G_left**2/(H_left+self.reg_lambda)+G_right**2?/?\(H_right+self.reg_lambda)-G**2/(H+self.reg_lambda)if?Gain?>=?Gain_max:Gain_max?=?Gainsplit_feature?=?featuresplit_value?=?thresh_valueleft_data?=?left_instanceright_data?=?right_instance#?print(feature,'Gain:',Gain,'G-Left',G_left,'H-left',H_left,'G-Right',G_right,'H-right',H_right,'----',thresh_value)#?print(Gain_max,split_feature,split_value)left?=?self._build_tree(left_data,??depth+1)right?=?self._build_tree(right_data,??depth+1)return?Node(split_feature=split_feature,?split_value=split_value,?left=left,?right=right)return?Node(leaf_value=-G/(H+self.reg_lambda)*self.learning_rate)def?fit(self,?X,?y):y_pred?=?-np.log((1/self.base_score)-1)df?=?pd.DataFrame(X)df['y']?=?yself.feature_names?=?df.columns.tolist()[:-1]for?i?in?range(self.n_estimators):df['y_pred']?=?y_predtree?=?self._build_tree(df)data_weight?=?df[['x1',?'x2']].apply(self._predict,?tree=tree,?axis=1)y_pred?+=?data_weightself.trees.append(tree)def?predict(self,?X):df?=?pd.DataFrame(X)y_pred?=?-np.log((1/self.base_score)-1)for?tree?in?self.trees:df['y_pred']?=?y_preddata_weight?=?df[['x1',?'x2']].apply(self._predict,?tree=tree,?axis=1)y_pred?+=?data_weightreturn?self.sigmoid_array(y_pred)def?__repr__(self):return?'XGBClassifier('+',?'.join(f'{k}={v}'?for?k,?v?in?self.__dict__.items()?if?not?k.startswith('_'))+')'使用前面同樣的方法，調(diào)用我們自己封裝好的代碼，可以看到很簡潔的實現(xiàn)了跟官方開源實現(xiàn)類似的效果。
df?=?pd.read_csv('1.csv',index_col=0) model?=?XGB() model.fit(df[['x1',?'x2']],?df.y) model.predict(df[['x1',?'x2']]) model.trees[0].visualize_tree()當(dāng)然這里只是一個DEMO，來幫助我們更好的理解論文中的公式以及XGBoost的實現(xiàn)過程，更多的細(xì)節(jié)優(yōu)化可以參考官方實現(xiàn)：https://github.com/dmlc/xgboost
04
參? 考
https://xgboost.readthedocs.io/en/latest/tutorials/model.html
https://blog.csdn.net/qq_22238533/article/details/79477547
https://github.com/dmlc/xgboost/blob/master/demo/guide-python/custom_objective.py
https://github.com/lxmly/machine-learning/blob/master/decision_tree.py
相關(guān)閱讀
往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯 獲取本站知識星球優(yōu)惠券，復(fù)制鏈接直接打開： https://t.zsxq.com/qFiUFMV 本站qq群704220115。加入微信群請掃碼：總結(jié)
以上是生活随笔為你收集整理的【机器学习基础】xgboost系列丨xgboost建树过程分析及代码实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【CV】CVPR2020丨SPSR：基于
- 下一篇： 一般人不清楚--博士群体的择偶标准是什么