相信小伙伴都用過XGBoost模型了，因?yàn)樾Ч?#xff0c;透明易解釋等優(yōu)點(diǎn)，XGBoost已經(jīng)成為了特別流行的算法模型，小編今天也來介紹一下XGBoost調(diào)參。

一、XGBoost參數(shù)解釋

XGBoost有三類參數(shù)：

1.通用參數(shù)：模型的宏觀參數(shù)，控制了模型的宏觀功能，比如booster、nthread、slience。

2.Booster參數(shù)：控制每一步booster tree或regression的生成。

3.學(xué)習(xí)目標(biāo)參數(shù)：決定了學(xué)習(xí)目標(biāo)，如損失函數(shù)或者評價(jià)函數(shù)等。

1.1通用函數(shù)：

1、booster[默認(rèn)gbtree]

選擇每次迭代的模型，有兩種選擇：

gbtree：基于樹的模型進(jìn)行提升

gbliner：基于線性模型進(jìn)行提升

默認(rèn)是gbtree，一般gbtree的效果遠(yuǎn)遠(yuǎn)勝于gbliner

2、silent[默認(rèn)0]

當(dāng)這個(gè)參數(shù)值為1時(shí)，靜默模式開啟，即表示不打印任何運(yùn)行信息。一般這個(gè)參數(shù)就保持默認(rèn)的0，因?yàn)檫@樣能幫我們更好地理解模型。

3、nthread[默認(rèn)值為最大可能的線程數(shù)]

這個(gè)參數(shù)用來進(jìn)行多線程控制，應(yīng)當(dāng)輸入系統(tǒng)的核數(shù)。默認(rèn)是當(dāng)前系統(tǒng)最大線程數(shù)。

4、num_pbuffer[系統(tǒng)自動(dòng)設(shè)置]

5、num_feature[系統(tǒng)自動(dòng)設(shè)置]

1.2booster參數(shù)

這里以gbtree為例進(jìn)行介紹：

1、eta[默認(rèn)0.3]

學(xué)習(xí)速率，用于控制樹的權(quán)重，xgb模型在進(jìn)行完每一輪迭代之后，會(huì)將葉子節(jié)點(diǎn)的分?jǐn)?shù)乘上該系數(shù)，以便于削弱各棵樹的影響，避免過擬合。

一般對eta進(jìn)行調(diào)優(yōu)時(shí)會(huì)結(jié)合迭代次數(shù)進(jìn)行考慮。

如增加eta，就減少迭代次數(shù)。反之亦然。

2、min_child_weight[默認(rèn)1]

表示最小葉子節(jié)點(diǎn)樣本權(quán)重的和?？捎糜诒苊膺^擬合。當(dāng)它的值較大時(shí)，可以避免模型學(xué)習(xí)到局部的特殊樣本。但是如果這個(gè)值過高，會(huì)導(dǎo)致欠擬合。這個(gè)參數(shù)需要使用CV來調(diào)整。

3、max_depth[默認(rèn)6]

表示樹的最大深度。也是用來避免過擬合的。當(dāng)它的值越大時(shí)，模型會(huì)學(xué)到更具體更局部的樣本，可能會(huì)導(dǎo)致過擬合。需要使用CV函數(shù)來進(jìn)行調(diào)優(yōu)。 典型值：3-10

4、max_leaf_nodes

表示樹上最大的節(jié)點(diǎn)或葉子的數(shù)量。可以替代max_depth的作用。因?yàn)槿绻傻氖嵌鏄?#xff0c;一個(gè)深度為n的樹最多生成n2個(gè)葉子。

5、gamma[默認(rèn)0]

在節(jié)點(diǎn)分裂時(shí)，只有分裂后損失函數(shù)的值下降了，才會(huì)分裂這個(gè)節(jié)點(diǎn)。Gamma指定了節(jié)點(diǎn)分裂所需的最小損失函數(shù)下降值。 這個(gè)參數(shù)的值越大，算法越保守。這個(gè)參數(shù)的值和損失函數(shù)息息相關(guān)，所以是需要調(diào)整的。

6、max_delta_step[默認(rèn)0]

這參數(shù)限制每棵樹權(quán)重改變的最大步長。如果這個(gè)參數(shù)的值為0，那就意味著沒有約束。如果它被賦予了某個(gè)正值，那么它會(huì)讓這個(gè)算法更加保守。 通常，這個(gè)參數(shù)不需要設(shè)置。但是當(dāng)各類別的樣本十分不平衡時(shí)，它對邏輯回歸是很有幫助的。這個(gè)參數(shù)一般用不到，但是你可以挖掘出來它更多的用處。

7、subsample[默認(rèn)1]

這個(gè)參數(shù)控制對于每棵樹，隨機(jī)采樣的比例。減小這個(gè)參數(shù)的值，算法會(huì)更加保守，避免過擬合。但是，如果這個(gè)值設(shè)置得過小，它可能會(huì)導(dǎo)致欠擬合。 典型值：0.5-1

8、colsample_bytree[默認(rèn)1]

和GBM里面的max_features參數(shù)類似。用來控制每棵隨機(jī)采樣的列數(shù)的占比(每一列是一個(gè)特征)。 典型值：0.5-1

9、colsample_bylevel[默認(rèn)1]

用來控制樹的每一級的每一次分裂，對列數(shù)的采樣的占比。我個(gè)人一般不太用這個(gè)參數(shù)，因?yàn)閟ubsample參數(shù)和colsample_bytree參數(shù)可以起到相同的作用。但是如果感興趣，可以挖掘這個(gè)參數(shù)更多的用處。

10、lambda[默認(rèn)1]

權(quán)重的L2正則化項(xiàng)。(和Ridgeregression類似)。 這個(gè)參數(shù)是用來控制XGBoost的正則化部分的。雖然大部分?jǐn)?shù)據(jù)科學(xué)家很少用到這個(gè)參數(shù)，但是這個(gè)參數(shù)在減少過擬合上還是可以挖掘出更多用處的。

11、alpha[默認(rèn)1]

權(quán)重的L1正則化項(xiàng)。(和Lassoregression類似)。 可以應(yīng)用在很高維度的情況下，使得算法的速度更快。

12、scale_pos_weight[默認(rèn)1]

在各類別樣本十分不平衡時(shí)，把這個(gè)參數(shù)設(shè)定為一個(gè)正值，可以使算法更快收斂。

1.3學(xué)習(xí)任務(wù)參數(shù)

這個(gè)參數(shù)用來控制理想的優(yōu)化目標(biāo)和每一步結(jié)果的度量方法。

1、objective[默認(rèn)reg:linear]

這個(gè)參數(shù)定義需要被最小化的損失函數(shù)。最常用的值有：

binary：logistic

binary：logitraw

2、eval_metric[默認(rèn)值取決于objective參數(shù)的取值]

評價(jià)模型的指標(biāo)，主要是對驗(yàn)證集進(jìn)行評價(jià)。對于回歸問題，默認(rèn)值是rmse，對于分類問題，默認(rèn)值是error。典型值有：

rmse均方根誤差

mae 平均絕對誤差

logloss負(fù)對數(shù)似然函數(shù)值

error二分類錯(cuò)誤率(閾值為0.5)

merror多分類錯(cuò)誤率

mlogloss多分類logloss損失函數(shù)

auc曲線下面積

3、seed(默認(rèn)0)

隨機(jī)數(shù)的種子 設(shè)置它可以復(fù)現(xiàn)隨機(jī)數(shù)據(jù)的結(jié)果，也可以用于調(diào)整參數(shù)。

二、XGBoost調(diào)參示例

以下主要用網(wǎng)格搜索和隨機(jī)搜索做示例：

原始數(shù)據(jù)集還是用小編上傳在github上的數(shù)據(jù)集。

本篇文章使用CV進(jìn)行調(diào)參，

首先定義一個(gè)XGBoost CV 函數(shù)， 它可以建立xgb模型并可以進(jìn)行交叉驗(yàn)證。

接下來就開始進(jìn)行調(diào)參了：

1. 選擇較高的學(xué)習(xí)速率(learningrate)。一般情況下，學(xué)習(xí)速率的值為0.1。但是，對于不同的問題，理想的學(xué)習(xí)速率有時(shí)候會(huì)在0.05到0.3之間波動(dòng)。選擇對應(yīng)于此學(xué)習(xí)速率的理想決策樹數(shù)量。

2. 對于給定的學(xué)習(xí)速率和決策樹數(shù)量，進(jìn)行決策樹特定參數(shù)調(diào)優(yōu)(max_depth, min_child_weight, gamma, subsample, colsample_bytree)。在確定一棵樹的過程中，我們可以選擇不同的參數(shù)。

3.xgboost的正則化參數(shù)的調(diào)優(yōu)。(lambda, alpha)。這些參數(shù)可以降低模型的復(fù)雜度，從而提高模型的表現(xiàn)。

4. 降低學(xué)習(xí)速率，確定理想?yún)?shù)。

未完待續(xù)。。。

謝謝大家返回搜狐，查看更多

責(zé)任編輯：

20201203

max_depth 和 max_leaf_nodes
二者可以替代,只需設(shè)置其中一個(gè)就可以了
gamma:在最大深度或者最大結(jié)點(diǎn)數(shù)量之內(nèi) 如果分裂后損失函數(shù)的值下降了,就會(huì)分裂這個(gè)節(jié)點(diǎn)
max_delta_step:賦予正值 意味著 給了其取最大值的限制 所以說保守
subsample:這個(gè)參數(shù)控制對于每棵樹，隨機(jī)采樣的比例 是對樣本采樣
colsample_bytree:和GBM里面的max_features參數(shù)類似。用來控制每棵隨機(jī)采樣的列數(shù)的占比
alpha[默認(rèn)1]
權(quán)重的L1正則化項(xiàng)。(和Lassoregression類似)。 可以應(yīng)用在很高維度的情況下，使得算法的速度更快。
scale_pos_weight[默認(rèn)1]
在各類別樣本十分不平衡時(shí)，把這個(gè)參數(shù)設(shè)定為一個(gè)正值，可以使算法更快收斂。

總結(jié)

以上是生活随笔為你收集整理的xgboost重要参数2为主但不全要参照1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。