關(guān)注+星標(biāo)，聽說他有點東西

全文共?6481?字，閱讀全文需?16?分鐘

寫在前面的話

大家好，我是小一

2021 年第一篇文章，還是決定用 6000 多字的技術(shù)文來開篇。

今天的文章是機器學(xué)習(xí)算法里面比較重要的一篇，也是目前常規(guī)比賽較為流行的一種建模方式。

還是那句話，建議先收藏，一遍看不懂就看三遍，集成學(xué)習(xí)最后的高山，就在眼前了！

ok，直接開始 LightGBM 算法

---

LightGBM 是對 XgBoost 算法的強化，并且對 XgBoost 算法中的問題進(jìn)行了相應(yīng)的改進(jìn)和優(yōu)化。

回顧一下 xgb 算法：

xgb 算法是屬于 boosting 算法中的一種，是 GBDT 算法的一個工程實現(xiàn)。xgb 在訓(xùn)練的時候關(guān)注的是殘差，通過在目標(biāo)函數(shù)中使用二階泰勒展開和加入正則化的方式提高了模型的精度的同時降低模型的過擬合。

xgb 在決策樹的生成過程中采用精確貪心的思路，尋找最佳分裂點的時候使用預(yù)排序算法，對所有特征按照特征的數(shù)值進(jìn)行預(yù)排序，然后遍歷每個特征上的所有分裂點，計算該分裂點分裂后的全部樣本的目標(biāo)函數(shù)增益，找到最大增益對應(yīng)的特征和候選分裂點位，從而進(jìn)行分裂，一層一層的完成建樹過程。

xgb 訓(xùn)練的時候，是通過加法的方式進(jìn)行訓(xùn)練，每一次通過減少殘差訓(xùn)練一棵樹，最后的預(yù)測結(jié)果是所有樹的加和表示。

對應(yīng)的，xgb 因為每次分裂之前先根據(jù)特征對樣本進(jìn)行預(yù)排序，之后會計算所有特征對應(yīng)的所有分裂點的目標(biāo)函數(shù)增益，所以導(dǎo)致不但需要額外空間存儲預(yù)排序的結(jié)果，還會造成時間上很大的開銷，每遍歷一個分割點都需要計算分裂增益，并且在選擇最大增益的時候需要對比所有樣本的增益情況。

因此，基于 xgb 尋找最優(yōu)分裂點的復(fù)雜度，可以總結(jié)如下：

復(fù)雜度 = 特征數(shù)量 * 分裂點數(shù)量 * 樣本數(shù)量

具體 xgb 的推導(dǎo)可以參考上篇文章：集成算法終極模型之《手撕 xgboost》—附詳細(xì)手推公式

說完了 xgb 再來看 lgb， 既然 lgb 是對 xgb 的優(yōu)化，那應(yīng)該也是從上面三個維度進(jìn)行優(yōu)化。例如：減少特診數(shù)量、優(yōu)化分裂點的個數(shù)、減少樣本數(shù)量等。

Lightgbm 算法確實是這樣做的，首先 lgb 通過直方圖算法進(jìn)一步減少分裂點的數(shù)量【相比 xgb 的近似算法，直方圖算法更優(yōu)】，通過單邊梯度抽樣算法減少樣本數(shù)量，通過互斥特征捆綁算法減少特征的數(shù)量。

下面詳細(xì)看看這三個算法的細(xì)節(jié)優(yōu)化

直方圖算法

直方圖算法是把連續(xù)的浮點特征離散化為 k 個整數(shù)，也是采用了分箱的思想，不同的是直方圖算法根據(jù)特征所在的 bin 對其進(jìn)行梯度累加和個數(shù)統(tǒng)計。

在遍歷數(shù)據(jù)的時候，根據(jù)離散化的后的值作為索引在直方圖中累積統(tǒng)計量，當(dāng)遍歷一次數(shù)據(jù)后，直方圖累積了需要的統(tǒng)計量，然后根據(jù)直方圖的離散值，遍歷尋找最優(yōu)的分裂點。

具體可以參考下圖：

預(yù)排序算法中，根據(jù)特征的不同取值進(jìn)行分割，在直方圖算法不考慮特征的取值，直接根據(jù)樣本的在每個 bin 中的數(shù)量，并且在新的 bin 中存儲的是特征取值的個數(shù)。

這樣在遍歷該特征的時候，只需要根據(jù)直方圖的離散值，遍歷尋找最優(yōu)的分割點即可。并且由于 bins 的數(shù)量是遠(yuǎn)遠(yuǎn)小于特征不同取值的數(shù)量，所有分桶之后要遍歷的分裂點個數(shù)會少很多，進(jìn)一步減少計算量。

另外，xgb 在進(jìn)行預(yù)排序的時候只考慮非零值進(jìn)行加速【稀疏感知】，lgb 也采用非零特征去構(gòu)建直方圖。

由于 xgb 需要用 32 位的浮點數(shù)去存儲特征值，并且用32位的整型去存儲預(yù)排序的索引，而在 lgb 中只需要保存特征離散化的值，這個值一般用 8 位的整型存儲即可，在內(nèi)存消耗上也降為原來的 1/8

直方圖做差加速

在直方圖算法中一個技巧是直方圖做差加速。當(dāng)節(jié)點分裂成兩個時，右子節(jié)點直方圖等于父節(jié)點的直方圖減去左子節(jié)點的直方圖。

畫圖描述一下是這樣的：

利用這個方法，Lightgbm 可以在構(gòu)造一個葉子（含有較少數(shù)據(jù)）的直方圖后，可以用非常微小的代價得到它兄弟葉子（含有較多數(shù)據(jù)）的直方圖。

注意：原來在做每個子節(jié)點的直方圖需要將該節(jié)點上的樣本都計算一遍，現(xiàn)在只需要計算較少子節(jié)點的直方圖，然后用父節(jié)點-子節(jié)點=另一個子節(jié)點

通過直方圖算法找到的分割點并不算是最優(yōu)的分割點，畢竟相比 xgb 算法來說通過 bins 分箱之后分裂點少了很多。但是正因為這個導(dǎo)致加上了一個正則化的效果，使得生成的弱分類器的有效的防止過擬合。

直方圖算法可以起到的作用就是減少分割點的數(shù)量，加快計算。

xgb 中的近似算法其實也類似 lgb 的直方圖算法，為什么速度比 lgb 慢很多？

從原理上來說，xgb 的近似算法是根據(jù)對 loss 的影響權(quán)值劃分，用每個樣本的 hi 進(jìn)行分裂點劃分。在分裂之前會先根據(jù)當(dāng)前特征對整體的樣本都進(jìn)行預(yù)排序，也就是說針對不同的特征預(yù)排序結(jié)果不一樣，這也將會導(dǎo)致二階導(dǎo)的分布發(fā)生變化。

因此，xgb 的直方圖算法并不是針對某個特征的 feature，所以在每一層都需要動態(tài)的構(gòu)建直方圖。而 lgb 針對每個特征都有一個直方圖，構(gòu)建一次就可以，并且在分裂的時候還可以通過直方圖進(jìn)行做差加速。

所以，xgb 的近似算法是不如 lgb 的直方圖算法快的

單邊梯度抽樣算法 GOSS

單邊梯度算法：Gradient-based One-Side Sampling，簡稱 GOSS

GOSS 是從減少樣本的角度出發(fā)，排除大部分權(quán)重小的樣本，僅用剩下的樣本計算信息增益。

稍微解釋一下上一句話：我們知道 GBDT 算法關(guān)注的是殘差，并且算法的梯度大小可以反映樣本的權(quán)重，這就說明梯度越小模型擬合的越好，而殘差正是樣本梯度的一個相反數(shù)。

可參考：xgb 中對于一階梯度的推導(dǎo)：集成算法終極模型之《手撕 xgboost》—附詳細(xì)手推公式

總結(jié)一下：如果要想模型降低殘差的效果好，那么樣本的梯度就應(yīng)該越大越好，反之梯度小的樣本對于降低殘差的效果不大。

那，直接篩選所有梯度大的樣本豈不是效果會很好？

道理沒錯，但是，如果直接去掉梯度小的數(shù)據(jù)，會改變數(shù)據(jù)的分布，所以 lgb 提出了單邊梯度抽樣算法，根據(jù)樣本的權(quán)重信息進(jìn)行抽樣，減少了大量梯度小的樣本，但是還不會過多的改變數(shù)據(jù)集的分布。

主要是因為 GOSS 算法保留了梯度大的樣本，并對梯度小的樣本進(jìn)行隨機抽取，在計算增益的時候為梯度小的樣本引入了一個常數(shù)進(jìn)行平衡。

首先將要進(jìn)行分裂的特征的所有取值按照絕對值大小降序排序，然后取前面 a% 的梯度大的樣本和剩下樣本的 b%，在計算增益的時候，后面的 b% 乘以 ?來放大梯度小的樣本的權(quán)重。

這樣做的好處是將更多的在注意力放在訓(xùn)練不足的樣本上，也可以通過權(quán)重來防止采樣對原始數(shù)據(jù)分布造成太大的影響

看個例子

假設(shè)目前有 8 個訓(xùn)練樣本，a=b=25%，樣本分為 3 個 bins，對應(yīng)的一階導(dǎo)和二階導(dǎo)如下：

首先根據(jù)樣本的一階導(dǎo)數(shù)【gi】對樣本進(jìn)行排序，結(jié)果如下：

利用 GOSS 算法進(jìn)行采樣，選出 8*a=2 個梯度大的樣本，選出 8 *b=2 個梯度小的樣本。

選中 2 個梯度大的樣本為 6號 和 7號，從剩下的里面隨機選中兩個梯度小的樣本 2號 和 4號

梯度小的樣本需要乘以權(quán)重：，也就是隨機選出的 2號 和 4號。根據(jù) GOSS 算法采樣后的樣本重新構(gòu)建直方圖如下：

黑色的是梯度大的樣本，不需要乘以權(quán)重，紅色的是梯度小的樣本，需要乘以 ?(1-a)/b

梯度小的樣本乘以相應(yīng)的權(quán)重以后，可以發(fā)現(xiàn)最終的樣本總個數(shù)依然是 8個，lgb 正是通過 GOSS 采樣的方式，在不降低太多精度的同時，減少了樣本數(shù)量，使得訓(xùn)練速度加快。

互斥特征捆綁算法 EFB

互斥特征捆綁算法：Exclusive Feature Bundling，EFB

前面說過 EFB 算法是通過減少特征數(shù)量使用 lgb 算法更快，它指出如果將一些特征進(jìn)行融合捆綁，則可以降低特征數(shù)量。

類似于 one-hot 獨熱編碼的原理，對于高維度的稀疏數(shù)據(jù)，可以通過捆綁的方式減少特征的維度。通常被捆綁的特征之間是互斥的【特征不會同時為非零值】，這樣才不會丟失信息。但是當(dāng)特征之間并不是互斥的時候，就需要用一個指標(biāo)對特征不互斥程度進(jìn)行衡量【稱之為沖突比率】，當(dāng)沖突比率比較小的時候可以把兩個不完全互斥的特征進(jìn)行捆綁，從而不影響最后的精度

極端情況下，x1、x2、x3、x4之間完全互斥，則可以進(jìn)行如下捆綁：

如何判定哪些特征可以進(jìn)行捆綁？

Greedy bundle 算法利用特征和特征間的關(guān)系構(gòu)造一個加權(quán)無向圖，并將其轉(zhuǎn)換為圖著色問題，通過貪心策略得到近似解，以此來生成 bundle。

圖著色問題：給定無向連通圖 G 和 m 種不同的顏色。用這些顏色為圖 G 的各頂點著色，每個頂點著一種顏色。是否有一種著色法使 G 中每條邊的 2 個頂點著不同顏色？

看一個圖著色的例子：

Greedy bundle 算法在處理的時候的具體步驟如下：

• 構(gòu)造一個加權(quán)無向圖，頂點是特征，邊的權(quán)重是兩個特征的總沖突值【即兩個特征上同時不為0的樣本個數(shù)】

• 根據(jù)節(jié)點的度進(jìn)行降序排序，度越大，表示與其他特征的沖突越大

• 對于每一個特征，通過遍歷已有的特征簇【沒有則新建一個】，如果該特征加入到特征簇中的沖突值不超過某個閾值，則將該特征加入到該簇中。如果該特征不能加入任何一個已有的特征簇，則新建一個簇，并加入該特征。

EFB 算法允許特征并不完全互斥來增加特征捆綁的數(shù)量，在具體計算的時候需要設(shè)置一個最大互斥率指標(biāo)，一般情況下這個指標(biāo)設(shè)置會相對較小，此時算法的精度和效率之間會有一個最優(yōu)值

像上面極端情況下，特征之間都是相互獨立的點，度都為0，所以排序之后發(fā)現(xiàn)與其他特征的沖突為0，直接放到一個簇里面并不影響。

但是大多數(shù)的特征之間并不是相互獨立的，比如說下圖中的特征：

針對上圖的訓(xùn)練集，EFB 算法在處理的時候：① 首先會先建圖，計算每個頂點的總沖突值，② 其次根據(jù)節(jié)點的度進(jìn)行排序，③ 最后針對每個特征進(jìn)行遍歷，根據(jù)特征的沖突值對其進(jìn)行簇的劃分

具體的操作流程是這樣的：

最后，可以發(fā)現(xiàn)是將特征 x1、x4 進(jìn)行了特征捆綁，最后的捆綁之后特征如下：

上面的過程存在一個缺點：在特征數(shù)量特征多的時候，第一步建立加權(quán)無向圖會影響效率，此時可以直接統(tǒng)計特征之間非零樣本的個數(shù)，并將其進(jìn)行排序。

這樣做的原因是因為更多的非零值的特征會導(dǎo)致更多的沖突，同樣可以達(dá)到特征加權(quán)的目的

Greedy bundle 【貪婪捆綁】算法的偽代碼如下：

特征如何捆綁？捆綁之后的特征值如何計算？

Merge Exclusive Features 算法將 bundle 中的特征合并為新的特征，合并的關(guān)鍵是原有的不同特征值在構(gòu)建后的 bundle 中仍能夠識別。

由于基于直方圖的方法存儲的是離散的 bin 而不是連續(xù)的數(shù)值，因此可以通過添加偏移的方法將不同的 bin 值設(shè)定為不同的區(qū)間。

舉個例子：特征 A 和特征 B 可以實現(xiàn)特征捆綁，A 特征的原始取值區(qū)間是[0,10) ，B 特征的原始取值是[0,20)。如果直接進(jìn)行特征值的相加，那么 5 這個值我們不能分清它是出自特征 A 還是特征 B。此時可以給特征 B 加一個偏移量 10 將取值區(qū)間轉(zhuǎn)換成 [10,30)，這時進(jìn)行特征捆綁就可以分清來源。

MEF 特征合并算法的偽代碼如下：

通過 EFB 算法，許多排他的特征會被捆綁成更少的密集特征，大大減少了特征的數(shù)量，對訓(xùn)練速度帶來很大的提升。

對于類別型特征，如果在特征處理的時候有進(jìn)行過 onehot 編碼，那么 EFB 算法會再次將這些特征進(jìn)行捆綁，畢竟這些特征屬于互斥特征，符合特征捆綁的要求。

所以，對于類別型的特征，lgb 可以直接將每個特征取值和一個 bin 關(guān)聯(lián)，從而自動的進(jìn)行處理，而不需要在特征工程中進(jìn)行 onehot 編碼。

LightGBM 的生長策略 Leaf-wise

稍微總結(jié)一下，目前我們已經(jīng)知道 lgb 在分裂點數(shù)量、特征數(shù)量和樣本數(shù)量上進(jìn)行優(yōu)化，其中直方圖算法減少了分裂點的數(shù)量、GOSS 算法減少了樣本的數(shù)量，EFB 算法減少了特征的數(shù)量。

其中在創(chuàng)建樹的過程中， lgb 除了在尋找最優(yōu)分裂點的過程中進(jìn)行了優(yōu)化，在樹的生成過程中也進(jìn)行了優(yōu)化，它拋棄了 xgb 中的按層生成【Level-wise】，而使用了帶有深度限制的按葉子生長【Leaf-wise】。

xgb 在樹的生成過程中采用了 level-wise 的增長策略，該策略遍歷一次數(shù)據(jù)可以同時分裂同一層的所有葉子，容易進(jìn)行多線程的優(yōu)化，并且不會因為某個分支過深造成過擬合現(xiàn)象。

Level-wise 算法不加區(qū)分的對待同一層的葉子，實際上部分葉子的分裂增益較低，沒必要進(jìn)行后續(xù)的分裂操作，因為帶來了很多沒有必要的計算開銷。

Leaf-wise 算法則是從當(dāng)前所有葉子中，找到分裂增益最大的一個葉子，然后分裂，一直到達(dá)到要求為止。所以在分裂次數(shù)相同的情況下，Leaf-wise 生成的樹可能會較深，所以相比而言它可以降低更多的誤差，得到更好的精度。

同時因為 Leaf-wise 生成的樹比較深，容易產(chǎn)生過擬合現(xiàn)象，所以 lgb 在 Leaf-wise 之上增加了一個最大深度的限制，在保證高效率的同時防止過擬合。

總的來說，Level-wise 會產(chǎn)生一些低信息增益的節(jié)點，浪費運算資源的同時防止過擬合；Leaf-wise 會尋找更多高信息增益的節(jié)點，追求精度降低誤差的同時會帶來過擬合的問題。

但是過擬合問題可以通過設(shè)置 max_depth 來控制樹的深度，并且 lgb 在直方圖、GOSS 算法上都有正則化的體現(xiàn)，所以綜合考慮 Leaf-wise 是一種更優(yōu)的選擇。

類別特征最優(yōu)分割

lgb 的這個特點前面也有說到，在處理類別特征的時候，不需要通過 one-hot 編碼將類別特征轉(zhuǎn)換成多維的0/1特征，并且在決策樹模型中也并不推薦使用 one-hot 編碼，會存在以下問題：

• 會產(chǎn)生樣本切分不平衡問題，導(dǎo)致切分增益非常小

  使用 one-hot 編碼意味著在每一個決策節(jié)點上只能使用 one vs rest 的決策方式【即 1 vs n-1】。

  當(dāng)對某一特征進(jìn)行切分后，這一特征上只有少量樣本為 1，大量樣本為 0 【或者相反】，這時因為較小的切分樣本集占總樣本的比例太小，所以無論它的增益多大，乘以該比例后幾乎可以忽略；同樣的較大的拆分樣本集，因為幾乎是原始的樣本集，所以增益幾乎為 0。

  直觀上的理解就是不平衡的切分相當(dāng)于沒有切分。

• 會影響決策樹的學(xué)習(xí)

  決策樹依賴的是數(shù)據(jù)的統(tǒng)計信息，而獨熱編碼會把數(shù)據(jù)切分到零散的小空間上。零散的小空間上的統(tǒng)計信息是不準(zhǔn)確的，學(xué)習(xí)效果會變差。如下圖左

  相反，在下圖右的切分方法，數(shù)據(jù)會被切分到兩個比較大的空間，統(tǒng)計信息會更準(zhǔn)確，下一步的學(xué)習(xí)也會更好些。

  下圖右葉子節(jié)點的含義是 x=A 或者 X=C 時放在左孩子，其余放到右孩子。

基于上面問題—解決 one-hot 編碼處理類別特征的不足，lgb 優(yōu)化了對類別特征的支持，可以直接輸入類別特征，而不需要額外的 0/1 展開。

lgb 采用 many-vs-many 的切分方式將類別特征分為兩個子集，實現(xiàn)了類別特征的最優(yōu)切分【即 m vs n】。

工程上的優(yōu)化

和 xgb 一樣，lgb 不但有算法上的優(yōu)化，還存在工程上的優(yōu)化。工程優(yōu)化主要涉及到兩點：

高效并行

• 特征并行

  思想：不同機器在不同的特征集合上分別尋找最優(yōu)的分割點，然后在機器間同步最優(yōu)的分割點。

  注意 lgb 是在每臺機器上保存全部訓(xùn)練數(shù)據(jù)，在得到最佳劃分方案后可在本地執(zhí)行劃分而減少了不惜要的通信。

• 數(shù)據(jù)并行

  lgb 通過分散規(guī)約把直方圖合并的任務(wù)分?jǐn)偟讲煌臋C器，降低通信和計算，并利用直方圖做差進(jìn)一步減少了一半的通信量。

• 投票并行

  找出本地 Top K 的特征，并基于投票篩選出可能是最優(yōu)分割點的特征，在合并時只合并每個機器篩選出來的特征。

  可以參考隨機森林算法中的投票策略。

Cache 命中率優(yōu)化

lgb 所使用的直方圖算法對 Cache 天生友好，首先是所有的特征都采用相同的方式計算梯度（區(qū)別于 xgb 不同的特征通過不同的索引獲得梯度），只需要對梯度進(jìn)行排序即可實現(xiàn)連續(xù)訪問，大大提高了緩存的命中率。

其次，在內(nèi)存上不需要存儲葉子索引的數(shù)組，所以也就不存在 Cache Miss 的問題。

總結(jié)

lgb 針對 xgb 做了很多的優(yōu)化，從而導(dǎo)致它的速度更快，效率更優(yōu)。基于 xgb 的優(yōu)化策略，lgb 主要從減少分裂點數(shù)量、減少樣本數(shù)量、減少特征數(shù)量上進(jìn)行優(yōu)化。

在尋找最優(yōu)分裂點上，我們說了直方圖算法算法原理，這個可以降低分裂點的數(shù)量，然后又通過 GOSS 技術(shù)通過單邊梯度抽樣降低了樣本的數(shù)量，最后通過 EFB 算法從貪心捆綁和特征整合上減少了特征的數(shù)量。

除此之外，lgb 在樹的生長策略上進(jìn)行了優(yōu)化，不再使用 xgb 的Level-wise 的生長策略，而使用基于葉子節(jié)點的 Leaf-wise 的生長策略，從而提高了模型的精度。

最后是在類別特征上，lgb 支持類別特征，并且采用 many-vs-many 的切分方式將類別特征分為兩個子集，實現(xiàn)類別特診的最優(yōu)切分。

另外，lgb 還進(jìn)行了工程上的優(yōu)化，通過特征并行、數(shù)據(jù)并行和投票并行的方式實現(xiàn)高效并行，通過直方圖算法對 ?Cache 的命中率進(jìn)行優(yōu)化。

以上就是 lgb 的技術(shù)總結(jié)，lgb 正是通過上述的方式提高了訓(xùn)練速度，所以相比于 xgb 會更快

lgb 相比 xgb 的優(yōu)點

lgb 相比 xgb 有內(nèi)存和速度上的優(yōu)化，這些優(yōu)點一般會在面試的時候被提到，總結(jié)如下：

速度更快

• lgb 采用直方圖算法將遍歷樣本轉(zhuǎn)變?yōu)楸闅v直方圖，極大的降低了時間復(fù)雜度；

• lgb 在訓(xùn)練過程中采用 GOSS 單邊梯度抽樣算法過濾掉梯度小的樣本，減少了大量的計算；

• lgb 采用 Leaf-wise 算法的策略構(gòu)建樹，減少了葉子節(jié)點的分裂，提高了模型的精度；

• lgb 采用優(yōu)化后的特征并行、數(shù)據(jù)并行方法加速計算，在數(shù)據(jù)量非常大的時候還可以采用投票并行策略加速計算；

• lgb 對緩存進(jìn)行優(yōu)化，增加了緩存命中率。

內(nèi)存更小

• xgb 使用預(yù)排序后需要記錄特征值及其對應(yīng)樣本的統(tǒng)計值的索引，而 lgb 使用了直方圖算法不需要記錄特征到樣本的索引，極大的減少了內(nèi)存消耗；

• lgb 采用了直方圖算法將存儲特征值轉(zhuǎn)變成存儲 bin 值，降低了內(nèi)存消耗；

• lgb 在訓(xùn)練過程中采用互斥特征捆綁算法減少了特征數(shù)量，降低了內(nèi)存消耗。

參考文獻(xiàn)

【1】LightGBM: A Highly Efficient Gradient Boosting Decision Tree

【2】LightGBM 文檔，文檔地址：https://lightgbm.readthedocs.io/en/latest/index.html

【3】終于有人把XGBoost 和 LightGBM 講明白了，項目中最主流的集成算法！地址：https://mp.weixin.qq.com/s/q4R-TAG4PZAdWLb41oov8g

【4】Lightgbm源論文解析：LightGBM: A Highly Efficient Gradient Boosting Decision Tree，地址：https://blog.csdn.net/anshuai_aw1/article/details/83048709

【5】白話機器學(xué)習(xí)算法理論+實戰(zhàn)番外篇之LightGBM，地址：https://blog.csdn.net/wuzhongqiang/article/details/105350579

我是小一，堅持向暮光所走的人，終將成為耀眼的存在！

期待你的?三連！我們下節(jié)見

總結(jié)

以上是生活随笔為你收集整理的集成算法终极模型之《神器LightGBM》—最后的高山的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。