boosting(提升法）

? ? ? ? ? ? ?對(duì)于訓(xùn)練集中的每個(gè)樣本建立全職W（i），當(dāng)某個(gè)樣本被錯(cuò)誤分類概率很高時(shí)，樣本的權(quán)重加大；

? ? ? ? ? ? ? 在迭代過程中，每一個(gè)迭代器都是一個(gè)弱分類器，我們需要用某種策略將其組合，作為最終模型。

bagging（套袋法）

? ? ? ? ? ? ?

? ? ? ? ?從原始樣本集隨機(jī)抽取n個(gè)訓(xùn)練樣本，共進(jìn)行k輪抽取，得到k個(gè)訓(xùn)練集。（k個(gè)訓(xùn)練集之間相互獨(dú)立，元素可以有重復(fù)）
? ? ? ? ?對(duì)于k個(gè)訓(xùn)練集，我們訓(xùn)練k個(gè)模型
? ? ? ? ?對(duì)于分類問題：由投票表決產(chǎn)生分類結(jié)果；對(duì)于回歸問題：由k個(gè)模型預(yù)測(cè)結(jié)果的均值作為最后預(yù)測(cè)結(jié)果。（所有模型的重要性相同）

區(qū)別：?

? ? ? ? ??

? ? ? ? ? ? ? ? 樣本選擇：Bagging采用的是Bootstrap隨機(jī)有放回抽樣，訓(xùn)練集變化；而Boosting每一輪的訓(xùn)練集是不變的，樣本權(quán)重變化。
? ? ? ? ? ? ? ? 樣本權(quán)重：Bagging使用的是均勻取樣，每個(gè)樣本權(quán)重相等；Boosting根據(jù)錯(cuò)誤率調(diào)整樣本權(quán)重，錯(cuò)誤率越大的樣本權(quán)重越大。
? ? ? ? ? ? ? ? 預(yù)測(cè)函數(shù)：Bagging所有的預(yù)測(cè)函數(shù)的權(quán)重相等；Boosting中誤差越小的預(yù)測(cè)函數(shù)其權(quán)重越大。
? ? ? ? ? ? ? ? 并行計(jì)算：Bagging各個(gè)預(yù)測(cè)函數(shù)可以并行生成；Boosting各個(gè)預(yù)測(cè)函數(shù)必須按順序迭代生成。

1）Bagging + 決策樹 = 隨機(jī)森林

2）AdaBoost + 決策樹 = 提升樹

3）Gradient Boosting + 決策樹 = GBDT

轉(zhuǎn)載于:https://www.cnblogs.com/hapyygril/p/9848845.html

總結(jié)

以上是生活随笔為你收集整理的boosting_bagging的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。