boosting(提升法）

? ? ? ? ? ? ?對于訓練集中的每個樣本建立全職W（i），當某個樣本被錯誤分類概率很高時，樣本的權重加大；

? ? ? ? ? ? ? 在迭代過程中，每一個迭代器都是一個弱分類器，我們需要用某種策略將其組合，作為最終模型。

bagging（套袋法）

? ? ? ? ? ? ?

? ? ? ? ?從原始樣本集隨機抽取n個訓練樣本，共進行k輪抽取，得到k個訓練集。（k個訓練集之間相互獨立，元素可以有重復）
? ? ? ? ?對于k個訓練集，我們訓練k個模型
? ? ? ? ?對于分類問題：由投票表決產生分類結果；對于回歸問題：由k個模型預測結果的均值作為最后預測結果。（所有模型的重要性相同）

區別：?

? ? ? ? ??

? ? ? ? ? ? ? ? 樣本選擇：Bagging采用的是Bootstrap隨機有放回抽樣，訓練集變化；而Boosting每一輪的訓練集是不變的，樣本權重變化。
? ? ? ? ? ? ? ? 樣本權重：Bagging使用的是均勻取樣，每個樣本權重相等；Boosting根據錯誤率調整樣本權重，錯誤率越大的樣本權重越大。
? ? ? ? ? ? ? ? 預測函數：Bagging所有的預測函數的權重相等；Boosting中誤差越小的預測函數其權重越大。
? ? ? ? ? ? ? ? 并行計算：Bagging各個預測函數可以并行生成；Boosting各個預測函數必須按順序迭代生成。

1）Bagging + 決策樹 = 隨機森林

2）AdaBoost + 決策樹 = 提升樹

3）Gradient Boosting + 決策樹 = GBDT

轉載于:https://www.cnblogs.com/hapyygril/p/9848845.html

總結

以上是生活随笔為你收集整理的boosting_bagging的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。