集成算法

• 1、集成算法之Boosting（GBDT、XGB、LGB）
• 2、集成算法之Bagging（RF）
• 3、集成算法之Stacking（速度慢）

1、集成算法之Boosting（GBDT、XGB、LGB）

1、重賦權（錯誤標記樣本賦予較高的權重）（過早停止導致基學習器少）
2、重采樣

注：關注降低偏差，避免欠擬合。個體學習器之間存在強依賴關系

2、集成算法之Bagging（RF）

booststrap sampling：
1、從數據集中有放回的隨機抽m個樣本（36.8%抽不中）
2、從樣本中隨機抽n個特征進行建樹
3、重復1-2

采用相互交疊的采樣子集：

• 獲得基學習器有較大差異
• 個體學習器的性能不會太差（保證訓練集各不相同）

注：關注降低方差，避免過擬合。個體學習器之間相互獨立

3、集成算法之Stacking（速度慢）

第一層用各種模型：

• 訓練處的結果當做第二層訓練集
• 測試集平均當做第二層測試集

總結

以上是生活随笔為你收集整理的机器学习算法—集成算法原理详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。