1背景?
以前把這兩個搞混了

2隨機森林?
說道隨機森林就要提bagging集成方法。bagging才用有放回的抽樣。下圖時bagging的示意圖。?
?
隨機森林是bagging的一種擴展，在k個數據集選擇的時候后，引入了隨機屬性選擇。加入所有屬性個數為d，k是隨機選擇的屬性個數。那么k=d的時候，就沒有改變。那么k=1的時候后，隨機選擇一個屬性用于計算。推薦的k=log2d.?
隨機森林的基學習器一般是決策樹算法-主要，也有神經網絡。?
隨機森林是對bagging算法的一點改動，但是根能提現樣本集之間的差異性。會提高最終預測結果的泛化能力。

3gbdt?
gbdt是一種boosting算法。boosting工作機制：先從初始訓練集訓練處一個基學習器，然后在根據基學習器的表現對訓練樣本分布進行調整，使得先前的基學習器做錯的訓練樣本在后續獲得更多關注（增加錯誤樣本權重），然后基于調整后的樣本分布訓練下一個基學習器，如此重復，直到基學習器達到指定的T時，最終將T個基學習器進行加權結合，得出預測。?
gbdt是在boosting上做的改進，在boosting中調整權重的方式為基學習器預測錯誤加權重而gbdt的每一次迭代是為了減少殘差，即在殘差減少的梯度上建立一個新的模型。新的模型是為了使得之前模型的殘差往梯度方向減少，與傳統boosting對正確、錯誤的樣本進行加權有著很大的區別。?
新的模型是為了使得之前模型的殘差往梯度方向減少，這句話有一點拗口，損失函數(loss function)描述的是模型的不靠譜程度，損失函數越大，則說明模型越容易出錯（其實這里有一個方差、偏差均衡的問題，但是這里就假設損失函數越大，模型越容易出錯）。如果我們的模型能夠讓損失函數持續的下降，則說明我們的模型在不停的改進，而最好的方式就是讓損失函數在其梯度（Gradient)的方向上下降。這個是不是有點像線性回歸的最小二乘法，其中的梯度下降哈。?
以后詳細分析其中的概念和公式

總結

以上是生活随笔為你收集整理的GBDT和随机森林的区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。