1背景?
以前把這兩個搞混了

2隨機森林?
說道隨機森林就要提bagging集成方法。bagging才用有放回的抽樣。下圖時bagging的示意圖。?
?
隨機森林是bagging的一種擴展，在k個數(shù)據(jù)集選擇的時候后，引入了隨機屬性選擇。加入所有屬性個數(shù)為d，k是隨機選擇的屬性個數(shù)。那么k=d的時候，就沒有改變。那么k=1的時候后，隨機選擇一個屬性用于計算。推薦的k=log2d.?
隨機森林的基學(xué)習(xí)器一般是決策樹算法-主要，也有神經(jīng)網(wǎng)絡(luò)。?
隨機森林是對bagging算法的一點改動，但是根能提現(xiàn)樣本集之間的差異性。會提高最終預(yù)測結(jié)果的泛化能力。

3gbdt?
gbdt是一種boosting算法。boosting工作機制：先從初始訓(xùn)練集訓(xùn)練處一個基學(xué)習(xí)器，然后在根據(jù)基學(xué)習(xí)器的表現(xiàn)對訓(xùn)練樣本分布進(jìn)行調(diào)整，使得先前的基學(xué)習(xí)器做錯的訓(xùn)練樣本在后續(xù)獲得更多關(guān)注（增加錯誤樣本權(quán)重），然后基于調(diào)整后的樣本分布訓(xùn)練下一個基學(xué)習(xí)器，如此重復(fù)，直到基學(xué)習(xí)器達(dá)到指定的T時，最終將T個基學(xué)習(xí)器進(jìn)行加權(quán)結(jié)合，得出預(yù)測。?
gbdt是在boosting上做的改進(jìn)，在boosting中調(diào)整權(quán)重的方式為基學(xué)習(xí)器預(yù)測錯誤加權(quán)重而gbdt的每一次迭代是為了減少殘差，即在殘差減少的梯度上建立一個新的模型。新的模型是為了使得之前模型的殘差往梯度方向減少，與傳統(tǒng)boosting對正確、錯誤的樣本進(jìn)行加權(quán)有著很大的區(qū)別。?
新的模型是為了使得之前模型的殘差往梯度方向減少，這句話有一點拗口，損失函數(shù)(loss function)描述的是模型的不靠譜程度，損失函數(shù)越大，則說明模型越容易出錯（其實這里有一個方差、偏差均衡的問題，但是這里就假設(shè)損失函數(shù)越大，模型越容易出錯）。如果我們的模型能夠讓損失函數(shù)持續(xù)的下降，則說明我們的模型在不停的改進(jìn)，而最好的方式就是讓損失函數(shù)在其梯度（Gradient)的方向上下降。這個是不是有點像線性回歸的最小二乘法，其中的梯度下降哈。?
以后詳細(xì)分析其中的概念和公式

總結(jié)

以上是生活随笔為你收集整理的GBDT和随机森林的区别的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。