機(jī)器學(xué)習(xí)中的誤差Error可以理解為偏差和方差的和。

Error(誤差) = Bias(偏差) + Variance(方差)

Bias

偏差指的是樣本輸出與真實(shí)值之間的差距，即模型本身的擬合程度。

代表了模型本身的精確度

Variance

方差指的是模型每一次輸出結(jié)果與真實(shí)值之間的差距，即模型的泛化能力。

代表了模型的穩(wěn)定性。

欠擬合對應(yīng)了高偏差、過擬合對應(yīng)了高方差。

Bagging

對于Bagging來說，最終預(yù)測結(jié)果由很多基學(xué)習(xí)器投票或者取平均產(chǎn)生，可以保證低方差(variance)。

因此對于每個基學(xué)習(xí)器來說，不用過多的關(guān)注方差、降低方差，把目標(biāo)放在降低偏差(bias)。

所以RF中的每棵樹都盡最大程度的生長，并且沒有剪枝過程。

Boosting

對于Boosting來說，最終結(jié)果由很多基學(xué)習(xí)器加權(quán)做和產(chǎn)生，在每一輪的基礎(chǔ)上更加擬合數(shù)據(jù)，可以保證低偏差（bias）。

因此對每個基學(xué)習(xí)來說，不用過多的關(guān)注偏差，把目標(biāo)放在降低方差(variance)上。

所以基學(xué)習(xí)器越簡單越好，在GBDT中，限制了每棵樹的深度以及葉子節(jié)點(diǎn)的個數(shù)。

轉(zhuǎn)載于:https://www.cnblogs.com/kukri/p/8488296.html

總結(jié)

以上是生活随笔為你收集整理的机器学习中的Bias、Variance的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。