機器學習中的誤差Error可以理解為偏差和方差的和。

Error(誤差) = Bias(偏差) + Variance(方差)

Bias

偏差指的是樣本輸出與真實值之間的差距，即模型本身的擬合程度。

代表了模型本身的精確度

Variance

方差指的是模型每一次輸出結果與真實值之間的差距，即模型的泛化能力。

代表了模型的穩定性。

欠擬合對應了高偏差、過擬合對應了高方差。

Bagging

對于Bagging來說，最終預測結果由很多基學習器投票或者取平均產生，可以保證低方差(variance)。

因此對于每個基學習器來說，不用過多的關注方差、降低方差，把目標放在降低偏差(bias)。

所以RF中的每棵樹都盡最大程度的生長，并且沒有剪枝過程。

Boosting

對于Boosting來說，最終結果由很多基學習器加權做和產生，在每一輪的基礎上更加擬合數據，可以保證低偏差（bias）。

因此對每個基學習來說，不用過多的關注偏差，把目標放在降低方差(variance)上。

所以基學習器越簡單越好，在GBDT中，限制了每棵樹的深度以及葉子節點的個數。

轉載于:https://www.cnblogs.com/kukri/p/8488296.html

總結

以上是生活随笔為你收集整理的机器学习中的Bias、Variance的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。