bagging 側(cè)重于降低方差

方差-variance
方差描述的是預(yù)測(cè)值的變化范圍，離散程度，也就是離期真實(shí)值的距離。方差過大表現(xiàn)為過擬合，訓(xùn)練數(shù)據(jù)的預(yù)測(cè)f-score很高，但是驗(yàn)證或測(cè)試數(shù)據(jù)的預(yù)測(cè)f-score低很多。實(shí)際應(yīng)用中表現(xiàn)為對(duì)新數(shù)據(jù)的泛化能力弱。例如：一個(gè)模型學(xué)習(xí)加減法運(yùn)算，模型記憶能力非常好，對(duì)他所有訓(xùn)練過的數(shù)據(jù)，他都能做出精準(zhǔn)的運(yùn)輸，但是一旦看到他沒有見過的數(shù)據(jù)，就算不出來了。模型記住了歷史的學(xué)習(xí)結(jié)果，但是沒有真正掌握加減法運(yùn)算規(guī)律；屬于死記硬背的模型，不能靈活運(yùn)用，這就過擬合了。

boosting 側(cè)重于降低偏差

偏差-bias
偏差描述預(yù)測(cè)值與真實(shí)值之間的差距。偏差過大表現(xiàn)為欠擬合，訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)的預(yù)測(cè)accuracy或f-score過低。實(shí)際應(yīng)用中表現(xiàn)為對(duì)數(shù)據(jù)的預(yù)測(cè)能力不準(zhǔn)確。例如：一個(gè)模型學(xué)習(xí)加減法運(yùn)算，他根本沒有學(xué)會(huì)加減運(yùn)算，你給他再多的訓(xùn)練數(shù)據(jù)，還是老樣子，就是不會(huì)，老實(shí)算錯(cuò)，就算你給他訓(xùn)練過的數(shù)據(jù)都是這樣的。欠擬合。

bagging and boosting 區(qū)別在于的取樣方式不同

轉(zhuǎn)載于:https://www.cnblogs.com/james0/p/7902915.html

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的bagging and boosting的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。