問題：為什么降低學(xué)習(xí)率可以會有正則化效果呢？

因?yàn)橐话愀鶕?jù)在神經(jīng)網(wǎng)絡(luò)的經(jīng)驗(yàn)而言，降低學(xué)習(xí)率，可以實(shí)現(xiàn)更高的訓(xùn)練效果，即進(jìn)一步擬合；

在gbdt中，這個學(xué)習(xí)率與神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)率擔(dān)任的角色不一樣；

gbdt中的學(xué)習(xí)率主要是調(diào)節(jié)每棵樹的對預(yù)測結(jié)果的貢獻(xiàn)；如果學(xué)習(xí)率下降，就降低了每棵樹的貢獻(xiàn)；模型訓(xùn)練的預(yù)測效果就會下降；為了達(dá)到和高學(xué)習(xí)率相同的效果，就需要生成更多的樹；

當(dāng)時的疑惑是如果下降學(xué)習(xí)率，那么就會生成更多的樹，就會更加擬合；怎么會有正則化效果呢？

因?yàn)橄陆祵W(xué)習(xí)率，并沒有增加更多的樹，前提假設(shè)其他的超參是不變的；

在學(xué)習(xí)率等超參數(shù)固定的情況下，樹的數(shù)量越多，就模型訓(xùn)練精度越高；?

在樹的數(shù)量等超參數(shù)固定的情況下，?學(xué)習(xí)率越高，模型訓(xùn)練精度越高；

總結(jié)

以上是生活随笔為你收集整理的gbdt降低学习率可以实现正则化效果呢的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。