殘差

殘差在數理統計中是指實際觀察值與估計值（擬合值）之間的差。在集成學習中可以通過基模型擬合殘差，使得集成的模型變得更精確；在深度學習中也有人利用layer去擬合殘差將深度神經網絡的性能提高變強。這里博主選了Gradient Boosting和Resnet兩個算法試圖讓大家更感性的認識到擬合殘差的作用機理。

Gradient Boosting

下面的式子時Gradient Boosting的損失函數，其中 。
 
這里的 意味著最后通過 Gradient Boosting學習出來的模型，而這個最終的模型怎么來呢，參照下方代碼大致可以總結為三部：

• 訓練一個基學習器Tree_1（這里采用的是決策樹）去擬合data和label。
• 接著訓練一個基學習器Tree_2，輸入時data，輸出是label和上一個基學習器Tree_1的預測值的差值(殘差)，這一步總結下來就是使用一個基學習器學習殘差。
• 最后把所有的基學習器的結果相加，做最終決策。
  下方代碼僅僅做了3步的殘差擬合，最后一步就是體現出集成學習的特征，將多個基學習器組合成一個組合模型。

 

from sklearn.tree import DecisionTreeRegressor tree_reg1 = DecisionTreeRegressor(max_depth=2) tree_reg1.fit(X, y)y2 = y - tree_reg1.predict(X) tree_reg2 = DecisionTreeRegressor(max_depth&#

總結

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（十九）--GBDT(梯度提升树) 和 Resnet (残差网络)的原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。