Gradient Boost 算法流程分析

2012-10-31 19:57?2635人閱讀?評論(0)?收藏?舉報 ?分類： ? 算法學習（15）?

版權聲明：本文為博主原創文章，未經博主允許不得轉載。

我們在很多Gradient Boost相關的論文及分析文章中都可以看到下面的公式：

但是，對這個公式的理解，我一直也是一知半解，最近，終于下決心對其進行了深入理解。

步驟1：可以看作優化目標的損失函數；

步驟2：代表需要學習1~M個模型；

步驟3：將前m-1個模型的組合F(X)代入損失函數L(y_i, F(X))，并對F(X)求導，求得梯度向量表達式；舉例說明，如果損失函數是，則對F(X)求導，得到，當i從1取到N時，得到梯度方向的向量；

步驟4：得到梯度向量之后，我們需要的是梯度向量方向上的新的模型，該模型需與梯度方向越接近越好，故，最小二乘法派上了用場，對步驟4的表達式求導，令等于0，可求得新模型的參數a；

步驟 5：模型解出后，組合新模型之后得到的模型應該也滿足損失函數最小，因此，對組合權重求導，令等于0；

步驟 6，模型參數與模型權重參數求出之后，即得到了新模型；

步驟 7：重復M次，訓練也M個模型。

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的Gradient Boost 算法流程分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。