深入研究了一下陳天奇Boosted Tree的PPT，做了點簡單的筆記，可以說是PPT的縮略版：
框架有了，截了些重要的圖和公式。
雖然簡略，但是足以學(xué)習(xí)大牛思考問題的方式。

Review of key concepts of supervised learning

• Elements in Supervised Learning
  • Model
  • Parameters
  • Objective function
• Putting known knowledge into context
• Objective and Bias Variance Trade-off

Regression Tree and Ensemble (What are we Learning)

• Regression Tree (CART)
• Regression Tree Ensemble

• Tree Ensemble methods（基于樹的集成方法的一些優(yōu)點）
• Put into context: Model and Parameters（model：加法模型；parameters：樹/函數(shù)）
• Learning a tree on single variable（情歌率-時間序列的例子）
• Learning a step function（階躍函數(shù)）

• Learning step function (visually)

• Coming back: Objective for Tree Ensemble
• Objective vs Heuristic
• Regression Tree is not just for regression!

Gradient Boosting (How do we Learn)

• Take Home Message for this section (其實是總結(jié)第二部分。。)
• So How do we Learn? （SGD不可以，提出加法模型）

• Additive Training （公式推導(dǎo)，生成殘差）
• Taylor Expansion Approximation of Loss （二級泰勒展開，出現(xiàn)gi和hi）

• Our New Goal （化簡后的損失函數(shù)）

• Refine the definition of tree （樹的數(shù)學(xué)表達）

• Define Complexity of a Tree (cont’) （定義樹的復(fù)雜度）

• Revisit the Objectives （結(jié)合前兩張，重看目標函數(shù)）

• The Structure Score

• The Structure Score Calculation
• Searching Algorithm for Single Tree
• Greedy Learning of the Tree

• Efficient Finding of the Best Split
• An Algorithm for Split Finding
• What about Categorical Variables?
• Pruning and Regularization
• Recap: Boosted Tree Algorithm （總結(jié)第三部分）

總結(jié)

以上是生活随笔為你收集整理的陈天奇《Introduction to Boosted Trees》PPT 缩略版笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。