概念

決策樹最頂端節點稱為【根結點】，深度為0的決策樹也稱為【決策樹樁】，不可再分的節點稱為【葉節點】。

sklearn支持的兩個最常用的分割標準：a. criterion=‘gini’【基尼不純度】; b. criterion=‘entropy’【信息增益】；

• gini不純度：是否錯誤分類？目標是最小化錯誤分類的概率，最優化分割gini不純度為0
• entropy信息增益: 不確定度多大？最完美分割信息熵為0

應用

持續增加深度，使得所有葉子都是純的，有什么后果？

• 表面這個決策樹在訓練集上正確率100%，但是測試集上可能表現很差，產生over-fitting

避免過擬合的兩種常見方法

• 預剪枝：盡早停止決策樹生長，一般足夠控制過擬合，但現實復雜場景就不足以控制，需用到多個決策樹合并成的隨機森林
  • max_depth:限制最大深度
  • max_leaf_nodes:限制最多的葉節點數量
  • min_simple_split:限制可分割最少樣本數
• 后剪枝：創建后移除或合并包含較少信息的節點

DataSets
Paper

總結

以上是生活随笔為你收集整理的决策树——学习笔记（一）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。