基本原理

決策樹是由一系列樹狀的節點構成，每一個節點代表一個特征并具有相應的決策規則。所有樣本從根節點不斷劃分到子節點，直到葉子節點結束流程，實現分類。

決策樹的構建過程就是確定特征的順序和對應的決策規則。

構建方法

交互式二分法（ID3），采用香農信息論中定義的熵作為度量，其反應該節點上的特征對樣本分類的不純度。假設采用特征A為根節點，計算下一級熵不純度比上一級熵不純度的減少量（信息增益），選擇最大的信息增益對應的特征作為根節點，以此選取下面的子節點。

剪枝

在有限的樣本中如果決策樹的規模太大，容易捕捉到訓練集中的噪聲，影響模型的泛化能力。所以，有必要對模型進行剪枝。主要分為先剪枝和后剪枝：

• 先減枝：在決策樹生長的過程中，判斷某節點是否需要繼續分支（以分類錯誤率為標準）
• 后減枝：從葉節點出發，如果消除相同父節點的葉節點后熵不純度沒有明顯下降，則進行刪除（以分類錯誤率為標準）

猜你喜歡：👇🏻
?【算法】一個簡單的隨機森林（RF）原理
?【算法】一個簡單的支持向量機（SVM）原理
?【算法】一個簡單的ISODATA原理

總結

以上是生活随笔為你收集整理的【算法】一个简单的决策树（DT）原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。