ML之DT之CART：分類與回歸樹CART算法的簡介、應用、經(jīng)典案例之詳細攻略

?

?

目錄

分類與回歸樹CART算法簡介

1、CART原理—比較ID3、C4.5

2、CART算法描述

CART算法的案經(jīng)典案例

---

?

?

分類與回歸樹CART算法簡介

? ? ? ?分類與回歸樹（Classification and Regression Trees, CART）是由Leo Breiman, Jerome Friedman, Richard Olshen與Charles Stone于1984年提出，既可用于分類也可用于回歸。
? ? ? ?CART是決策樹的一個實現(xiàn)方式，由ID3，C4.5演化而來，是許多基于樹的bagging、boosting模型的基礎。CART可用于分類與回歸。

?

1、CART原理—比較ID3、C4.5

? ? ? ?CART是在給定輸入隨機變量x條件下輸出隨機變量y的條件概率分布。與ID3和C4.5的決策樹所不同的是，ID3和C4.5生成的決策樹可以是多叉的，每個節(jié)點下的叉數(shù)由該節(jié)點特征的取值種類而定，比如特征年齡分為（青年，中年，老年），那么該節(jié)點下可分為3叉。
? ? ? ?而CART為假設決策樹為二叉樹，內(nèi)部結(jié)點特征取值為“是”和“否”。左分支取值為“是”，右分支取值為“否”。這樣的決策樹等價于遞歸地二分每一個特征，將輸入空間劃分為有限個單元，并在這些單元上預測概率分布，也就是在輸入給定的條件下輸出條件概率分布。

?

2、CART算法描述

其中T代表當前樣本集，當前候選屬性集用T_attributelist表示。

（1）創(chuàng)建根節(jié)點N
（2）為N分配類別
（3）if T都屬于同一類別or T中只剩下 一個樣本則返回N為葉節(jié)點，否則為其分配屬性
（4）for each T_attributelist中屬性執(zhí)行該屬性上的一個劃分，計算此劃分的GINI系數(shù)
（5）N的測試屬性test_attribute=T_attributelist中最小GINI系數(shù)的屬性
（6）劃分T得到T1 T2子集
（7）對于T1重復（1）-（6）
（8）對于T2重復（1）-（6）

?

?

CART算法的案經(jīng)典案例

ML之RF：利用Js語言設計隨機森林算法【DT之CART算法(gain index)】&并應用隨機森林算法

?

?

相關(guān)文章
人工智能之CART算法

?

?

總結(jié)

以上是生活随笔為你收集整理的ML之DT之CART：分类与回归树CART算法的简介、应用、经典案例之详细攻略的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。