文章目錄

• CART 算法
• 1. CART 生成
• • 1.1 回歸樹生成
  • • 最小二乘回歸樹生成算法
  • 1.2 分類樹生成
  • • 基尼指數
    • CART 生成算法
• 參考文獻

相關文章：

機器學習 | 目錄

監督學習 | ID3 決策樹原理及Python實現

監督學習 | ID3 & C4.5 決策樹原理

監督學習 | 決策樹之Sklearn實現

監督學習 | 決策樹之網絡搜索

本文大部分內容搬運自李航老師的《統計學習方法》^[1]，以給出決策樹算法較為完整的定義，關于決策樹算法的 Sklearn 實現，可以參考這篇文章。

CART 算法

分類與回歸樹（classification and regression tree, CART）模型由 Beriman 等人在 1984 年提出，是應用廣泛的決策樹學習方法，CART 同樣由特征選擇、樹的生成及剪枝組成，既可以用于分類也可以用于回歸，以下將用于分類與回歸的樹統稱為決策樹。

CART 是在給定輸入隨機變量 X 條件下輸出隨機變量 Y 的條件概率分布的學習方法。CART 假設決策樹是二叉樹，內部結點特征的取值為“是”和“否”，左分支是取值為“是”的分支，右分支是取值為“否”的分支。這樣的決策樹等價于遞歸地二分每個特征，將輸入空間即特征空間劃分為有限個單元，并在這些單元上確定預測的概率分布，也就是在輸入給定的條件下輸出的條件概率分布。

CART 算法由以下兩部組成：

（1）決策樹生成：基于訓練數據集生成決策樹，生成的決策樹要盡量大；

（2）決策樹剪枝：用驗證數據集對已生成的樹進行剪枝并選擇最優子樹，這是用損失函數最小作為剪枝的標準。

1. CART 生成

決策樹的生成就是遞歸地構建二叉決策樹的過程。對回歸樹用平方誤差最小化準則，對分類樹用基尼指數（Gini index）最小化準則，進行特征選擇，生成二叉樹。

1.1 回歸樹生成

假設 $X$ 與 $Y$分別是輸入和輸出變量，并且 $Y$ 是連續變量，給定訓練數據集：

$$D=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$

一個回歸樹對應著輸入空間（即特征空間）的一個劃分以及在劃分的單元上的輸出值。假設已將輸入空間劃分為 $M$ 個單元 $R_1,R_2,...,R_M$ 并且在每個單元 $R_m$ 上有一個固定的輸出值 $C_m$，于是回歸樹模型可表示為：

$$f(x)=\sum _{m=1}^M{c}_{m}I(x\in R_m)\text{\hspace{1em}(1)}$$

當輸入空間的劃分確定時，可以用平方誤差 ${\sum }_{x_i\in R_m}(y_i?f(x_i){)}^2$ 來表示回歸樹對于訓練數據的預測誤差，用平方誤差最小的準則求解每個單元上的最優輸出值。

因此，單元 $R_m$ 上的 $c_m$ 的最優值 ${\hat{c}}_m$ 是 $R_m$ 上所有輸入實例 $x_i$ 對應的輸出 $y_i$ 的均值，即：

$${\hat{c}}_m=ave(y_i|x_i\in R_m)\text{\hspace{1em}(2)}$$

這里采用啟發式的方法對輸入空間進行劃分：選擇第 $j$ 個變量 $x^{(j)}$ 和它取的值 $s$，作為切分變量（splitting variable）和切分點（splitting point），并定義兩個區域：

$$R_1(j,s)=\{x|x^{(j)}\le s\}和R_2(j,s)=\{x|x^{(j)}>s\}\text{\hspace{1em}(3)}$$

然后尋找最優切分變量 $j$ 和最優切分點 $s$：

$$\underset{j}{\min }[\underset{c_j}{\min }\sum _{x_i\in R_1(j,s)}(y_i?c_1{)}^2+\underset{c_j}{\min }\sum _{x_i\in R_2(j,s)}(y_i?c_2{)}^2]\text{\hspace{1em}(4)}$$

對固定輸入變量 $j$ 可以找到最優切分點 $s$。

因此有：

$${\hat{c}}_1=ave(y_i|x_i\in R_1(j,s))和{\hat{c}}_2=ave(y_i|x_i\in R_2(j,s))\text{\hspace{1em}(5)}$$

遍歷所有輸入變量，找到最優的切分變量 $j$，構造一個對 $(j,s)$。依次將輸入空間劃分為兩個區域。接著，最每個區域重復上述劃分過程，直到滿足停止條件為止，這樣就生成一顆回歸樹。這樣的回歸樹通常稱為最小二乘回歸樹（least squares regression tree）。

最小二乘回歸樹生成算法

輸入：訓練數據集 $D$;

輸出：回歸樹 $f(x)$.

在訓練數據集所在的輸入空間中，遞歸地將每個區域劃分為兩個子區域并決定每個子區域熵的輸出值，構建二叉決策樹；

（1）選擇最優切分變量 $j$ 和最優切分點 $s$，求解：

$$\underset{j}{\min }[\underset{c_j}{\min }\sum _{x_i\in R_1(j,s)}(y_i?c_1{)}^2+\underset{c_j}{\min }\sum _{x_i\in R_2(j,s)}(y_i?c_2{)}^2]\text{\hspace{1em}(6)}$$

\quad 遍歷變量 $j$，對固定的切分變量 $j$ 掃描切分點 $s$，選擇使上式達到最小的對 $(j,s)$；

（2）用選定的對 $(j,s)$ 劃分區域并決定相應的輸出值：

$$R_1(j,s)=\{x|x^{(j)}\le s\}{R}_2(j,s)=\{x|x^{(j)}>s\}\text{\hspace{1em}(7)}$$

$${\hat{c}}_m=\frac{1}{N_m}\sum _{x_i\in R_m(j,s)}{y}_i,x\in R_m,m=1,2\text{\hspace{1em}(8)}$$

（3）繼續對兩個子區域調用步驟 (1)，(2)，直至滿足停止條件；

（4）將輸入空間劃分為 $M$ 個單元 $R_1,R_2,...,R_M$ ，生成決策樹：

$$f(x)=\sum _{m=1}^M{c}_{m}I(x\in R_m)\text{\hspace{1em}(9)}$$

1.2 分類樹生成

分類樹用基尼指數選擇最優特征，同時決定該特征的最優二值切分點。

基尼指數

分類問題中，假設有 $K$ 個類，樣本點屬于第 $k$ 類的概率為 $p_k$，則概率分布的基尼指數定義為：

$$Gini(p)=\sum _{k=1}^K{p}_k(1?p_k)=1?\sum _{k=1}^K{p}_k^2\text{\hspace{1em}(10)}$$

對于二類分類問題，若樣本點屬于第 1 個類的概率是 $p$，則概率分布的基尼指數為：

$$Gini(p)=2p(1?p)\text{\hspace{1em}(11)}$$

對于給定的樣本集合 $D$，其基尼指數為：

$$Gini(D)=1?\sum _{k=1}^K(\frac{|C_k|}{|D|}{)}^2\text{\hspace{1em}(12)}$$

這里，$C_k$ 是 $D$ 中屬于第 $k$ 類的樣本子集，$K$ 是類的個數。

如果樣本集合 $D$ 根據特征 $A$ 是否取某一可能值 $\alpha$ 被分割成 $D_1$ 和 $D_2$ 來那個部分，即：

$$D_1=\{(x,y)\in D|A(x)=a\},D_2=D?D_1\text{\hspace{1em}(13)}$$

則在特征 $A$ 的條件下，集合 $D$ 的基尼指數定義為：

$$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)\text{\hspace{1em}(14)}$$

基尼指數 $Gini(D)$ 表示集合 $D$ 的不確定性，基尼指數值越大，樣本集合的不確定性也就越大，這一點與熵相似。

CART 生成算法

輸入：訓練數據集 $D$，停止計算的條件；

輸出：CART 分類決策樹。

根據訓練數據集，從根結點開始，遞歸地對每個結點進行以下操作，構建二叉決策樹：

（1）設結點的訓練數據集為 $D$，計算現有特征對該數據集的基尼指數。此時，對每一個特征 $A$，對其可能取的每個值 $a$，根據樣本點對 $A=a$ 的測試為“是”或“否”將 $D$ 分割成 $D_1$ 和 $D_2$兩部分，利用式 (14) 計算 $A=a$ 時的基尼指數；

（2）在所有可能的特征 $A$ 以及它們所有可能的切分點 $a$ 中，選擇基尼指數最小的特征及其對應的切分點作為最優特征與最優切分點。依最優特征與最優切分點，從現生成兩個子結點，將訓練數據集依特征分配到兩個子結點中去；

（3）對兩個子結點遞歸地調用 (1) ，(2)，直到滿足停止條件；

（4）生成 CART 決策樹。

算法停止計算的條件是結點中的樣本個數小于預定閾值，或樣本集的基尼指數小于預定閾值（樣本基本屬于同一類），或者沒有更多特征。

參考文獻

[1] 李航. 統計學習方法[M]. 北京: 清華大學出版社, 2012: 55-66.

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的监督学习 | CART 分类回归树原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。