概要

本部分介紹 CART，是一種非常重要的機器學習算法。
?

---

基本原理

?
CART 全稱為 Classification And Regression Trees，即分類回歸樹。顧名思義，該算法既可以用于分類還可以用于回歸。

克服了 ID3 算法只能處理離散型數據的缺點，CART 可以使用二元切分來處理連續型變量。二元切分法，即每次把數據集切分成兩份，具體地處理方法是：如果特征值大于給定值就走左子樹，否則就走右子樹。對 CART 稍作修改就可以處理回歸問題。先前我們使用香農熵來度量集合的無組織程度，如果選用其它方法來代替香農熵，就可以使用樹構建算法來完成回歸。

本部分將構建兩種樹，第一種是回歸樹，其每個葉節點包含單個值；第二種是模型樹，其每個葉節點包含一個線性方程。
?

---

回歸樹

要對樹據的復雜關系建模，我們已經決定用樹結構來幫助切分數據，那么如何實現數據的切分呢？怎么才能知道是否已經充分切分呢？這些問題的答案取決于葉節點的建模方式?；貧w樹假設葉節點是常數值，需要度量出數據的一致性，在這里我們選擇使用平方誤差的總值來達到這一目的。

選擇特征的偽代碼如下：

對每個特征：
    對每個特征值：
        將數據切分成兩份（二元切分）
             計算切分的誤差（平方誤差）
             如果當前誤差小于當前最小誤差，那么將當前切分設定為最佳切分并更新最小誤差
返回最佳切分的特征和閾值

與 ID3 或 C4.5 唯一不同的是度量數據的一致性不同，前兩者分別是信息增益和信息增益率，而這個是用平方誤差的總值，有一點聚類的感覺。比如這樣的數據集：

程序創建的樹結構就是：

{'spInd': 0, 'spVal': 0.48813000000000001, 'left': 1.0180967672413792, 'right': -0.044650285714285719}

在分類樹中最常用的是基尼指數：在分類問題中，假設有 (K) 個類，樣本點屬于第 (k) 類的概率為 (p_k)，則概率分布的基尼指數定義為
egin{align}
Gini(p) = sum_{k=1}^K p_k(1-p_k) = 1- sum_{k=1}^K p_k^2
end{align}
基尼系數與熵的特性類似，也是不確定性的一種度量。對于樣本集合 (D)，基尼指數為
egin{align}
Gini(D) = 1- sum_{k=1}^Kleft( frac{lvert C_k vert }{lvert D vert} ight)
end{align}
其中 (C_k) 是 (D) 中屬于樣本集合第 (k) 類的樣本子集， (K) 是類的個數。
?

---

剪枝

一棵樹如果節點過多，表明該模型可能對數據進行了“過擬合”。控制決策樹規模的方法稱為剪枝，一種是先剪枝， 一種是后剪枝。所謂先剪枝，實際上是控制決策樹的生長，后剪枝是指對完全生成的決策樹進行修剪。

先剪枝方法有：

數據劃分法。劃分數據成訓練樣本和測試樣本，使用訓練樣本進行訓練，使用測試樣本進行樹生長檢驗
閾值法。當某節點的信息增益小于某閾值時，停止樹生長
信息增益的統計顯著性分析。從已有節點獲得的所有信息增益統計其分布，如果繼續生長得到的信息增益與該分布相比不顯著，則停止樹的生長

先剪枝的優缺點

優點：簡單直接
缺點：對于不回溯的貪婪算法，缺乏后效性考慮，可能導致樹提前停止

?

后剪枝方法有：

減少分類錯誤修剪法。使用獨立的剪枝集估計剪枝前后的分類錯誤率，基于此進行剪枝
最小代價與復雜性折中的剪枝。對剪枝后的樹綜合評價錯誤率和復雜性，決定是否剪枝
最小描述長度準則。最簡單的樹就是最好的樹，對決策樹進行編碼，通過剪枝得到編碼最小的樹
規則后剪枝。將訓練完的決策樹轉換成規則，通過刪除不會降低估計精度的前提下修剪每一條規則

后剪枝的優缺點

優點：實際應用中有效
缺點：數據量大時，計算代價較大

?
下面講述一種用于 CART 回歸樹的剪枝操作。一般使用后剪枝方法需要將數據集分成測試集和訓練集，C4.5 所用的剪枝操作還是一種特殊的后剪枝操作，不需要測試集。

剪枝操作前，首先指定參數，使得構建出的樹足夠大、足夠復雜，便于剪枝。接下來從上而下找到葉結點，用測試集來判斷將這些葉節點合并是否能降低測試誤差，如果是的話就合并。偽代碼如下：

基于已有的樹切分測試數據：
    如果存在任一子集是一棵樹，則在該子集遞歸剪枝過程
    計算將當前兩個葉節點合并后的誤差
    計算不合并的誤差
    如果合并會降低誤差的話，就將葉節點合并

?

---

模型樹

模型樹仍然采用二元切分，但葉節點不再是簡單的數值，取而代之的是一些線性模型。

考慮下圖中的數據，顯然兩條直線擬合效果更好。

對回歸樹稍作修改就可以變成模型樹。模型樹的生成樹關鍵在于誤差的計算。對于給定的數據集，應該先用線性的模型對它進行擬合，然后計算真實的目標值與模型預測值間的差值。最后將這些差值的平方求和就得到了所需要的誤差。

?

樹回歸優缺點

?

優點：可以對復雜和非線性的數據建模
缺點：結果不易理解
?

?

總結

以上是生活随笔為你收集整理的分类回归树（CART）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。