基于樹的學(xué)習(xí)算法在數(shù)據(jù)科學(xué)競賽中相當(dāng)常見。這些算法給預(yù)測模型賦予了準(zhǔn)確性、穩(wěn)定性以及易解釋性。其中，決策樹算法也是引人關(guān)注的「隨機森林」算法的基礎(chǔ)構(gòu)造模塊。本文介紹了決策樹的概念和簡單實現(xiàn)，使用生動的示例幫助理解，希望能夠?qū)δ阌兴鶐椭?/span>

從 Kaggle 到課堂，機器學(xué)習(xí)第一課就是決策樹。之所以關(guān)注決策樹，是因為與其他 ML 方法相比，決策樹的數(shù)學(xué)復(fù)雜度不高，同時能為分類問題提供足夠的精度。

對于 ML 的入門者來說，決策樹很容易上手。本教程將介紹：

• 決策樹是什么

• 如何構(gòu)建決策樹

• 使用 Python 構(gòu)建決策樹

決策樹是什么

我們跳過正式定義，從概念上了解一下決策樹。試想你坐在辦公室里，感覺自己餓了，想出去吃點東西，但是午餐要下午 1 點才開始。那么你怎么辦呢？當(dāng)然，你會看一下時間，然后決定能否出去。你可以按照以下邏輯進行思考：

我們剛剛搭了一個決策樹！這是一個簡單的版本，但我們可以通過加入天氣、成本等因素構(gòu)建一個更為復(fù)雜的決策樹。如果你想和你的朋友 Jon Snow 去一家中餐館吃午飯，決策邏輯可以這樣表示：

這也是一個決策樹。從頂部開始，循著描述當(dāng)前狀況的路線一路向下，直到做出決定。

注意事項

我們把場景切換到計算機世界。我們剛剛畫的每一個框叫做一個節(jié)點。最上面的節(jié)點叫做根節(jié)點，下面每層的節(jié)點叫做葉節(jié)點，可以把它想成現(xiàn)實世界中的一棵樹，但是根朝上。

每個節(jié)點測試我們的世界（數(shù)據(jù)集）中的某個屬性，從節(jié)點引出的每個分支對應(yīng)于該屬性的值。給定一棵決策樹，決策過程如下：

從根節(jié)點開始

觀察根節(jié)點屬性的值

按照與觀察值對應(yīng)的路徑往下走

重復(fù)以上步驟，直至到達(dá)葉節(jié)點，這樣就能做出決策

如何構(gòu)建決策樹？

構(gòu)建決策樹不需要從頭開始（除非你是一個像我一樣的學(xué)生）。盡管如此，這也是一個很好的學(xué)習(xí)經(jīng)驗，你將學(xué)到一些有趣的概念。

構(gòu)建決策樹最常用的算法是 ID3，該算法非常簡單。以下是算法偽代碼：

ID3 (Examples, Target_Attribute, Attributes)

? ?Create a root node for the tree

? ?If all examples are positive, Return the single-node tree Root, with label = +.

? ?If all examples are negative, Return the single-node tree Root, with label = -.

? ?If Atributes list is empty, then Return the single node tree Root,

? ?with label = most common value of the target attribute in the examples.

? ?Otherwise Begin

? ? ? ?A ← The Attribute that best classifies examples.

? ? ? ?Decision Tree attribute for Root = A.

? ? ? ?For each possible value, vi, of A,

? ? ? ? ? ?Add a new tree branch below Root, corresponding to the test A = vi.

? ? ? ? ? ?Let Examples(vi) be the subset of examples that have the value vi for A

? ? ? ? ? ?If Examples(vi) is empty

? ? ? ? ? ? ? ?Then below this new branch add a leaf node with label = most common target value in the examples

? ? ? ? ? ?Else below this new branch add the subtree ID3 (Examples(vi), Target_Attribute, Attributes – {A})

? ?End

? ?Return Root

你將注意到這樣一個細(xì)節(jié)：在循環(huán)開始之后，算法必須選擇一個屬性，為樣本分類選出最佳方案。那么算法會怎么做呢？為了理解這一點，我們必須深入了解一些數(shù)學(xué)知識。別擔(dān)心，不會太難。

信息增益和熵

信息增益是選擇最佳屬性常用且容易上手的方法之一。它使用另一種叫做熵的屬性計算出來。

熵是物理學(xué)和數(shù)學(xué)中的概念，指系統(tǒng)的隨機性或混亂度。在信息論中，它指的是一組樣本的混亂度。

我們通過一個例子來說明：你有兩個裝滿巧克力的袋子。巧克力有紅的也有藍(lán)的。你想通過計算巧克力的數(shù)量來測量袋子的熵。所以你坐下來開始數(shù)。2 分鐘后，你發(fā)現(xiàn)第一袋有 50 塊巧克力。其中 25 塊是紅色的，25 塊是藍(lán)色的。第二袋也有 50 塊巧克力，都是藍(lán)色的。

在這種情況下，第一個袋子的熵是 1，因為里面的巧克力呈均勻分布。第二個袋子的熵為零，因為里面的巧克力沒有隨機性。

我們用下面這個公式計算一個系統(tǒng)的熵：

在這個公式中，c 代表類別或?qū)傩缘目倲?shù)，p_i 代表屬于第 i 類的樣本數(shù)量。是不是有點懵？我們通過例子了解一下：

讓我們回到剛剛的巧克力袋子。我們有兩個類別：紅色（R）和藍(lán)色（B）。第一個袋子里有 25 塊紅色巧克力。巧克力總數(shù)是 50。因此，p_i=25/50。藍(lán)色類別也是這樣處理。把這些值代入熵方程，我們得到以下結(jié)果：

解方程，結(jié)果如下：

如果想驗證結(jié)果或嘗試其他例子，請移步 Wolfram Alpha：http://www.wolframalpha.com/input/?i=-(25%2F50)log2(25%2F50)+-+(25%2F50)log2(25%2F50)。

繼續(xù)計算第二個袋子的熵，里面有 50 塊紅色巧克力，0 塊藍(lán)色巧克力。得到的熵是 0。

如果你理解這個概念，太好了！我們現(xiàn)在轉(zhuǎn)到信息增益。

信息增益

信息增益是由基于給定屬性的樣本分割導(dǎo)致的熵下降。從數(shù)學(xué)角度上看，信息增益的定義為：

S 代表整個樣本集，A 代表我們想要分割的屬性。|S| 代表樣本數(shù)量，|Sv| 表示屬性 A 當(dāng)前值的樣本數(shù)量。

仍然很復(fù)雜，是不是？那我們舉個例子，看看它的工作流程。

構(gòu)建決策樹

首先，給巧克力的例子添加一些細(xì)節(jié)。我們已經(jīng)知道袋 1 中有 25 塊紅色巧克力、25 塊藍(lán)色巧克力?，F(xiàn)在，我們還要考慮巧克力的品牌。紅色巧克力中，有 15 塊是士力架，10 塊是 Kit Kat 牌。藍(lán)色巧克力中，20 塊是 Kit Kat 牌，5 塊是士力架。假設(shè)我們只想吃紅色的士力架。那么這里，紅色士力架（15）是正例，其他的巧克力（如紅色 Kit Kat 和藍(lán)色士力架）都是負(fù)例。

現(xiàn)在，與我們的類別（吃／不吃）相關(guān)的數(shù)據(jù)集的熵是：

現(xiàn)在我們來回顧一下，我們有 50 塊巧克力。如果只看屬性「顏色」，則我們有 25 個紅色的、25 個藍(lán)色的。如果看屬性「品牌」，則我們有 20 塊士力架、30 塊 Kit Kat 巧克力。

為了構(gòu)建決策樹，我們需要選擇其中一個屬性作為根節(jié)點。我們想要選擇具備最高信息增益的屬性?，F(xiàn)在我們來計算這些屬性的信息增益。

顏色相關(guān)的信息增益是：

我們剛才計算了與類別相關(guān)的巧克力的熵，是 0.8812。如果我們想吃 15 塊士力架而不是 10 塊 Kit Kat，則紅色巧克力的熵是：

如果我們不想吃藍(lán)色巧克力，則熵為 0。

我們的信息增益計算就變成了：

如果我們分割顏色，則信息增益是 0.3958。

現(xiàn)在我們來看下品牌。如果我們想吃 15 塊士力架（共有 20 塊），不想吃 Kit Kat。則士力架的熵是：

如果我們不吃 Kit Kat，則熵為 0。信息增益為：

品牌分割的信息增益是 0.5567。

由于品牌的信息增益較大，我們將基于品牌進行分割。下一級，我們只要左邊的顏色。我們可以輕松地根據(jù)顏色進行分割，無需進行任何計算。決策樹如下：

誰能想到吃塊巧克力這么難呢？

現(xiàn)在你應(yīng)該了解決策樹的運行原理了。

使用 Python 3 實現(xiàn)決策樹

現(xiàn)在我們繼續(xù)為巧克力數(shù)據(jù)集構(gòu)建決策樹。

代碼和數(shù)據(jù)地址：https://github.com/ishansharma/decision_trees_tutorial/

創(chuàng)建新文件夾。

從 GitHub 下載 data.csv（https://github.com/ishansharma/decision_trees_tutorial/blob/master/data.csv）。

你可能需要安裝 Scipy、Scikit-Learn 和 Pandas，如果沒有安裝的話。我推薦使用虛擬環(huán)境，參見：http://docs.python-guide.org/en/latest/dev/virtualenvs/。從終端運行以下命令行，安裝 Pandas 和 Scikit-Learn：

pip install scikit-learn

pip install scipy

pip install pandas

4. 安裝后，創(chuàng)建新文件 decision_tree.py，并將以下兩行添加進去：

from pandas import read_csv

from sklearn import tree

5. 使用 Pandas 加載數(shù)據(jù)：

data = read_csv("data.csv")

6. Pandas 可以處理大型數(shù)據(jù)集，且具備大量可視化功能。它在使用 Python 的大數(shù)據(jù)流程中廣泛使用，因此使用 Pandas 是個好主意。在 Pandas 中你可以使用 head() 方法快速查看加載數(shù)據(jù)：

print(data.head())

下圖顯示了數(shù)據(jù)的前 5 行。

7. 我使用 Class 列來確定我們是否想吃巧克力。1 代表吃，0 代表不吃。

8. 接下來，我們需要對數(shù)據(jù)執(zhí)行一些預(yù)處理。Scikit-Learn 默認(rèn)不支持文本標(biāo)簽，因此我們使用 Pandas 將文本標(biāo)簽轉(zhuǎn)換成數(shù)字。只需要添加以下兩行：

data['Color'] = data['Color'].map({'Red': 0, 'Blue': 1})

data['Brand'] = data['Brand'].map({'Snickers': 0, 'Kit Kat': 1})

9. 剛才我們改變了 Color 屬性，用 0 代表紅色，1 代表藍(lán)色。類似地，在 Brand 列中，我們用 0 替代士力架，用 1 替換 Kit Kat。

10. 如果你使用 head() 查看數(shù)據(jù)集，你將看到品牌和顏色的值已經(jīng)變成了整數(shù)：

11. 最后，按慣例用 X 表示訓(xùn)練屬性，Y 表示輸出類別，因此我們執(zhí)行以下命令：

predictors = ['Color', 'Brand']

X = data[predictors]

Y = data.Class

12. 差不多完成了。我們現(xiàn)在已經(jīng)準(zhǔn)備好訓(xùn)練決策樹了。添加以下兩行在我們的數(shù)據(jù)上訓(xùn)練決策樹：

decisionTreeClassifier = tree.DecisionTreeClassifier(criterion="entropy")

dTree = decisionTreeClassifier.fit(X, Y)

13. 完成了嗎？我們對決策樹進行快速可視化。添加下列行，并運行程序：

dotData = tree.export_graphviz(dTree, out_file=None)

print(dotData)

14. 輸出如下：

15. 復(fù)制輸出，訪問 WebGraphviz (http://www.webgraphviz.com/) 并粘貼輸出，點擊 Generate Graph。你講看到一個與上文決策樹類似的決策樹：

16. 這顆樹有點難懂，因為有很多額外信息，不過你可以看到它先基于列 1（Brand）進行分割，再基于列 2（Color）進行分割。

一旦構(gòu)建處這顆樹，那么未來的預(yù)測就很簡單了。我們來看一下我們是否想吃藍(lán)色的 Kit Kat 巧克力。

將以下行添加至 decision_tree.py 文件的末尾：

print(dTree.predict([[1, 1]]))

輸出為 [0]，意味著分類是不吃。如果你嘗試紅色士力架（print(dTree.predict([[0, 0]]))），則輸出是 [1]。

繼續(xù)研究

經(jīng)過以上學(xué)習(xí)，你應(yīng)該對決策樹有所了解，同時學(xué)會了簡單的實現(xiàn)。如果希望進一步探索，你可以參考這些資源：

Scikit-Learn 上的決策樹頁面，討論在更大的數(shù)據(jù)集和其他度量下分割數(shù)據(jù)：http://scikit-learn.org/stable/modules/tree.html

Kaggle 上的機器學(xué)習(xí)教程，一個深度教程，教你參與 Kaggle 競賽，并構(gòu)建一個住房數(shù)據(jù)的決策樹模型：https://www.kaggle.com/learn/machine-learning

Saving your Scikit Models：本教程中，每次運行都會訓(xùn)練一遍模型。這在小數(shù)據(jù)集中還可以接受，但對于更大的數(shù)據(jù)集來說最好是一次訓(xùn)練，隨后僅使用。這個教程可以教你如何保存自己的模型：http://scikit-learn.org/stable/modules/model_persistence.html

將訓(xùn)練好的模型轉(zhuǎn)換為 Core ML：如果你為另一個數(shù)據(jù)集訓(xùn)練了自己的決策樹，并希望在 iOS 設(shè)備上運行，那么你就需要將已訓(xùn)練模型轉(zhuǎn)換為 Core ML 框架版本：https://developer.apple.com/documentation/coreml/converting_trained_models_to_core_ml?

原文鏈接：https://heartbeat.fritz.ai/introduction-to-decision-tree-learning-cd604f85e236

作者：Ishan Sharma

編譯：機器之心

文章版權(quán)歸原作者所有，轉(zhuǎn)載僅供學(xué)習(xí)使用，不用于任何商業(yè)用途，如有侵權(quán)請留言聯(lián)系刪除，感謝合作。

總結(jié)

以上是生活随笔為你收集整理的入门 | 机器学习第一课：决策树学习概述与实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。