從零開始的AI系列

• 從零開始的AI·機器學習の基本概念
• 從零開始的AI·吃透kNN算法，學完我悟了（附實例代碼）
• 從零開始的AI·樸素貝葉斯？拿來吧你（附實例代碼）

---

文章目錄

• 從零開始的AI系列
• 前言
• 一、權(quán)衡利弊
• 二、整體感知
• 三、理論依據(jù)
• 四、具體實現(xiàn)過程及細節(jié)

---

前言

本文理論部分基于Peter Harrington的《機器學習實戰(zhàn)》一書

決策樹是一種樹形結(jié)構(gòu)，其中每個內(nèi)部節(jié)點表示一個屬性上的測試，每個分支代表一個測試輸出，每個葉節(jié)點代表一種類別。分類樹決策樹是一種十分常用的分類方法。它是一種監(jiān)督學習。

如果覺得AI學習枯燥，可以選擇看一下這個老哥做的網(wǎng)站，趣味性直接拉滿>>人工智能教程

---

一、權(quán)衡利弊

• 優(yōu)點：計算復雜度不高，輸出結(jié)果易于理解，對中間值的缺失不敏感，可以處理不相關(guān)特征數(shù)據(jù)。
• 缺點：可能會產(chǎn)生過度匹配問題。
• 適用數(shù)據(jù)類型：數(shù)值型和標稱型。

二、整體感知

上述對生物種類的劃分就可以通過決策樹來實現(xiàn)。通過對每種生物特征不斷劃分，最終實現(xiàn)對生物進行分類的目的。

三、理論依據(jù)

如果我們知道依據(jù)什么特征，劃分數(shù)據(jù)將會很容易，所以我們的主要工作做在選擇特征上。由此我們引出 信息增益，獲得信息增益最高的特征就是最好的選擇

如何通過計算信息增益確定特征？

信息定義公式

信息熵定義公式

經(jīng)驗熵公式

|D|表示其樣本容量

條件熵公式

信息增益

A是某一特征

四、具體實現(xiàn)過程及細節(jié)

#導入數(shù)據(jù) import pandas as pd Tianic = pd.read_csv(r'train.csv') #劃分數(shù)據(jù)集 from sklearn import model_selection predictors=Tianic.columns[1:2] X_train, X_test, Y_train, Y_test =model_selection.train_test_split(Tianic[predictors],Tianic.z,test_size=0.25,random_state=1234) #構(gòu)建函數(shù)模型并預測 from sklearn import tree from sklearn import metrics CART_Class=tree.DecisionTreeClassifier(max_depth=1,min_samples_leaf=1,min_samples_split=2) decision_tree = CART_Class.fit(X_train,Y_train) pred = CART_Class.predict(X_test) print('準確率：\n',metrics.accuracy_score(Y_test,pred))

總結(jié)

以上是生活随笔為你收集整理的从零开始的AI·决策树原来这么好理解（附实例代码）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。