決策樹(shù)的生成—ID3算法

---

算法由來(lái)：

決策樹(shù)算法最開(kāi)始是由Hunt Earl B提出的CLS(Concept Learning System)，但是沒(méi)有給出采用什么方法選擇最優(yōu)特征，后面羅斯昆（J. Ross Quinlan）提出ID3算法，使用 [信息增益] 確定最優(yōu)特征，之后羅斯昆又對(duì)ID3算法進(jìn)行了優(yōu)化改進(jìn)，得到 C4.5算法，并用 信息增益比來(lái)確定最優(yōu)特征。兩種算法本質(zhì)是差不多的，只是確定最優(yōu)特征的方法不同，ID3算法偏向于選擇數(shù)量較多的某一特征，C4.5算法偏向于某一特征單位數(shù)量的選擇。

ID3算法

輸入：訓(xùn)練數(shù)據(jù)集D、特征集A、閾值$\in$
輸出：決策樹(shù)T

判斷T是否需要選擇特征生成決策樹(shù)：

——若D中所有實(shí)例屬于同一類(lèi)，則T為單結(jié)點(diǎn)樹(shù)，記錄實(shí)例類(lèi)別$C_k$以此作為該結(jié)點(diǎn)的類(lèi)標(biāo)記，并返回T:
——若D中所有實(shí)例無(wú)任何特征$(A=?)$,則T為單結(jié)點(diǎn)樹(shù)，記錄D中實(shí)例個(gè)數(shù)最多類(lèi)別$C_k$,以此作為該結(jié)點(diǎn)的類(lèi)標(biāo)記，并返回T;

否則，計(jì)算A中各特征的信息增益，并選擇信息增益最大的特征Ag:

——若Ag的信息增益小于，則T為單結(jié)點(diǎn)樹(shù)，記錄D中實(shí)例個(gè)數(shù)最多類(lèi)別$C_k$,以此作為該結(jié)點(diǎn)的類(lèi)標(biāo)記，并返回T;
——否則，按照Ag的每個(gè)可能值$a_i$,將D分為若干非空子集$D_i$,將$D_i$中實(shí)例個(gè)數(shù)最多的類(lèi)別作為標(biāo)記，構(gòu)建子結(jié)點(diǎn)，以結(jié)點(diǎn)和其子節(jié)點(diǎn)構(gòu)成T,并返回T;

第i個(gè)子結(jié)點(diǎn)，以$D_i$為訓(xùn)練集，A一Ag為特征集合，遞歸地調(diào)用以上步驟，得到子樹(shù)$T_i$并返回。

決策樹(shù)思想的核心在于當(dāng)每個(gè)迭代出來(lái)的訓(xùn)練集計(jì)算出的最大信息增益小于閾值時(shí)，生成單結(jié)點(diǎn)樹(shù)才可終止。

---

例題：

計(jì)算出來(lái)的各個(gè)特征的經(jīng)驗(yàn)熵、經(jīng)驗(yàn)條件熵、信息增益如下：

最大信息增益為自己的房子這個(gè)特征，分為兩類(lèi)：有房子和無(wú)房子，有房子的設(shè)置單一節(jié)點(diǎn)為同意貸款，沒(méi)有房子的訓(xùn)練數(shù)據(jù)集作為新的訓(xùn)練數(shù)據(jù)集$D_2$,再?gòu)氖Ｏ碌奶卣髦杏?jì)算信息增益，選擇最大信息增益的特征。

以特征：年齡為$A_1$, 有工作為$A_2$, 信貸情況為$A_3$

信息增益公式：
$$g\left(D_2,A_i\right)=H\left(D_2\right)?H\left(D_2\mid A_i\right)$$
經(jīng)驗(yàn)熵：
$$\begin{array}{rl}H\left(D_2\right)& =?\frac{6}{9}{\log }_2\left(\frac{6}{9}\right)?\frac{3}{9}{\log }_2\left(\frac{3}{9}\right)\\ & =0.918\end{array}$$
特征：年齡

計(jì)算：

青年：

$$\begin{array}{rl}& w_1=\frac{\left|D_{21}\right|}{\left|D_2\right|}=\frac{4}{9}\\ & H\left(D_{21}\right)=?\frac{1}{4}{\log }_2\frac{1}{4}?\frac{3}{4}{\log }_2\frac{3}{4}=0.811\end{array}$$
? 中年：
$$\begin{array}{rl}& w_2=\frac{\left|D_{21}\right|}{\left|D_2\right|}=\frac{2}{9}\\ & H\left(D_{22}\right)=0\end{array}$$
? 老年：
$$\begin{array}{rl}& w_3=\frac{\left|D_{23}\right|}{\left|D_2\right|}=\frac{3}{9}\\ & H\left(D_{23}\right)=?\frac{2}{3}{\log }_2\frac{2}{3}?\frac{1}{3}{\log }_2\frac{1}{3}=0.918\end{array}$$
經(jīng)驗(yàn)條件熵：
$$\begin{array}{rl}H\left(D_2\mid A_1\right)& =w_{1}H\left(D_{21}\right)+w_{2}H\left(D_{22}\right)+w_{3}H\left(D_{23}\right)\\ & =0.360+0+0.307\\ & =0.667\end{array}$$
特征：是否有工作

計(jì)算：
有工作：
$$\begin{array}{rl}& w_1=\frac{\left|D_{22}\right|}{\left|D_2\right|}=\frac{3}{9}\\ & H\left(D_{22}\right)=0\end{array}$$
? 沒(méi)有工作：
$$\begin{array}{rl}& w_2=\frac{\left|D_{22}\right|}{\left|D_2\right|}=\frac{6}{9}\\ & H\left(D_{22}\right)=0\end{array}$$
經(jīng)驗(yàn)條件熵：
$$H(D_2|A_3)=w_{1}H(d_{21})+w_{2}H(D_{22})=0$$

特征：信貸情況

計(jì)算：

非常好：

$$\begin{array}{rl}& w_1=\frac{\left|D_{23}\right|}{\left|D_2\right|}=\frac{1}{9}\\ & H\left(D_{23}\right)=0\end{array}$$
? 好：
$$\begin{array}{rl}& w_2=\frac{\left|D_{23}\right|}{\left|D_2\right|}=\frac{3}{9}\\ & H\left(D_{23}\right)=?\frac{2}{3}{\log }_2\frac{2}{3}?\frac{1}{3}{\log }_2\frac{1}{3}\end{array}$$
? 老年：
$$\begin{array}{rl}& w_1=\frac{\left|D_{23}\right|}{\left|D_2\right|}=\frac{5}{9}\\ & H\left(D_{23}\right)=?\frac{1}{5}{\log }_2\frac{1}{5}?\frac{4}{5}{\log }_2\frac{4}{5}\end{array}$$
經(jīng)驗(yàn)條件熵：
$$\begin{array}{rl}H\left(D_2\mid A_3\right)& =w_{1}H\left(D_{21}\right)+w_{2}H\left(D_{22}\right)+w_{3}H\left(D_{23}\right)=0.444\end{array}$$
綜合：
比較發(fā)現(xiàn)，特征為：是否有工作信息增益最大，所以下一個(gè)特征選它。

通過(guò)這個(gè)例子，整顆決策樹(shù)只用了兩個(gè)特征，他們的子集都屬于一個(gè)類(lèi)別的，對(duì)于有房子都是同意貸款，對(duì)于沒(méi)有房子都是不同意貸款，滿(mǎn)足單一葉結(jié)點(diǎn)，決策樹(shù)生成。

總結(jié)

以上是生活随笔為你收集整理的决策树的生成—ID3算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。