20210528

https://blog.csdn.net/qq_39408570/article/details/89764177
信息增益和基尼指數(shù)不是等價的
大多數(shù)時候它們的區(qū)別很小
信息增益對較混亂的集合有很好的表現(xiàn)力，但是基尼指數(shù)有所欠缺。另一方面，這也說明較純的集合，基尼指數(shù)可能會區(qū)分得更清楚
信息增益和基尼系數(shù)的區(qū)別

https://www.cnblogs.com/molieren/articles/10664954.html
以信息增益大的結(jié)點來劃分 表明這個劃分的結(jié)點信息熵小 用他劃分 會得到更純凈的結(jié)果
信息熵越小 事情越確定 概率越大 比如明天太陽東邊升起
信息增益通過結(jié)點劃分后的方差來衡量？ 方差越大 表示劃分后的兩個節(jié)點相離的越遠
近似程度越低

信息增益的后半部分 是特征類別和目標變量類別都用上了
信息增益率 的分母是把特征作為目標變量熵一樣來計算

https://zhuanlan.zhihu.com/p/53183016

如果是一棵樹的話 保存的參數(shù)為 整棵樹 包括特征的順序
已經(jīng)特征的取值的劃分 樹就比較深了 因為其要用這一棵樹
保證大部分甚至全部數(shù)據(jù)的分類準確

如果是集成算法 就包括很多棵樹了 每棵樹不一定用了所有的特征
每個特征不一定用了 所有的取值劃分 每棵樹的深度不一定很深

模型保存的就是這些信息

總結(jié)

以上是生活随笔為你收集整理的决策树--信息增益，信息增益比，Geni指数的理解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。