?計(jì)算信息熵的公式：n是類別數(shù)，p(xi)是第i類的概率

假設(shè)數(shù)據(jù)集有m行，即m個(gè)樣本，每一行最后一列為該樣本的標(biāo)簽，計(jì)算數(shù)據(jù)集信息熵的代碼如下：

from math import logdef calcShannonEnt(dataSet):numEntries = len(dataSet) # 樣本數(shù)labelCounts = {} # 該數(shù)據(jù)集每個(gè)類別的頻數(shù)for featVec in dataSet: # 對(duì)每一行樣本currentLabel = featVec[-1] # 該樣本的標(biāo)簽if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0labelCounts[currentLabel] += 1 shannonEnt = 0.0for key in labelCounts:prob = float(labelCounts[key])/numEntries # 計(jì)算p(xi)shannonEnt -= prob * log(prob, 2) # log base 2return shannonEnt

?

總結(jié)

以上是生活随笔為你收集整理的Python计算信息熵的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。