1. 實現

香農熵又稱信息熵，反映了一條信息的信息量大小和它的不確定性之間的關系，是信息量的度量，單位為 bit。

對于某件事情：

• 不確定性越大，熵越大，確定該事所需的信息量也越大；
• 不確定性越小，熵越小，確定該事所需的信息量也越小。

假設有一事件XX，XX事件有ii種可能性，每一種可能性發生的概率記為P(Xi)P(Xi)，則香農熵的計算公式為：

2. python代碼實現：

計算給定數據集的香農熵

def calsShannonEnt(dataSet):numEntries = len(dataSet)labelCounts = {}for dataVec in dataSet:label = dataVec[-1]if label not in labelCounts.keys():labelCounts[label] = 0labelCounts[label] += 1shannonEnt = 0.0for key in labelCounts.keys():prob = float(labelCounts[key]) / numEntriesshannonEnt -= prob * math.log(prob, 2)return shannonEntif __name__ == "__main__":print("Code Run As A Program")

總結

以上是生活随笔為你收集整理的【算法】Shannon Entropy决策中的香农熵介绍、计算以及python代码实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。