理論：

通過信息論的學習，可知如果信息的隨機性越大，那么把它確定下來的價值也越大，信息論通過定義一種定量的學習方法“熵”來比較任意兩個隨機變量的信息價值

離散變量的熵定義：

連續變量的熵定義：

假設有一枚硬幣，正面朝上的概率為p,反面朝上的概率為1-p,所以問題的信息熵公式

例子實現：

#?encoding=utf-8??

??

import?numpy?as?np??

import?matplotlib.pyplot?as?plt??

??

p?=?np.linspace(0,1,100)??

entropy?=?-p*np.log2(p)-(1-p)*np.log2(1-p)??

plt.plot(p,entropy)??

plt.xlabel('p(x)')??

plt.ylabel('entropy')??

plt.show()?

當概率p=0.5時，此問題的信息熵最大，也就是當概率等于0.5時，相比概率等于其它值時，更能引起人們興趣，帶來驚喜度

總結

以上是生活随笔為你收集整理的信息熵原理及实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。