讓我們說人話！好的數學概念都應該是通俗易懂的。

信息熵，信息熵，怎么看怎么覺得這個“熵”字不順眼，那就先不看。我們起碼知道這個概念跟信息有關系。而它又是個數學模型里面的概念，一般而言是可以量化的。所以，第一個問題來了：信息是不是可以量化？

起碼直覺上而言是可以的，不然怎么可能我們覺得有些人說的廢話特別多，“沒什么信息量”，有些人一語中的，一句話就傳達了很大的信息量。

為什么有的信息量大有的信息量小？

有些事情本來不是很確定，例如明天股票是漲還是跌。如果你告訴我明天NBA決賽開始了，這兩者似乎沒啥關系啊，所以你的信息對明天股票是漲是跌帶來的信息量很少。但是假如NBA決賽一開始，大家都不關注股票了沒人坐莊股票有99%的概率會跌，那你這句話信息量就很大，因為本來不確定的事情變得十分確定。

而有些事情本來就很確定了，例如太陽從東邊升起，你再告訴我一百遍太陽從東邊升起，你的話還是絲毫沒有信息量的，因為這事情不能更確定了。

所以說信息量的大小跟事情不確定性的變化有關。

那么，不確定性的變化跟什么有關呢？
一，跟事情的可能結果的數量有關；二，跟概率有關。
先說一。
例如我們討論太陽從哪升起。本來就只有一個結果，我們早就知道，那么無論誰傳遞任何信息都是沒有信息量的。
當可能結果數量比較大時，我們得到的新信息才有潛力擁有大信息量。

二，單看可能結果數量不夠，還要看初始的概率分布。例如一開始我就知道小明在電影院的有15*15個座位的A廳看電影。小明可以坐的位置有225個，可能結果數量算多了。可是假如我們一開始就知道小明坐在第一排的最左邊的可能是99%，坐其它位置的可能性微乎其微，那么在大多數情況下，你再告訴我小明的什么信息也沒有多大用，因為我們幾乎確定小明坐第一排的最左邊了。

那么，怎么衡量不確定性的變化的大小呢？怎么定義呢？
這個問題不好回答，但是假設我們已經知道這個量已經存在了，不妨就叫做信息量，那么你覺得信息量起碼該滿足些什么特點呢？


一，起碼不是個負數吧，不然說句話還偷走信息呢~

二，起碼信息量和信息量之間可以相加吧！假如你告訴我的第一句話的信息量是3，在第一句話的基礎上又告訴我一句話，額外信息量是4，那么兩句話信息量加起來應該等于7吧！難道還能是5是9？

三，剛剛已經提過，信息量跟概率有關系，但我們應該會覺得，信息量是連續依賴于概率的吧！就是說，某一個概率變化了0.0000001，那么這個信息量不應該變化很大。

四，剛剛也提過，信息量大小跟可能結果數量有關。假如每一個可能的結果出現的概率一樣，那么對于可能結果數量多的那個事件，新信息有更大的潛力具有更大的信息量，因為初始狀態下不確定性更大。

那有什么函數能滿足上面四個條件呢？負的對數函數，也就是-log（x）！底數取大于1的數保證這個函數是非負的就行。前面再隨便乘個正常數也行。
a. 為什么不是正的？因為假如是正的，由于x是小于等于1的數，log（x）就小于等于0了。第一個特點滿足。
b. 咱們再來驗證一下其他特點。三是最容易的。假如x是一個概率，那么log（x）是連續依賴于x的。done
c。四呢？假如有n個可能結果，那么出現任意一個的概率是1/n，而-log(1/n)是n的增函數，沒問題。
d。最后驗證二。由于-log(xy) = -log(x) -log(y)，所以也是對的。學數學的同學注意，這里的y可以是給定x的條件概率，當然也可以獨立于x。

By the way，這個函數是唯一的（除了還可以多乘上任意一個常數），有時間可以自己證明一下，或者查書。

ok，所以我們知道一個事件的信息量就是這個事件發生的概率的負對數。

最后終于能回到信息熵。信息熵是跟所有可能性有關系的。每個可能事件的發生都有個概率。信息熵就是平均而言發生一個事件我們得到的信息量大小。所以數學上，信息熵其實是信息量的期望。（表達式參考其它答案或者看下面）


至于為什么用“熵”這個怪字？大概是當時翻譯的人覺得這個量跟熱力學的熵有關系，所以就用了這個字，君不見字里頭的火字旁？

而熱力學為什么用這個字？這個真心不知道。。。

自信息量：一個事件（消息）本身所包含的信息量，由事件的不確定性決定的。

即隨機事件Xi發生概率為P(xi)，則隨機事件的自信息量定義為：

信息熵：隨機變量自信息量I(xi)的數學期望（平均自信息量），用H（X）表示，即為熵的定義：

??

在這里?b?是對數所使用的底，通常是 2, 自然常數?e，或是10。當b?=?2，熵的單位是bit；當b?=?e，熵的單位是?nat；而當?b?=?10,熵的單位是?dit。

互信息的定義： 原來我對X有些不確定(不確定性為H(X)即熵)，告訴我Y后我對X不確定性變為H(X|Y)條件熵, 這個不確定性的減少量就是X,Y之間的互信息I(X;Y)=H(X)-H(X|Y)。

信道容量是指互信息量的最大值。具體地說，就是在一定帶寬和信噪比下，借助某種編碼方案實現無差錯傳輸時可以達到的最大速率，它是一個上界，在實際應用中，傳輸速率一定不能大于信道容量。信道容量考量的對象主要是物理信道，而非傳輸技術。

容量C的定義：每個符號能夠傳輸的平均信息量最大值

單位： (比特/符號)?

Ct ?：b/s

所以在無噪聲條件下，從接收一個符號獲得的平均信息量為H(x)。而原來在有噪聲條件下，從一個符號獲得的平均信息量為[H(x)－H(x/y)]。這再次說明H(x/y)即為因噪聲而損失的平均信息量。

總結

以上是生活随笔為你收集整理的信息论里的信息熵到底是什么含义？互信息的定义的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。