一直就對機器學習中各種XX熵的概念比較模糊，現在總結一下自己的學習心得。

信息量

先說一下信息量的概念，其實熵就是信息量的集合。

摘抄個例子：

英文有26個字母，假設每個字母出現的概率是一樣的，每個字母的信息量就是 - log2 1/26 = 4.7(這就是個公式，現在不懂先不用管)；常用的漢字有2500個，每個漢字的信息量是 - log2 1/2500 =11.3。所以在信息量相同的情況下，使用的漢字要比英文字母要少——這其實就是十六進制和二進制的區別，在這個例子中，apple成了5位26進制的數值，信息量4.7 * 5 = 23.5；而蘋果成為2位2500進制的數值，信息量11.3 * 2 = 22.6。雖然表示的方式不同，但信息量差不多(這是一個很巧合的例子，僅用于說明信息量的含義，大多數詞語都不會這么接近)。

我的理解是，英文中需要用23.5的二進制定位一個單詞，漢語中使用22.6個二進制定位一個單詞。

信息量是對應一個事件的熵，若想衡量一個系統有多少信息量，就要用到熵的概念。

信息量就是不確定度，越是不能判斷未來有多少可能，信息度就越大。

熵

熵是用來衡量一個系統混論程度的物理量，代表一個系統中蘊含多少信息量，信息量越大表明一個系統不確定性就越大，就存在越多的可能性。

熵(entropy)就用來衡量整個系統的總體信息量，其計算公式如下

至于這個公式怎么導出的，比較麻煩，這里可以直觀的理解一下。

熵是平均信息量，也可以理解為不確定性。例如進行決賽的巴西和南非，假設根據經驗判斷，巴西奪冠的幾率是80%，南非奪冠的幾率是20%，則誰能獲得冠軍的信息量就變為 - 0.8 * log2 0.8- 0.2 * log2 0.2 = 0.257 + 0.464 = 0.721，小于1 bit了。經驗減少了判斷所需的信息量，消除了不確定性。

而且通過計算可以發現，巴西奪冠的幾率越高，計算出的熵就越小，即越是確定的情況，不確定性越小，信息量越少。如果巴西100%奪冠，那么熵是0，相當于沒有任何信息。當兩隊幾率都是50%最難判斷，所熵達到最大值1。其實之前的?- log2 1/2= 1 bit 是簡化了的計算過程，其結果也是通過熵的公式來計算的?- 0.5 * log2 0.5 - 0.5* log2 0.5 = 1 bit，計算信息量要綜合考慮每種結果的可能性。

另一個會迷惑的問題是熵會大于1嗎？答案當然是肯定的，剛剛計算的最大值為1bit，是因為最終的結果只有兩種情況。在有四支球隊的時候，其最大值就是 - 0.25 * log20.25?- 0.25 * log2 0.25?- 0.25 * log2 0.25?- 0.25 * log2 0.25 =2 bit，當四支球隊奪冠概率不等的時候，熵會小于2 bit。

我記得有個公式可以計算最大熵，在哪里？

用處：決策樹ID3和C4.5算法中，使用熵作為選擇決策點的標準。

最大熵

就是在系統均衡的時候，系統的熵最大。

聯合熵(KL距離，交叉熵)

我的理解，聯合熵是為了導出條件熵和互信息的一個定義，

性質：

大于每個獨立的熵

2個變量的聯合熵大于或等于這2個變量中任一個的獨立熵。

少于獨立熵的和

2個變量的聯合熵少于或等于2個變量的獨立熵之和。這是次可加性的一個例子。該不等式有且只有在和均為統計獨立的時候相等。

這表明，兩個變量關聯之后不確定性會增大，但是又由于相互有制約關系，不確定小于單獨兩個變量的不確定度之和。

條件熵

性質：

就是在事件X的前提下，事件Y的熵，

用處：決策樹的特征選擇，實際上使用的信息增益，就是用G(D,A)=H(Y)-H(Y|X)。可以看出在X的條件下，Y的不確定度下降了多少。

相對熵

也叫交叉熵。

相對熵越大，兩個函數差異越大；反之，相對熵越小，兩個函數差異越小。

用處：在聚類算法中，使用相對熵代替歐幾里得距離，計算連個節點的相關度，據說效果不錯。度量兩個隨機變量的差異性。

這幅圖就是說，p分布和q分布共有的部分相對熵就是正的，非共有部分就是負的，D(p||q)就是面積的求和。

互信息

了解Y的前提下，消除X的不確定度。(注意和鏈式法則不一樣)

相關文章：

只是概念性的描述，無法看出這幾種熵之間的聯系和用處，所以自己寫一篇。

總結

以上是生活随笔為你收集整理的kl距离 java_信息量、熵、最大熵、联合熵、条件熵、相对熵、互信息。的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。