熵

熵是表示隨機(jī)變量不確定性的度量，設(shè)X是一個(gè)取有限個(gè)值的離散隨機(jī)變量，其概率分布為

則隨機(jī)變量X的熵定義為 若對(duì)數(shù)以2為底或以e為底，這時(shí)熵的單位分別稱為比特或納特。熵只依賴與X的分布，而與X的取值無(wú)關(guān)，所以也可將X的熵記作。熵越大，隨機(jī)變量的不確定性越大。

若一個(gè)隨機(jī)變量只有兩個(gè)值，那么當(dāng)X的分別為為P(x1)=P(x2)=0.5的時(shí)候，熵最大，變量也最不確定。

?

條件熵

設(shè)有隨機(jī)變量（X,Y），其聯(lián)合概率分布為 條件熵H（Y|X）表示在已知隨機(jī)變量X的條件下隨機(jī)變量Y的不確定性。隨機(jī)變量X給定的條件下隨機(jī)變量Y的條件熵H(Y|X),定義為X給定條件下，Y的條件概率分布的熵對(duì)X的數(shù)學(xué)期望

這里，

這里注意，這個(gè)條件熵，不是指的，即不是指在給定某個(gè)數(shù)（某個(gè)變量為某個(gè)值）的情況下，另一個(gè)變量的熵是多少，變量的不確定性是多少？不是這樣的，條件熵中X也是一個(gè)變量，意思是在一個(gè)變量X的條件下（變量X的每個(gè)值都會(huì)取），另一個(gè)變量Y熵對(duì)X的期望。

舉個(gè)例子：

一顆小花開花或不開花是一個(gè)隨機(jī)事件，用隨機(jī)變量X表示。現(xiàn)有一些樣本X={開 開 開 開 開 開 開 開 開 不 不 不 不 不 }

可以估計(jì)P（X=開）=9/14? P(X=不)=5/14

那么X的熵為-（9/14）log（9/14? ） -（5/14）log（5/14? ）

?

現(xiàn)在還有一個(gè)變量時(shí)Y，是一個(gè)天氣的變量（晴 陰 雨），且P(晴)=5/14? P（陰）=4/14? P(雨)=5/14，

并且我們有在天氣的條件下，小花開花的情況（也就是按天氣這個(gè)條件，對(duì)小花的開花情況分類）：

我們也就有了在Y情況下，X的概率分布。于是，我們就有了H（Y|X）=

其實(shí)條件熵意思是按一個(gè)新的變量的每個(gè)值對(duì)原變量進(jìn)行分類，比如上面這個(gè)題把開 不 按晴陰雨分成了三類，然后在每一個(gè)小類里面，都計(jì)算一個(gè)小熵，然后每一個(gè)小熵乘以各個(gè)類別的概率，然后求和。我們用另一個(gè)變量對(duì)原變量分類后，原變量的不確定性就會(huì)減小了，因?yàn)樾略隽薡的信息，可以感受一下。不確定程度減少了多少就是信息的增益。

轉(zhuǎn)載于:https://www.cnblogs.com/happylion/p/4194716.html

總結(jié)

以上是生活随笔為你收集整理的熵与条件熵的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。