大概是你見過(guò)最詳細(xì)最靠近數(shù)學(xué)方式理解熵系列的博客。
目前內(nèi)容有信息量，自信息，條件熵，聯(lián)合熵，互信息，條件互信息。

自信息

香農(nóng)當(dāng)時(shí)希望自信息這個(gè)概念要滿足如下幾個(gè)條件：

1、一個(gè)百分百發(fā)生的事件不提供任何信息

2、這個(gè)事件越不可能發(fā)生，他的發(fā)生將會(huì)提供更多信息

3、如果兩個(gè)獨(dú)立事件是分開測(cè)量的，他們的自信息總和就是他們分別的自信息之和

這第三點(diǎn)也就是說(shuō)滿足下面這個(gè)式子（假設(shè)$$I(x)$$代表x的信息量）：
$$I(x,y)=I(x)+I(y)式1$$
我們知道，獨(dú)立的兩個(gè)事件一同發(fā)生的概率是
$$P(x,y)=P(x)?P(y)式2$$
根據(jù)第一點(diǎn)和第二點(diǎn)我們知道，自信息是一個(gè)和事件發(fā)生概率有關(guān)的數(shù)學(xué)量，我們可以假設(shè)成如下形式
$$I(x)=f(P(x))$$
那么要滿足式1和式2，最合適的$f()$就是$log()$函數(shù)，因此我們得到了如下關(guān)于自信息的定義
$$I(x)=?logP(x)$$
我們知道log是個(gè)定義域內(nèi)單調(diào)遞增的函數(shù)，所以為了滿足自信息隨著概率升高遞減，在前面補(bǔ)上個(gè)負(fù)號(hào)，這也是香農(nóng)1、2的定義所隱含的。

這個(gè)log的底數(shù)我們是不確定的，如果底數(shù)是2，這個(gè)自信息的單位就是"bit"或者"shannon"；如果是自然對(duì)數(shù)e，就是“nat”（nature縮寫）；如果底數(shù)是10，單位就是“hartleys”或者代表十進(jìn)制數(shù)的“digits”，有時(shí)候也可以寫成“dits”。

正式的,因?yàn)樨?fù)號(hào)可以提到log里面，所以還有一個(gè)形式（第二個(gè)等式）
$$I(x)=?logP(x)=log(\frac{1}{P(x)})$$

(香農(nóng))熵

香農(nóng)熵就被定義成如下形式
$$\begin{gathered} H(X)=\sum _x?P(x)logP(x) \\ =\sum _{x}P(x)I(x) \\ =E[I(x)] \end{gathered}$$
上面第三個(gè)等式，我們知道關(guān)于隨機(jī)變量x的概率分布期望就是${\sum }_{k=1}^{+\infty }{x}_{k}P(x_k)$

，是不是就能感覺到熵其實(shí)就是信息量的期望。

特性：

連續(xù)性
該量度應(yīng)連續(xù)，概率值小幅變化只能引起熵的微小變化。

對(duì)稱性
符號(hào)xi重新排序后，該量度應(yīng)不變。如
$$H_n(p_1,p_2..)=H_n(p_2,p_1...)$$
3.極值性
當(dāng)所有事件等概率發(fā)生，熵達(dá)到最大值（因?yàn)榉浅２淮_定誰(shuí)會(huì)發(fā)生）
$$H_n(p_1,p_2...)\le H_n(\frac{1}{n},\frac{1}{n}...)={\log }_{b}n，H后的下標(biāo)代表事件數(shù)$$
這個(gè)性質(zhì)其實(shí)就是要證明下式，該式子的證明可通過(guò)琴生不等式證明

根據(jù)琴生不等式，即當(dāng)函數(shù)是凸函數(shù)時(shí)，總有等概率事件的熵應(yīng)隨符號(hào)的數(shù)量增加。這個(gè)也很好理解，因?yàn)榧偃邕x項(xiàng)只有兩個(gè)，正確答案是其中一個(gè)，概率都是等概率的也就是二分之一，此時(shí)答對(duì)的可能性是一半，但如果選項(xiàng)有四個(gè)，混亂程度就增加了，也就是說(shuō)
$${\log }_{b}n\le {\log }_b(n+1)=H_{n+1}(\frac{1}{n+1},\frac{1}{n+1}....)$$
增減一概率為零的事件不改變熵：

聯(lián)合熵

聯(lián)合熵是一個(gè)變量集合不確定性的度量。

被定義為
$$H(X,Y)=?\sum _x\sum _{y}P(x,y)logP(x,y)$$
x和y是X和Y分布里的一個(gè)特定值，P（x,y）就是聯(lián)合概率。

如果變量數(shù)更多,那么定義可以延伸成以下形式。
$$H(X_1,...,X_n)=?\sum _{x_1}...\sum _{x_n}P(x_1...x_n)logP(x_1...x_n)$$
性質(zhì)：

1.非負(fù)性。因?yàn)槊總€(gè)log項(xiàng)都是小于0的，所以加合也小于0，取反非負(fù)。

2.大于等于任何一個(gè)變量的獨(dú)立熵
$$H(X_1...X_N)\ge max\{H(X_1),..H(X_N)\}$$
3.小于等于每個(gè)變量的獨(dú)立熵合
$$H(X,Y)\le H(X)+H(Y)$$

4.連鎖法則
$$H(X_1,X_2..X_n)=\sum _{i=1}^{n}H(X_i|X_1,...X_{i?1})$$
用歸納法可以證明
$$\begin{array}{rl}H(X_1,...X_m,X_{m+1})& =H(X_1,..X_m)+H(X_{m+1}|X_1...X_m)[這是因為對(duì)m=2時(shí)已經(jīng)證明過(guò)了，下面條件熵的部分]\\ & =\sum _{i=1}^{m}H(X_i|X_1..X_{i?1})+H(X_{m+1}|X_1...X_m)[假設(shè)對(duì)n=m時(shí)成立]\\ & =\sum _{i=1}^{m+1}H(X_i|X_1,...X_{i?1})[對(duì)n=m+1也成立]\end{array}$$

條件熵

假設(shè)另一個(gè)隨機(jī)變量X的值已知，條件熵(或模糊性)量化描述隨機(jī)變量Y的結(jié)果所需的信息量。
$$\begin{array}{rl}H(Y|X)=& \sum _{x}p(x)H(Y|X=x)[定義如此]\\ =& ?\sum _{X,Y}P(x,y)log\frac{P(x,y)}{P(x)}[這里的推導(dǎo)略了，大致就是按全概率的思想把H（Y|X）展開]\end{array}$$
也可以和聯(lián)合熵做一個(gè)聯(lián)系：
$$H(Y|X)=H(X,Y)?H(X)[這就是上面說(shuō)的證明，稍微移項(xiàng)一下就好]$$
這個(gè)推導(dǎo)過(guò)程如下：
$$\begin{array}{rl}原式=& ?\sum _{X,Y}P(x,y)log\frac{P(x,y)}{P(x)}\\ =& ?\sum _{X,Y}P(x,y)[logP(x,y)?logP(x)]\\ =& ?\sum _{X,Y}P(x,y)logP(x,y)+\sum _{X}P(x)logP(x)\end{array}$$
這個(gè)過(guò)程從第二個(gè)等式到第三個(gè)等式可能有點(diǎn)奇怪，右側(cè)直接把
$$\sum _{X,Y}P(x,y)logP(x)=>\sum _{X}P(x)logP(x)$$
這個(gè)是全概率公式，可以看到每個(gè)$(x,y)$都互不相容，其和為全集，所以有
$$P(x)=\sum _i^{\infty }P(x{y}_i)$$
性質(zhì)：

1.當(dāng)且僅當(dāng)Y完全由X決定，條件熵為0（因?yàn)椴恍枰峁┤魏涡畔⒘?#xff09;

2.當(dāng)且僅當(dāng)Y和X獨(dú)立，條件熵等于分子獨(dú)立熵

3.連鎖法則
$$\begin{array}{rl}H(X_1,X_2...X_n|Y)=& \sum _{i=1}^{n}H(X_i|X_1...X_{i?1},Y)【下面幾個(gè)等式是證明】\\ =& H(X_1,...X_n,Y)?H(Y)\\ =& H((X_1,Y)...X_n)?H(Y)\\ =& H(X_1,Y)?H(Y)+\sum _{i=2}^{n}H(X_i|X_1...X_{i?1},Y)[熵的連鎖，移項(xiàng)]\\ =& H(X_1|Y)+\sum _{i=2}^{n}H(X_i|X_1...X_{i?1},Y)\\ 證畢& \end{array}$$

4.貝葉斯法則
$$\mathrm{H}(Y|X)=\mathrm{H}(X|Y)?\mathrm{H}(X)+\mathrm{H}(Y)$$
證明
$$\begin{gathered} \mathrm{H}(Y|X)=\mathrm{H}(X,Y)?\mathrm{H}(X) \\ \mathrm{H}(X|Y)=\mathrm{H}(Y,X)?\mathrm{H}(Y) \\ 對(duì)稱性：\mathrm{H}(X,Y)=\mathrm{H}(Y,X) \end{gathered}$$
用第一條等式減第二條等式就得到了貝葉斯法則

其他的性質(zhì)
$$\begin{array}{rl}\mathrm{H}(Y|X)& \le \mathrm{H}(Y)\\ \mathrm{H}(X,Y)& =\mathrm{H}(X|Y)+\mathrm{H}(Y|X)+I(X;Y),\\ \mathrm{H}(X,Y)& =\mathrm{H}(X)+\mathrm{H}(Y)?I(X;Y),\\ I(X;Y)& \le \mathrm{H}(X),\end{array}$$
第一條就不用多說(shuō)了，知道別的分布總比不知道要好，所以左邊需要的信息不會(huì)大于右邊。也可以數(shù)學(xué)證明，這里不證明了。

剩下三條的$I(X;Y)$是互信息，等等講，不著急。

互信息

根據(jù)熵的連鎖規(guī)則，有
$$H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$$
所以整理可得
$$H(X)?H(X|Y)=H(Y)?H(Y|X)$$
這個(gè)差就叫做X和Y的互信息，記做$I(X;Y)$。

互信息的鏈規(guī)則：
$$I(X_{1n};Y)=\sum _{i=1}^{n}I(X_i;Y|X_1,...X_{n?1})$$
證明：
$$\begin{array}{rl}I(X_{1n};Y)=& H(X_1...X_n)?H(X_1,..X_n|Y)[互信息定義]\\ =& \sum _{i=1}^{n}H(X_i|X_1...X_{i?1})?\sum _{i=1}^{n}H(X_i|X_1...X_{i?1},Y)\\ =& \sum _{i=1}^n[H(X_i|X_1...X_{i?1})?H(X_i|X_1...X_{i?1},Y)][互信息定義，多觀察一下]\\ =& \sum _{i=1}^{n}I(X_i;Y|X_1,...X_{n?1})\end{array}$$
條件互信息的鏈規(guī)則：
$$I(X_{1n};Y|Z)=\sum _{i=1}^{n}I(X_i;Y|X_1,...X_{n?1},Z)$$
證明和互信息鏈規(guī)則很像，其實(shí)就是要理解"|“和”;"的結(jié)合方式是
$$I(X;Y|Z)=I((X;Y)|Z)=H(X|Z)=H(X|Y,Z)$$
然后按著上面的互信息鏈證明即可

總結(jié)

以上是生活随笔為你收集整理的信息论的基本概念（自信息，条件熵，联合熵，互信息，条件互信息）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。