大概是你見過最詳細最靠近數學方式理解熵系列的博客。
目前內容有信息量，自信息，條件熵，聯合熵，互信息，條件互信息。

自信息

香農當時希望自信息這個概念要滿足如下幾個條件：

1、一個百分百發生的事件不提供任何信息

2、這個事件越不可能發生，他的發生將會提供更多信息

3、如果兩個獨立事件是分開測量的，他們的自信息總和就是他們分別的自信息之和

這第三點也就是說滿足下面這個式子（假設$$I(x)$$代表x的信息量）：
$$I(x,y)=I(x)+I(y)式1$$
我們知道，獨立的兩個事件一同發生的概率是
$$P(x,y)=P(x)?P(y)式2$$
根據第一點和第二點我們知道，自信息是一個和事件發生概率有關的數學量，我們可以假設成如下形式
$$I(x)=f(P(x))$$
那么要滿足式1和式2，最合適的$f()$就是$log()$函數，因此我們得到了如下關于自信息的定義
$$I(x)=?logP(x)$$
我們知道log是個定義域內單調遞增的函數，所以為了滿足自信息隨著概率升高遞減，在前面補上個負號，這也是香農1、2的定義所隱含的。

這個log的底數我們是不確定的，如果底數是2，這個自信息的單位就是"bit"或者"shannon"；如果是自然對數e，就是“nat”（nature縮寫）；如果底數是10，單位就是“hartleys”或者代表十進制數的“digits”，有時候也可以寫成“dits”。

正式的,因為負號可以提到log里面，所以還有一個形式（第二個等式）
$$I(x)=?logP(x)=log(\frac{1}{P(x)})$$

(香農)熵

香農熵就被定義成如下形式
$$\begin{gathered} H(X)=\sum _x?P(x)logP(x) \\ =\sum _{x}P(x)I(x) \\ =E[I(x)] \end{gathered}$$
上面第三個等式，我們知道關于隨機變量x的概率分布期望就是${\sum }_{k=1}^{+\infty }{x}_{k}P(x_k)$

，是不是就能感覺到熵其實就是信息量的期望。

特性：

連續性
該量度應連續，概率值小幅變化只能引起熵的微小變化。

對稱性
符號xi重新排序后，該量度應不變。如
$$H_n(p_1,p_2..)=H_n(p_2,p_1...)$$
3.極值性
當所有事件等概率發生，熵達到最大值（因為非常不確定誰會發生）
$$H_n(p_1,p_2...)\le H_n(\frac{1}{n},\frac{1}{n}...)={\log }_{b}n，H后的下標代表事件數$$
這個性質其實就是要證明下式，該式子的證明可通過琴生不等式證明

根據琴生不等式，即當函數是凸函數時，總有等概率事件的熵應隨符號的數量增加。這個也很好理解，因為假如選項只有兩個，正確答案是其中一個，概率都是等概率的也就是二分之一，此時答對的可能性是一半，但如果選項有四個，混亂程度就增加了，也就是說
$${\log }_{b}n\le {\log }_b(n+1)=H_{n+1}(\frac{1}{n+1},\frac{1}{n+1}....)$$
增減一概率為零的事件不改變熵：

聯合熵

聯合熵是一個變量集合不確定性的度量。

被定義為
$$H(X,Y)=?\sum _x\sum _{y}P(x,y)logP(x,y)$$
x和y是X和Y分布里的一個特定值，P（x,y）就是聯合概率。

如果變量數更多,那么定義可以延伸成以下形式。
$$H(X_1,...,X_n)=?\sum _{x_1}...\sum _{x_n}P(x_1...x_n)logP(x_1...x_n)$$
性質：

1.非負性。因為每個log項都是小于0的，所以加合也小于0，取反非負。

2.大于等于任何一個變量的獨立熵
$$H(X_1...X_N)\ge max\{H(X_1),..H(X_N)\}$$
3.小于等于每個變量的獨立熵合
$$H(X,Y)\le H(X)+H(Y)$$

4.連鎖法則
$$H(X_1,X_2..X_n)=\sum _{i=1}^{n}H(X_i|X_1,...X_{i?1})$$
用歸納法可以證明
$$\begin{array}{rl}H(X_1,...X_m,X_{m+1})& =H(X_1,..X_m)+H(X_{m+1}|X_1...X_m)[這是因為對m=2時已經證明過了，下面條件熵的部分]\\ & =\sum _{i=1}^{m}H(X_i|X_1..X_{i?1})+H(X_{m+1}|X_1...X_m)[假設對n=m時成立]\\ & =\sum _{i=1}^{m+1}H(X_i|X_1,...X_{i?1})[對n=m+1也成立]\end{array}$$

條件熵

假設另一個隨機變量X的值已知，條件熵(或模糊性)量化描述隨機變量Y的結果所需的信息量。
$$\begin{array}{rl}H(Y|X)=& \sum _{x}p(x)H(Y|X=x)[定義如此]\\ =& ?\sum _{X,Y}P(x,y)log\frac{P(x,y)}{P(x)}[這里的推導略了，大致就是按全概率的思想把H（Y|X）展開]\end{array}$$
也可以和聯合熵做一個聯系：
$$H(Y|X)=H(X,Y)?H(X)[這就是上面說的證明，稍微移項一下就好]$$
這個推導過程如下：
$$\begin{array}{rl}原式=& ?\sum _{X,Y}P(x,y)log\frac{P(x,y)}{P(x)}\\ =& ?\sum _{X,Y}P(x,y)[logP(x,y)?logP(x)]\\ =& ?\sum _{X,Y}P(x,y)logP(x,y)+\sum _{X}P(x)logP(x)\end{array}$$
這個過程從第二個等式到第三個等式可能有點奇怪，右側直接把
$$\sum _{X,Y}P(x,y)logP(x)=>\sum _{X}P(x)logP(x)$$
這個是全概率公式，可以看到每個$(x,y)$都互不相容，其和為全集，所以有
$$P(x)=\sum _i^{\infty }P(x{y}_i)$$
性質：

1.當且僅當Y完全由X決定，條件熵為0（因為不需要提供任何信息了）

2.當且僅當Y和X獨立，條件熵等于分子獨立熵

3.連鎖法則
$$\begin{array}{rl}H(X_1,X_2...X_n|Y)=& \sum _{i=1}^{n}H(X_i|X_1...X_{i?1},Y)【下面幾個等式是證明】\\ =& H(X_1,...X_n,Y)?H(Y)\\ =& H((X_1,Y)...X_n)?H(Y)\\ =& H(X_1,Y)?H(Y)+\sum _{i=2}^{n}H(X_i|X_1...X_{i?1},Y)[熵的連鎖，移項]\\ =& H(X_1|Y)+\sum _{i=2}^{n}H(X_i|X_1...X_{i?1},Y)\\ 證畢& \end{array}$$

4.貝葉斯法則
$$\mathrm{H}(Y|X)=\mathrm{H}(X|Y)?\mathrm{H}(X)+\mathrm{H}(Y)$$
證明
$$\begin{gathered} \mathrm{H}(Y|X)=\mathrm{H}(X,Y)?\mathrm{H}(X) \\ \mathrm{H}(X|Y)=\mathrm{H}(Y,X)?\mathrm{H}(Y) \\ 對稱性：\mathrm{H}(X,Y)=\mathrm{H}(Y,X) \end{gathered}$$
用第一條等式減第二條等式就得到了貝葉斯法則

其他的性質
$$\begin{array}{rl}\mathrm{H}(Y|X)& \le \mathrm{H}(Y)\\ \mathrm{H}(X,Y)& =\mathrm{H}(X|Y)+\mathrm{H}(Y|X)+I(X;Y),\\ \mathrm{H}(X,Y)& =\mathrm{H}(X)+\mathrm{H}(Y)?I(X;Y),\\ I(X;Y)& \le \mathrm{H}(X),\end{array}$$
第一條就不用多說了，知道別的分布總比不知道要好，所以左邊需要的信息不會大于右邊。也可以數學證明，這里不證明了。

剩下三條的$I(X;Y)$是互信息，等等講，不著急。

互信息

根據熵的連鎖規則，有
$$H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$$
所以整理可得
$$H(X)?H(X|Y)=H(Y)?H(Y|X)$$
這個差就叫做X和Y的互信息，記做$I(X;Y)$。

互信息的鏈規則：
$$I(X_{1n};Y)=\sum _{i=1}^{n}I(X_i;Y|X_1,...X_{n?1})$$
證明：
$$\begin{array}{rl}I(X_{1n};Y)=& H(X_1...X_n)?H(X_1,..X_n|Y)[互信息定義]\\ =& \sum _{i=1}^{n}H(X_i|X_1...X_{i?1})?\sum _{i=1}^{n}H(X_i|X_1...X_{i?1},Y)\\ =& \sum _{i=1}^n[H(X_i|X_1...X_{i?1})?H(X_i|X_1...X_{i?1},Y)][互信息定義，多觀察一下]\\ =& \sum _{i=1}^{n}I(X_i;Y|X_1,...X_{n?1})\end{array}$$
條件互信息的鏈規則：
$$I(X_{1n};Y|Z)=\sum _{i=1}^{n}I(X_i;Y|X_1,...X_{n?1},Z)$$
證明和互信息鏈規則很像，其實就是要理解"|“和”;"的結合方式是
$$I(X;Y|Z)=I((X;Y)|Z)=H(X|Z)=H(X|Y,Z)$$
然后按著上面的互信息鏈證明即可

總結

以上是生活随笔為你收集整理的信息论的基本概念（自信息，条件熵，联合熵，互信息，条件互信息）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。