聯(lián)合熵

• • Q：什么是聯(lián)合熵？
  • Q：聯(lián)合熵的物理意義是什么？

Q：什么是聯(lián)合熵？

聯(lián)合熵就是度量一個(gè)聯(lián)合分布的隨機(jī)系統(tǒng)的不確定度，下面給出兩個(gè)隨機(jī)變量的聯(lián)合熵的定義：
分布為 $p(x,y)$ 的一對(duì)隨機(jī)變量 $(X,Y)$ ,其聯(lián)合熵定義為：

$H(X,Y)=?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x,y)=E\left[\log \frac{1}{p(x,y)}\right]$

與信息熵一樣也是一個(gè)數(shù)學(xué)期望

Q：聯(lián)合熵的物理意義是什么？

聯(lián)合熵的物理意義是:觀察一個(gè)多個(gè)隨機(jī)變量的隨機(jī)系統(tǒng)獲得的信息量。

為了進(jìn)一步剖析聯(lián)合熵，我們對(duì)其的進(jìn)行數(shù)學(xué)推導(dǎo)如下：

$H(X,Y)=?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x,y)=?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x)p(y|x)$

$=?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x)?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(y|x)$

$=?{\sum }_{x\in \mathcal{X}}^{}p(x)\log p(x)?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(y|x)$

$=H(X)+H(Y|X)$

注： $?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x)$ 通過邊緣化 $y$ 得到 $?{\sum }_{x\in \mathcal{X}}^{}p(x)\log p(x)$

其中，條件熵 $H(Y|X)$ 由 $?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(y|x)$ 所定義，其物理意義就是，在得知某一確定信息的基礎(chǔ)上獲取另外一個(gè)信息時(shí)所獲得的信息量。

繼續(xù)討論聯(lián)合熵，對(duì)于式子 $H(X,Y)=H(X)+H(Y|X)$ 所表達(dá)的物理含義是，對(duì)一個(gè)兩個(gè)隨機(jī)變量的隨機(jī)系統(tǒng)，我們可以先觀察一個(gè)隨機(jī)變量獲取信息量，觀察完后，我們可以在擁有這個(gè)信息量的基礎(chǔ)上觀察第二個(gè)隨機(jī)變量的信息量。其那么先觀察哪一個(gè)隨機(jī)變量對(duì)信息量的獲取有影響嗎？利用概率論的知識(shí)，我們可以輕易得出：$H(X,Y)=H(Y)+H(X|Y)$。也就是說，先觀察誰，對(duì)信息量都不會(huì)有影響，這是非常符合直覺的。

基于上述的討論，我們不禁會(huì)問，如果有n個(gè)隨機(jī)變量處于一個(gè)隨機(jī)系統(tǒng)中，那么我們獲取其聯(lián)合熵也是無關(guān)觀察先后嗎？答案是肯定的。為了說明原因，我們給出熵的鏈?zhǔn)椒▌t：

設(shè)隨機(jī)變量 $X_1,X_2,?,X_n$ 服從 $p(x_1,x_2,?,x_n)$ ,則有：
$H(X_1,X_2,?,X_n)={\sum }_{i=1}^{n}H(X_i|X_{i?1},?,X_1)$
我們可以利用數(shù)學(xué)推導(dǎo)證明：

$H(X_1,X_2,?,X_n)=?{\sum }_{x_1,?,x_n\in {\mathcal{X}}^n}^{}p(x_1,?,x_n)\log p(x_1,?,x_n)=?{\sum }_{x_1,?,x_n\in {\mathcal{X}}^n}^{}p(x_1,?,x_n)\log p(x_1,?,x_{n?1})p(x_n|x_1,?,x_{n?1})=?{\sum }_{x_1,?,x_n\in {\mathcal{X}}^n}^{}p(x_1,?,x_n)\log p(x_1,?,x_{n?2})p(x_{n?1}|x_1,?,x_{n?2})p(x_n|x_1,?,x_{n?1})=?{\sum }_{x_1,?,x_n\in {\mathcal{X}}^n}^{}p(x_1,?,x_n)log{\prod }_{i=1}^{n}p(x_i|x_{i?1},?,x_1)=?{\sum }_{x_1,?,x_n\in {\mathcal{X}}^n}^{}p(x_1,?,x_n){\sum }_{i=1}^n\log p(x_i|x_{i?1},?,x_1)=?{\sum }_{i=1}^n{\sum }_{x_1,?,x_i\in {\mathcal{X}}^i}^{}p(x_1,?,x_i)\log p(x_i|x_{i?1},?,x_1)={\sum }_{i=1}^{n}H(X_i|X_{i?1},?,X_1)$

注： $?{\sum }_{i=1}^n{\sum }_{x_1,?,x_i\in {\mathcal{X}}^i}^{}p(x_1,?,x_i)\log p(x_i|x_{i?1},?,x_1)$ 這一步變換也是使用了邊緣化。

從鏈?zhǔn)椒▌t，我們可以更進(jìn)一步得到，如果隨機(jī)變量 $X_1,X_2,?,X_n$ 是獨(dú)立的，那么聯(lián)合熵則可以表示為：

$H(X_1,X_2,?,X_n)={\sum }_{i=1}^{n}H(X_i)$

總結(jié)

以上是生活随笔為你收集整理的信息论——联合熵的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。