UA MATH636 信息論6 微分熵

• Differential Entropy
• • Conditional Differential Entropy
  • Differential Entropy of Gaussian r.v.
• 信源編碼基礎
• • Typical Set
  • 數據壓縮

之前討論的熵都是基于離散型隨機變量討論的，現在考慮基于連續型隨機變量來定義熵。假設 $X$是連續型隨機變量，概率密度函數為 $f(x)$，定義 $X$的支撐集為
$$Supp(X)=\{x:f(x)>0\}$$

Differential Entropy

定義微分熵為
$$h(X)=?{\int }_{Supp(X)}f(x)\ln f(x)dx$$
因為$f(x)$要用來做對數運算，所以要排除掉$f(x)=0$的部分，一般就把這個積分直接定義在$X$的支撐集上了。

例1（均勻分布的微分熵）
如果$X～U[0,a]$，則$f(x)=\frac{1}{a}$，
$$h(X)=?{\int }_0^a\frac{1}{a}\ln \frac{1}{a}dx=\ln a$$

與離散型隨機變量的熵不同，微分熵可能為負。在這個例子中，如果$0<a<1$，$h(X)<0$。另外，$e^{h(X)}$表示支撐集$Supp(X)$的Lebesgue測度，即
$$e^{h(X)}=|Supp(X)|$$
在這個例子中，$e^{h(X)}=a$，$a$是區間$[0,a]$的Lebesgue測度。

例2（正態分布的微分熵）
如果$X～N(0,{\sigma }^2)$，則
$$\begin{gathered} f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp (?\frac{x^2}{2{\sigma }^2}) \\ \ln f(x)=?\frac{x^2}{2{\sigma }^2}?\ln \sqrt{2\pi }\sigma \end{gathered}$$
支撐集為$Supp(X)=\mathbb{R}$，從而
$$\begin{gathered} h(X)=?{\int }_{?\infty }^{\infty }f(x)\ln f(x)dx \\ ={\int }_{?\infty }^{\infty }[\frac{x^2}{2{\sigma }^2}+\ln \sqrt{2\pi }\sigma ]f(x)dx \\ =\frac{E{X}^2}{2{\sigma }^2}+\ln \sqrt{2\pi }\sigma =\ln \sqrt{2\pi }\sigma +\frac{1}{2}=\frac{1}{2}\ln 2\pi e{\sigma }^2 \end{gathered}$$
根據這個函數，如果${\sigma }^2\to 0$，正態分布的概率密度函數趨近于delta函數$\delta (x)$，此時$h(X)\to ?\infty$。

例3（離散型隨機變量的微分熵）
如果$X$是離散型隨機變量，分布為$p(x_i),i=1,2,?,n$。這個分布的概率密度可以表示為
$$f(x)=\sum _{i=1}^{n}p(x_i)\delta (x_i)$$
因此$h(X)\to ?\infty$。另一種思考方式更簡單，因為$|Supp(X)|=0$，所以$h(X)=\ln |Supp(X)|\to ?\infty$。

Conditional Differential Entropy

假設$(X,Y)$是二元連續型隨機變量，則joint differential entropy為
$$h(X,Y)=?{\int }_{Supp(X,Y)}f(x,y)\ln f(x,y)dxdy$$
由此可以定義conditional differential entropy
$$\begin{gathered} h(X|Y)=?{\int }_{Supp(X,Y)}f(x,y)\ln f(x|y)dxdy \\ =?{\int }_{Supp(X,Y)}f(x,y)\ln f(x,y)dxdy+{\int }_{Supp(X,Y)}f(x,y)\ln f(y)dxdy \\ =h(X,Y)?h(Y) \end{gathered}$$
這說明鏈式法則仍然成立。K-L Divergence為
$$D(f||g)={\int }_{Supp(X)}f(x)\ln \frac{f(x)}{g(x)}dx$$
互信息為
$$I(X;Y)=h(X)?h(X|Y)=h(Y)?h(Y|X)=D(f(x,y)||f(x)f(y))$$

Differential Entropy of Gaussian r.v.

假設$X～N_n(\mu ,\Sigma )$，則
$$h(X)=\frac{1}{2}\ln ((2\pi e{)}^n\det (\Sigma ))$$
我們都知道$\mu$是位置參數，它居然是對entropy沒有貢獻的，entropy完全取決于形狀參數，下面推導一下這個式子。
$$f(x)=(2\pi {)}^{?n/2}\det (\Sigma {)}^{?1/2}\exp \left(?\frac{1}{2}(x?\mu {)}^T{\Sigma }^{?1}(x?\mu )\right)$$
計算
$$\begin{gathered} h(X)=?{\int }_{\mathcal{X}}f(x)\ln f(x)dx \\ =?{\int }_{\mathcal{X}}\left(?\frac{1}{2}(x?\mu {)}^T{\Sigma }^{?1}(x?\mu )?\frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma ))\right)f(x)dx \end{gathered}$$
第二項為
$${\int }_{\mathcal{X}}\left(\frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma ))\right)f(x)dx=\frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma ))$$
第一項為
$$\begin{gathered} {\int }_{\mathcal{X}}\left(\frac{1}{2}(x?\mu {)}^T{\Sigma }^{?1}(x?\mu )\right)f(x)dx \\ =\frac{1}{2}E\left[(x?\mu {)}^T{\Sigma }^{?1}(x?\mu ) \\ \right] \\ =\frac{1}{2}E\left[tr((x?\mu {)}^T{\Sigma }^{?1}(x?\mu ))\right] \\ =\frac{1}{2}E\left[tr({\Sigma }^{?1}(x?\mu )(x?\mu {)}^T)\right] \\ =\frac{1}{2}tr({\Sigma }^{?1}E[(x?\mu )(x?\mu {)}^T])=\frac{1}{2}tr{I}_n=\frac{n}{2} \end{gathered}$$
因此
$$h(X)=\frac{n}{2}+\frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma ))=\frac{1}{2}\ln ((2\pi e{)}^n\det (\Sigma ))$$
這些結論以后在考察Gauss信道的時候會很有用。

例4（二元正態分布的互信息）
假設$X,Y～N(\mu ,{\sigma }^2)$，并且$Corr(X,Y)=\rho$，則
$$\begin{gathered} h(X)=h(Y)=\frac{1}{2}\ln 2\pi e{\sigma }^2 \\ h(X,Y)=\frac{1}{2}\ln [(2\pi e{)}^2{\sigma }^4(1?{\rho }^2)] \\ I(X;Y)=h(X)+h(Y)?h(X,Y)=?\frac{1}{2}\ln (1?{\rho }^2) \end{gathered}$$

信源編碼基礎

Typical Set

假設總體$f(x)$的一組簡單隨機樣本記為$\{X_1,?,X_n\}$，可以將AEP直接推廣到連續的情況：
$$?\frac{1}{n}\ln f(x_1,?,x_n){\to }_{p}h(X)$$
也可以類似地定義typical set：
$$A_{?}^{(n)}=\{(x_1,?,x_n):|?\frac{1}{n}\ln f(x_1,?,x_n)?h(X)|\le ?\}$$
離散情況下我們考察的是typical set包含的元素數目，連續情況下我們關注typical set的測度，通常我們計算typical set的Lebesgue測度。下面給出typical set的性質：

$P(A_{?}^{(n)})>1??$，當$n$足夠大時成立；

$(1??)e^{n(h(X)??)}\le |A_{?}^{(n)}|\le e^{n(h(X)+?)}$，下界僅適用于$n$足夠大的情況；

第一條可以用AEP證，與離散情況類似，這里給出第二條的證明：
$$\begin{gathered} 1={\int }_{Supp(X{)}^n}f(x_1,?,x_n)d{x}_1?d{x}_n \\ \ge {\int }_{A_{?}^{(n)}}f(x_1,?,x_n)d{x}_1?d{x}_n \\ \ge {\int }_{A_{?}^{(n)}}{e}^{?n(h(X)+?)}d{x}_1?d{x}_n=e^{?n(h(X)+?)}|A_{?}^{(n)}| \end{gathered}$$
這樣就證明了第二條的上界，下界也是類似的，用上性質1就可以證了。這兩條性質告訴我們，包含大部分概率(即$1??$)的序列的集合中Lebesgue測度最小為$e^{nh(X)}$。

數據壓縮

實際上即使是對連續信號，計算機處理時也需要做quantize。對$Supp(X)$做分割，假設按每個bin的長度為$\Delta$進行分割來做離散化，定義
$$X_d=x_i,if{x}_i\le X<x_i+\Delta$$
從而
$$P(X_d=x_i)=P(x_i\le X<x_i+\Delta )\approx f(x_i)\Delta$$
$X_d$的熵（離散型隨機變量的熵）為
$$\begin{gathered} H(X_d)=?\sum _{i=?\infty }^{\infty }f(x_i)\Delta \ln f(x_i)\Delta \\ =?\sum _{i=?\infty }^{\infty }f(x_i)\Delta \ln f(x_i)?\ln \Delta \end{gathered}$$
簡單變形一下，
$$H(X_d)+\ln \Delta =?\sum _{i=?\infty }^{\infty }f(x_i)\Delta \ln f(x_i)$$
這個分割的話，當$\Delta \to 0$，
$$\begin{gathered} H(X_d)+\ln \Delta \to H(X_d) \\ ?\sum _{i=?\infty }^{\infty }f(x_i)\Delta \ln f(x_i)\to h(X) \end{gathered}$$
因此，如果我們取足夠小的$\Delta$，可以做近似
$$H(X_d)=h(X)?\ln \Delta$$
例如取$\Delta =e^{?n}$，則
$$H(X_d)=h(X)+n$$
其含義是用$h(X)+n$個nats來做這個連續型隨機變量的quantize。

總結

以上是生活随笔為你收集整理的UA MATH636 信息论6 微分熵的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。