UA MATH636 信息論7 高斯信道簡介

• 微分熵的性質
• Gaussian Channel簡介

微分熵的性質

討論Gauss信道之前，先給出幾條微分熵的有用的性質：

Gibbs不等式：$D(p||q)\ge 0$

互信息的非負性：$I(X;Y)\ge 0$

Conditioning Reducing Entropy：$h(X)\ge h(X|Y)$

Chain Rule：$h(X,Y)=h(X)+h(X|Y)$

根據3和4：$h(X,Y)\le h(X)+h(Y)$

性質1-5與離散型隨機變量的熵的性質一樣，證明也基本一樣。

$h(X+c)=h(X)$，$c$是一個常數

$h(aX)=h(X)+\ln |a|$，$a$是一個常數

性質6-7給出了隨機變量的線性運算的微分熵，性質6比較簡單，因為$X+c$與$X$同分布。考慮性質7：
首先定義$Y=aX$，則$$f_Y(y)=\frac{1}{|a|}{f}_X(\frac{y}{a})$$
根據定義計算$h(Y)$：
$$\begin{gathered} h(Y)=?\int f_Y(y)\ln f_Y(y)dy=?\int \frac{1}{|a|}{f}_X(\frac{y}{a})\ln \frac{1}{|a|}{f}_X(\frac{y}{a})dy \\ =\ln |a|\int f_Y(y)dy?\int f_X(\frac{y}{a})\ln f_X(\frac{y}{a})d\frac{y}{a}=h(X)+\ln |a| \end{gathered}$$

$h(AX+B)=h(X)+\ln |\det (A)|$

性質8是性質6、7到多元的推廣。證明也比較簡單，概率論那個系列給出了多遠隨機變量的變換的方法的，在上面的計算過程中套用一下就好。

$h(X)\le \frac{1}{2}\ln \left((2\pi e{)}^n\det (\Sigma )\right)$，其中$EX=0,Cov(X)=\Sigma$。

注意到這個上界，它正好是$N(0,\Sigma )$的微分熵。證明一下這個性質：考慮$X$的概率密度為$g(x)$，記$X_G～N(0,\Sigma )$，分布記為${\Phi }_G(x)$，則
$$\begin{gathered} {\Phi }_G(x)=(2\pi {)}^{?n/2}\det (\Sigma {)}^{?1/2}\exp \left(?\frac{1}{2}{x}^T{\Sigma }^{?1}x\right) \\ \ln {\Phi }_G(x)=?\frac{1}{2}{x}^T{\Sigma }^{?1}x?\frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma )) \end{gathered}$$
根據Gibbs不等式，
$$\begin{gathered} 0\le D(g||{\Phi }_G)=\int g(x)\ln \frac{g(x)}{{\Phi }_G(x)}dx \\ =?h(X)?\int g(x)\ln {\Phi }_G(x)dx \\ =?h(X)?\int g(x)\left(?\frac{1}{2}{x}^T{\Sigma }^{?1}x?\frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma ))\right)dx \end{gathered}$$
其中
$$\begin{gathered} \int \frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma ))g(x)dx=\frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma )) \\ \int \frac{1}{2}{x}^T{\Sigma }^{?1}xg(x)dx=E[\frac{1}{2}{X}^T{\Sigma }^{?1}X] \end{gathered}$$
用上一講計算Gauss隨機變量的微分熵的方法，可以得到
$$0\le ?h(X)?\frac{1}{2}\ln ((2\pi e{)}^n\det (\Sigma ))$$
因此上界成立。

Gaussian Channel簡介

之前討論信道編碼的時候已經給出了信道的含義與功能，現在假設噪聲信道的模型是：
$$Y_i=X_i+Z_i,Z_i～\mathcal{N}(0,N)$$
通常假設$Z_i$與$X_i$是獨立的，$Z_i$又被稱為Gaussian Noise，因此這個模型定義的信道又叫Gaussian Channel。
關于信道的輸入，通常有兩種類型的約束，存在約束的高斯信道叫input constrained Gaussian channel：

Power constrained input
假設一串隨機信號表示為$\{X_1,?,X_n\}$，則這串隨機信號的平均能量一般定義為$\sum E[X_i^2]/n$，假設$P$為能量上界，則
$$\frac{{\sum }_{i=1}^{n}E[X_i^2]}{n}\le P$$
因為隨機信號獨立同分布，左邊這一項其實就是$E{X}^2$。

定理1 這個約束下高斯信道的信道容量是
$$C=\frac{1}{2}\ln \left(1+\frac{P}{N}\right)$$
其中$P/N$是信噪比(signal to noise ratio, SNR)。
證明
$$C=\underset{f(x):E{X}^2\le P}{\max }I(X;Y)$$
計算
$$\begin{gathered} I(X;Y)=h(Y)?h(Y|X)=h(Y)?h(X+Z|X) \\ =h(Y)?h(Z|X)=h(Y)?h(Z)=h(Y)?\frac{1}{2}\ln (2\pi eN) \end{gathered}$$
根據性質9，
$$h(Y)\le \frac{1}{2}\ln (2\pi eVar(Y))$$
計算
$$E[Y^2]=E[(X+Z{)}^2]=E{X}^2+E{Z}^2+2EXEZ\le P+N$$
這里用到了約束$E{X}^2\le P$。所以
$$h(Y)\le \frac{1}{2}\ln (2\pi e(P+N))$$
當且僅當$Y～N(0,P+N)$是取等。從而
$$\begin{gathered} I(X;Y)\le \frac{1}{2}\ln (2\pi e(P+N))?\frac{1}{2}\ln (2\pi eN) \\ =\frac{1}{2}\ln \left(\frac{P+N}{N}\right)=\frac{1}{2}\ln \left(1+\frac{P}{N}\right) \end{gathered}$$
當且僅當$X～N(0,P)$時取等。

總結

以上是生活随笔為你收集整理的UA MATH636 信息论7 高斯信道简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。