UA MATH636 信息論7 高斯信道

• 高斯信道的容量
• • Shannon Limit
  • Beyond Shannon Limit

這一講討論Capacity of Bandwidth-Limited Gaussian Channel。這種高斯信道有兩個重要特征：連續時間、帶寬限制。假設Bandwidth-Limited Gaussian Channel輸入與輸出的關系是：
$$Y_t=(X_t+Z_t)?h_t$$
這個信道的功能可以用下面的圖表示：

inputinputSignal+NoiseFilterReceiver

其中$X_t$是輸入的信號，$Z_t$是高斯白噪聲（參考SDE第一講），$h(t)$是理想帶通濾波器（ideal band-pass filter），$Y_t$是接收端收到的信號。假設$h_t$（也記作$H(f)$，$f$是信號的頻率）的帶寬為$W$，則
$$H(f)=I(|f|\le W)$$
運算$?$表示卷積。根據卷積的線性性，
$$Y_t=(X_t+Z_t)?h_t=X_t?h_t+Z_t?h_t$$
根據這個式子畫出的信道的示意圖為：

inputinputSignalFilter+NoiseFilterReceiver

高斯信道的容量

使用信號處理的Nyquist-Shannon采樣定理：如果隨機信號$f_t$帶寬被限制為$W$，則抽樣率為$\frac{1}{2W}$（每秒從隨機信號中抽樣$2W$次）的樣本是$f_t$的充分統計量；根據這個定理可以將連續時間信號轉換為離散時間的來考慮。因為$X_t?h_t$的帶寬為$W$，因此可以按$2W$的頻率采樣將其離散化。

關于$Z_t$，它有一個重要的性質，高斯白噪聲信號的功率譜密度（PSD）是常數，假設$Z_t$的方差為$N_0$，則
$$PSD(f)=\frac{N_0}{2}$$
考慮$Z_t?h_t$，這一項為filtered noise，它的功率譜密度為
$$R_{Z?h}(f)=\frac{N_0}{2}I(|f|\le W)$$
根據Nyquist-Shannon采樣定理，按$2W$的頻率對$Z_t?h_t$采樣，樣本是這個連續信號的充分統計量，并且是一個離散信號。

上一講推導了離散時間高斯信道的容量為：
$$\frac{1}{2}\ln \left(1+\frac{P}{N}\right)$$
這一講的目標是把這個公式套用到連續時間高斯信道上。

首先計算filtered noise的自相關函數（ACF，auto-correlation function），
$$ACF(\tau )={\mathcal{F}}^{?1}(PSD)=\frac{N_0}{2}sinc(\tau )$$
根據$sinc$函數的性質，樣本的自相關函數為
$$AC{F}_{sample}(\frac{n}{2W})=\frac{N_0}{2}I(n=0),n\in \mathbb{N}$$
不妨記離散的噪聲序列為$\tilde{Z}(\frac{i}{2W})$，上式說明
$$\begin{gathered} E[\tilde{Z}(\frac{i}{2W})\tilde{Z}(\frac{i}{2W})]=\frac{N_0}{2} \\ E[\tilde{Z}(\frac{i}{2W})\tilde{Z}(\frac{j}{2W})]=0 \end{gathered}$$
從而采樣的離散噪聲序列服從$N(0,\frac{N_0}{2})$。

信號的power per sample為$\frac{P}{2W}$，因此做了離散處理后這個信道的容量為（這里的單位是bits/sample*sec）
$$\frac{1}{2}\ln \left(1+\frac{P}{N}\right)=\frac{1}{2}\ln \left(1+\frac{\frac{P}{2W}}{\frac{N_0}{2}}\right)$$
因此這個信道的信道容量為
$$C=W\ln \left(1+\frac{P}{N_{0}W}\right)$$
如果$P$固定，
$$C_{\infty }=\underset{W\to \infty }{\lim }C=\underset{W\to \infty }{\lim }W\ln \left(1+\frac{P}{N_{0}W}\right)=\frac{P}{N_0}$$
如果用bits為單位，則為
$$C_{\infty }=\frac{P}{N_0\ln 2}$$

Shannon Limit

假設某個通訊系統的傳輸率為$R_b$，其含義是傳輸一個$k$ bits的信號需要$T$ s，則
$$R_b=\frac{k}{T}$$
這個信號的能量為
$$E=PT=k{E}_b$$
$E_b$的含義是energy per bit，則
$$E_b=\frac{PT}{k}$$
根據信道容量的定義，
$$\begin{gathered} R_b\le C_{\infty }?\frac{C_{\infty }}{R_b}>1 \\ ?\frac{P/N_0}{\ln 2}\frac{T}{k}=\frac{E_b}{N_0\ln 2}>1?\frac{E_b}{N_0}>\ln 2 \end{gathered}$$
也就是說，要實現reliable communication，單個字節的信噪比至少要超過$\ln 2$，這里$\ln 2$又叫做Shannon Limit，它是reliable communication的極限。

Beyond Shannon Limit

假設固定壓縮率，對于長度為$N$的信號，假設信源編碼后被壓縮為$k$ bits，則壓縮率為$R=k/n$。假設這一段是連續時間隨機信號，則采樣得到的樣本數為$2WT=N$（Nyquist-Shannon）。從而
$$R_b=\frac{k}{T}=\frac{k}{\frac{N}{2W}}=2W\frac{k}{N}=2WR$$
根據信道容量的含義
$$R_b=2WR<W\ln \left(1+\frac{P}{N_{0}W}\right)$$
因為
$$\frac{P}{N_{0}W}=\frac{k{E}_b}{T{N}_{0}W}=\frac{2R{E}_b}{N_0}$$
帶入到上面的不等式
$$2R<\ln (1+\frac{2R{E}_b}{N_0})$$
從中求解出$E_b/N_0$：
$$\frac{E_b}{N_0}>\frac{2^{2R}?1}{2R}$$
當$R\to 0$時，這個下界趨近于Shannon Limit。

總結

以上是生活随笔為你收集整理的UA MATH636 信息论7 高斯信道的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。