UA MATH636 信息论5 信道编码简介
UA MATH636 信息論5 信道編碼簡介
通訊的過程可以用下面這個流程圖表示。信源發送一個隨機信號WWW給信源編碼器，編碼器將信號WWW編碼為XXX后發送到噪聲信道進行傳輸，傳輸到接收端的解碼器，解碼器接受到的碼記為YYY，解碼器對YYY進行解碼后將完成解碼的信息VVV傳到接收端，VVV其實就是WWW的一個估計量，所以一般也記為W^\hat{W}W^。 WXYVSourceEncoderNoisy ChannelDecoderReceiver
信源編碼的目的是讓信號適應通訊的物理媒介的傳輸規則，并要適應通訊成本與潛在的信號失真率。假設被占用的信道數目為nnn，定義傳輸率為
r=log?2∣W∣nbits/chenneluser = \frac{\log_2 |W|}{n} \ bits/chennel\ use r=nlog2?∣W∣??bits/chennel?use
其中log?2∣W∣\log_2 |W|log2?∣W∣是信號的字長。Shannon提到要使傳輸率非零，需要asymptotic vanishing error，即當n→∞n \to \inftyn→∞時，通訊的錯誤率也趨近于零，這個概念之后會更正式地提出來。
要考慮信道編碼就要像對噪聲信道建模。噪聲信道的輸入XXX和輸出YYY已經比較明確了，只要找到輸入和輸出之間的關系就可以了。一個比較直接的做法就是把這個關系記為P(Y∣X)P(Y|X)P(Y∣X)，這個條件概率是由噪聲信道決定的。定義信道容量（Channel Capacity）
C=max?p(X)I(X;Y)C = \max_{p(X)} I(X;Y) C=p(X)max?I(X;Y)
其含義是largest rate of reliable communication。第一篇文章就提到過，I(X;Y)I(X;Y)I(X;Y)是衡量YYY與XXX的dependence的，它越大說明YYY和XXX的depedencedepedencedepedence越強。我們希望信號通過噪聲信道傳輸前后信息盡可能不要失真，也就是傳輸前后的信息要盡可能相關，所以上面的CCC用來表示信道容量還是合理的。在給定p(Y∣X)p(Y|X)p(Y∣X)的時候，I(X;Y)I(X;Y)I(X;Y)關于p(X)p(X)p(X)是凹函數，所以存在最大值。之后會給出這個定義的證明（信道容量和熵類似都是根據一些公理定義然后推導出這種形式的，具體可以參考Shannon那篇奠基之作）。下面給好幾個例子說明如何計算信道容量。
例1：Binary Symmetric Channel
已知X,Y={0,1}X,Y=\{0,1\}X,Y={0,1}，P(Y=0∣X=0)=p,P(Y=1∣X=1)=1?pP(Y=0|X=0)=p,P(Y=1|X=1)=1-pP(Y=0∣X=0)=p,P(Y=1∣X=1)=1?p。計算這個信道的信道容量。
根據定義
C=max?p(x)I(X;Y)=max?p(x)H(Y)?H(Y∣X)C = \max_{p(x)} I(X;Y) = \max_{p(x)} H(Y) - H(Y|X) C=p(x)max?I(X;Y)=p(x)max?H(Y)?H(Y∣X)
注意到YYY是Bernoulli隨機變量，因此H(Y)≤1H(Y)\le 1H(Y)≤1。記h(p)h(p)h(p)為Bernoulli Entropy，
h(p)=plog?21p+(1?p)log?211?ph(p) = p \log_2 \frac{1}{p} + (1-p) \log_2 \frac{1}{1-p} h(p)=plog2?p1?+(1?p)log2?1?p1?
對于H(Y∣X)H(Y|X)H(Y∣X)，考慮
H(Y∣X)=h(p)p(X=1)+h(p)p(X=0)=h(p)H(Y|X) = h(p)p(X=1) + h(p)p(X=0) = h(p) H(Y∣X)=h(p)p(X=1)+h(p)p(X=0)=h(p)
因此C=1?h(p)C=1-h(p)C=1?h(p)。這個問題比較簡單，我們甚至可以討論一下這個噪聲信道的噪聲形式。定義N～Ber(p)N\sim Ber(p)N～Ber(p)，則NNN可以表示Binary Symmetric Channel的噪聲，YYY可以表示為
Y=(X+N)mod2Y = (X+N)\ mod\ 2Y=(X+N)?mod?2
即YYY是信號XXX與噪聲NNN的異或運算的結果。
例2：Binary Erasure Channel
已知X={0,1},Y={0,1,E}X=\{0,1\},Y=\{0,1,E\}X={0,1},Y={0,1,E}，其中EEE表示擦掉上一個字節，比如一串YYY信號為1001E0101001E0101001E010，傳送到接收端的解碼器上就是100010100010100010。假設p(Y=0∣X=0)=p(Y=1∣X=1)=1?ep(Y=0|X=0)=p(Y=1|X=1)=1-ep(Y=0∣X=0)=p(Y=1∣X=1)=1?e，p(Y=E∣X=0)=p(Y=E∣X=1)=ep(Y=E|X=0)=p(Y=E|X=1)=ep(Y=E∣X=0)=p(Y=E∣X=1)=e。計算這個信道的信道容量。
考慮I(X;Y)=H(Y)?H(Y∣X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)?H(Y∣X)，計算
H(Y∣X)=H(Y∣X=0)p(X=0)+H(Y∣X=1)p(X=1)=h(e)H(Y|X) = H(Y|X=0)p(X=0) + H(Y|X=1)p(X=1)=h(e)H(Y∣X)=H(Y∣X=0)p(X=0)+H(Y∣X=1)p(X=1)=h(e)
YYY的邊緣分布為
p(Y=E)=p(Y=E∣X=0)p(X=0)+p(Y=E∣X=1)p(X=1)=ep(Y=0)=(1?e)p(X=0),p(Y=1)=(1?e)p(X=1)p(Y=E) =p(Y=E|X=0)p(X=0) + p(Y=E|X=1)p(X=1) = e \\ p(Y=0) = (1-e)p(X=0),\ \ p(Y=1) = (1-e)p(X=1)p(Y=E)=p(Y=E∣X=0)p(X=0)+p(Y=E∣X=1)p(X=1)=ep(Y=0)=(1?e)p(X=0),??p(Y=1)=(1?e)p(X=1)
所以
H(Y)=?elog?2e?(1?e){p(X=0)log?2[(1?e)p(X=0)]+p(X=1)log?2[(1?e)p(X=1)]}=h(e)+(1?e)H(X)H(Y) = -e \log_2 e - (1-e) \{ p(X=0)\log_2 [(1-e)p(X=0)] + p(X=1)\log_2 [(1-e)p(X=1)] \} \\ = h(e) + (1-e)H(X)H(Y)=?elog2?e?(1?e){p(X=0)log2?[(1?e)p(X=0)]+p(X=1)log2?[(1?e)p(X=1)]}=h(e)+(1?e)H(X)
所以
I(X;Y)=H(Y)?H(Y∣X)=(1?e)H(X)≤1?eI(X;Y) = H(Y) - H(Y|X) = (1-e)H(X) \le 1-eI(X;Y)=H(Y)?H(Y∣X)=(1?e)H(X)≤1?e
即C=1?eC = 1-eC=1?e，當且僅當XXX為均勻分布時上式取等。
總結
以上是生活随笔為你收集整理的UA MATH636 信息论5 信道编码简介的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： UA MATH566 统计理论5 假设检
- 下一篇： UA MATH636 信息论5 信道编码