1. 引言

信息論是關于通信的理論，是用概率統計的方法研究信息的傳輸、存儲與處理以及如何實現其有效性和可靠性的一門學科。它包括兩個基本的問題，一個是信源編碼，解決信源的相關性問題，去掉冗余，從而壓縮了信源輸出，提高了有效性；另一個是信道編碼，克服信道中的干擾和噪聲，提高了可靠性?？梢娦诺朗峭ㄐ畔到y的重要組成部分，它的任務是實現信息的傳輸，在信道固定的情況下，總是希望傳輸的信息越多越好。本文主要研究一種特殊的信道，即離散準對稱信道。

2. 離散準對稱信道的定義及信道容量

定義1 設有一個信道矩陣，它的每一行元素都相同，只是排列不同，它的每一列元素也都相同，只是排列不同，稱該信道為對稱信道。

定義2 設有一個r行s列的離散無記憶信道的信道矩陣P，根據信道的輸出集Y可以將P分成n個子矩陣

P

1

,

P

2

,

?

,

P

n ，每個子矩陣對應的信道都是對稱信道，稱這個信道為準對稱信道 [1] 。

定義3信道容量

C

=

max

p

(

x

)

{

I

(

X

,

Y

)

} ，其中

I

(

X

,

Y

) 為平均互信息，

p

(

x

) 為輸入符號概率。

3. 離散準對稱信道信道容量的證明

定理1當輸入的每一個符號的概率

p

(

x

i

) 都相等時，達到信道容量C。

定理2 設有一個信道，它的輸入符號個數有r個，輸出符號個數有s個，當且僅當存在常數C使輸入分布

p

(

x

i

) 滿足：

1)

I

(

x

i

;

Y

)

=

C

,

p

(

x

i

)

≠

0

2)

I

(

x

i

;

Y

)

<

C

,

p

(

x

i

)

=

0

時，

I

(

X

;

Y

) 達極大值。此時，常數C即為所求的信道容量。

定理3當輸入的每一個符號的概率

p

(

x

i

) 都相等時，準對稱信道的容量為：

C

=

log

r

?

H

(

q

1

,

q

2

,

?

,

q

s

)

?

∑

k

=

1

n

N

k

log

M

k ,

其中，log默認是以2為底的對數，r是信道矩陣的行數，

q

1

,

q

2

,

?

,

q

s 表示信道矩陣P中的任意一行元素，

N

k 是第k個子矩陣中行元素之和，

M

k 是第k個子矩陣中列元素之和 [2] 。

證明：設準對稱信道的矩陣為

P

=

(

p

(

y

1

|

x

1

)

p

(

y

2

|

x

1

)

?

p

(

y

s

|

x

1

)

p

(

y

1

|

x

2

)

p

(

y

2

|

x

2

)

?

p

(

y

s

|

x

2

)

?

?

?

?

p

(

y

1

|

x

r

)

p

(

y

2

|

x

r

)

?

p

(

y

s

|

x

r

)

) ,

將矩陣P分為n個對稱子陣

P

1

,

P

2

,

?

,

P

n ，對應的輸出符號集Y劃分為

Y

1

,

Y

2

,

?

,

Y

n ，設

x

i

∈

X

(

x

1

,

x

2

,

?

,

x

r

) ，則有：

I

(

x

i

;

Y

)

=

∑

Y

p

(

y

|

x

i

)

log

p

(

y

|

x

i

)

p

(

y

)

=

∑

Y

p

(

y

|

x

i

)

log

p

(

y

|

x

i

)

?

∑

Y

p

(

y

|

x

i

)

log

p

(

y

) ,

因為P是準對稱矩陣，它的行元素由

{

q

1

,

q

2

,

?

,

q

s

} 排列而成，所以有：

∑

Y

p

(

y

|

x

i

)

log

p

(

y

|

x

i

)

=

?

H

(

q

1

,

q

2

,

?

,

q

s

)

(

i

=

1

,

2

,

?

,

r

) ,

設

P

(

x

i

)

=

1

r ，即輸入等概分布，則后一項為：

∑

Y

p

(

y

|

x

i

)

log

p

(

y

)

=

∑

Y

p

(

y

|

x

i

)

log

∑

X

p

(

y

|

x

i

)

p

(

x

i

)

=

∑

Y

p

(

y

|

x

i

)

log

1

r

∑

X

p

(

y

|

x

i

)

=

∑

y

∈

Y

1

p

(

y

|

x

i

)

log

1

r

∑

X

p

(

y

|

x

i

)

+

∑

y

∈

Y

2

p

(

y

|

x

i

)

log

1

r

∑

X

p

(

y

|

x

i

)

+

∑

y

∈

Y

n

p

(

y

|

x

i

)

log

1

r

∑

X

p

(

y

|

x

i

) ,

因為

P

1

,

P

2

,

?

,

P

n 對稱，所以有：

∑

X

p

(

y

|

x

i

)

=

M

1

,

y

∈

Y

1

∑

X

p

(

y

|

x

i

)

=

M

2

,

y

∈

Y

2

?

∑

X

p

(

y

|

x

i

)

=

M

1

,

y

∈

Y

n

} 都與

x

i 無關，

其中

M

i 為y固定時，矩陣

P

i 中列元素之和，是一個常數。

∑

y

∈

Y

1

p

(

y

|

x

i

)

=

N

1

∑

y

∈

Y

2

p

(

y

|

x

i

)

=

N

2

?

∑

y

∈

Y

n

p

(

y

|

x

i

)

=

N

n

} ,

其中，

N

i 表示

x

i 固定時，矩陣

P

i 中行元素之和，也是一個常數。

所以有：

∑

Y

p

(

y

|

x

i

)

log

p

(

y

)

=

N

1

log

M

1

r

+

N

2

log

M

2

r

+

?

+

N

n

log

M

n

r

=

∑

k

=

1

n

N

k

log

M

k

r ,

所以得到：

I

(

x

i

;

Y

)

=

?

H

(

q

1

,

q

2

,

?

,

q

s

)

?

∑

k

=

1

n

N

k

log

M

k

r

=

log

r

?

H

(

q

1

,

q

2

,

?

,

q

s

)

?

∑

k

=

1

n

N

k

log

M

k

=

C

(

常

數

) ,

根據定理2，有：

C

=

log

r

?

H

(

q

1

,

q

2

,

?

,

q

s

)

?

∑

k

=

1

n

N

k

log

M

k 。 (證畢)

4. Matlab實驗仿真 [3] [4]

首先考慮特殊的二元信道，其輸入符號概率空間，即信源概率空間為：

(

X

P

)

=

(

0

1

w

1

?

w

) ,

它的信道矩陣是一個對稱矩陣，如下：

P

=

(

p

ˉ

p

p

p

ˉ

) ,

該信道的互信息量為：

I

(

X

;

Y

)

=

H

(

w

p

ˉ

+

w

ˉ

p

)

?

H

(

p

) 。

用matlab繪制當w從0到1和p從0到1之間變化時，平均互信息

I

(

X

;

Y

) 的曲線，程序代碼如下：

[w,p]=meshgrid(0.00001:0.001:1);

h=-(w.*(1-p)+(1-w).*p).*log2(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log2(w.*p+(1-w).*(1-p))+p.*log2(p)+(1-p).*log2(1-p);

meshz(w,p,h);

title('平均互信息');

ylabel('H(w,p,h)')

實驗結果見圖1。

當p固定時(這里隨機取的

p

=

0.3 )，得到固定二元對稱信道的平均互信息圖像，程序代碼如下：

w=0.00001:0.001:1;

p=0.3;

h=-(w.*(1-p)+(1-w).*p).*log2(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log2(w.*p+(1-w).*(1-p))+p.*log2(p)+(1-p).*log2(1-p);

plot(w,h);

title('固定對稱信道的平均互信息');

ylabel('1-H(p)')

實驗結果見圖2。

對任何一般的準對稱信道的信道容量，求解它的matlab程序代碼如下：

Figure 1. Average mutual information

圖1. 平均互信息

Figure 2. Average mutual information of fixed symmetric channels

圖2. 固定對稱信道的平均互信息

function [C,e,PX]=Channel(P)

[r,s]=size(P);

PX=(1/r)*ones(1,r);

PX_1=rand(1,r);

PX_2=PX_1/sum(PX_1);

PY=PX*P;

PY_2=PX_2*P;

[m,n]=size(PY);

HY=0;

HY_2=0;

H=0;

for i=1:n

HY=HY+PY(i)*log2(PY(i));

HY_2=HY_2+PY_2(i)*log2(PY_2(i));

end

HY=-HY;

HY_2=-HY_2;

P=P+(P==0).*eps;

for i=1:s

H=H+P(1,i)*log2(P(1,i));

end

H=-H;

PX

C=HY-H

C_2=HY_2-H;

e=C-C_2

在命令窗口輸入準對稱信道矩陣：

(1) P=[1/2 1/4 1/8 1/8;1/4 1/2 1/8 1/8];

[C,e,PX]=Channel(P)

仿真結果如下：

C =0.0613,e = 0.0064,PX = 0.50000.5000.

(2) P=[1/2 1/2 0 0;0 1/2 1/2 0;0 0 1/2 1/2;1/2 0 0 1/2];

[C,e,PX]=Channel(P)

仿真結果如下：

C =1.0000,e = 0.0452,PX = 0.25000.25000.25000.2500.

5. 實驗結果分析

圖1圖像表明平均互信息

I

(

X

;

Y

) 是輸入概率

p

(

x

i

) 和信道傳遞概率

p

(

y

j

|

x

i

) 的函數。

圖2曲線表明，當信道固定的時候，

I

(

X

;

Y

) 關于

p

(

x

i

) 是上凸的；且當輸入的每一個符號的概率都相等時，即當

w

=

w

ˉ

=

1

2 時，

I

(

X

;

Y

) 最大，達到信道容量C。

通過第三個實驗，對于一般的準對稱信道，通過Matlab結果可以看到，當對任意取的輸入分布不等概時，求得的平均互信息與信道容量C的差都大于0，當輸入分布PX等概時，達到信道容量C。

6. 結論

通過對準對稱信道信道容量的證明及Matlab結果得到，當信源輸入的每一個符號的概率都相等時，達到了信道容量。而準對稱信道其實也包含了對稱信道，因而也驗證了對稱信道的信道容量也是在輸入的每一個符號概率相等時達到。通過Matlab實驗也可以看出。通過對該程序代碼進行改進，還可以求得任何信道的信道容量及對應的輸入分布，有待進一步驗證。

基金項目

網絡連通性的優化研究，編號為bsjj2016202。

NOTES

*通訊作者。

總結

以上是生活随笔為你收集整理的对称信道容量的计算MATLAB,准对称信道信道容量的证明及其Matlab实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。