计算机理论什么是信道容量,信道容量
信道能無錯誤傳送的最大信息率。對于只有一個信源和一個信宿的單用戶信道,它是一個數(shù),單位是比特每秒或比特每符號。它代表每秒或每個信道符號能傳送的最大信息量,或者說小于這個數(shù)的信息率必能在此信道中無錯誤地傳送。對于多用戶信道,當(dāng)信源和信宿都是兩個時,它是平面上的一條封閉線,如圖中的OC1ABC2O。坐標(biāo)R1和R2分別是兩個信源所能傳送的信息率,也就是R1和R2落在這封閉線內(nèi)部時能無錯誤地被傳送。當(dāng)有m個信源和信宿時,信道容量將是m 維空間中一個凸區(qū)域的外界“面”。
中文名
信道容量
外文名
Channel capacity應(yīng)用學(xué)科
通信工程
領(lǐng)????域
工程技術(shù)
信道容量概念
語音
信道容量什么是信道容量
信息論不研究信號在信道中傳輸?shù)奈锢磉^程,它假定信道的傳輸特性是已知的,這樣信道就可以用抽象的數(shù)學(xué)模型來描述。在信息論中,信道通常表示成:{X,P(Y|X),Y},即信道輸入隨機(jī)變量X、輸出隨機(jī)變量Y以及在輸入已知的情況下,輸出的條件概率分布 P(Y|X)。
信道容量根據(jù)信道的統(tǒng)計特性是否隨時間變化分為:
①恒參信道(平穩(wěn)信道):信道的統(tǒng)計特性不隨時間變化。衛(wèi)星通信信道在某種意義下可以近似為恒參信道。
②隨參信道(非平穩(wěn)信道):信道的統(tǒng)計特性隨時間變化。如短波通信中,其信道可看成隨參信道
信道容量是信道的一個參數(shù),反映了信道所能傳輸?shù)淖畲笮畔⒘?#xff0c;其大小與信源無關(guān)。對不同的輸入概率分布,互信息一定存在最大值。我們將這個最大值定義為信道的容量。一但轉(zhuǎn)移概率矩陣確定以后,信道容量也完全確定了。盡管信道容量的定義涉及到輸入概率分布,但信道容量的數(shù)值與輸入概率分布無關(guān)。我們將不同的輸入概率分布稱為試驗信源,對不同的試驗信源,互信息也不同。其中必有一個試驗信源使互信息達(dá)到最大。這個最大值就是信道容量。
信道容量有時也表示為單位時間內(nèi)可傳輸?shù)亩M(jìn)制位的位數(shù)(稱信道的數(shù)據(jù)傳輸速率,位速率),以位/秒(b/s)形式予以表示,簡記為bps。
通信的目的是為了獲得信息,為度量信息的多少(信息量),我們用到了熵這個概念。在信號通過信道傳輸?shù)倪^程中,我們涉及到了兩個熵,發(fā)射端處信源熵——即發(fā)端信源的不確定度,接收端處在接收信號條件下的發(fā)端信源熵——即在接收信號條件下發(fā)端信源的不確定度。接收到了信號,不確定度小了,我們也就在一定程度上消除了發(fā)端信源的不確定性,也就是在一定程度上獲得了發(fā)端信源的信息,這部分信息的獲取是通過信道傳輸信號帶來的。如果在通信的過程中熵不能夠減小(不確定度減小)的話,也就沒有通信的必要了。最理想的情況就是在接收信號條件下信源熵變?yōu)?(不確定度完全消失),這時,發(fā)端信息完全得到。
通信信道,發(fā)端 X,收端 Y。從信息傳輸?shù)慕嵌瓤?#xff0c;通過信道傳輸了I(X;Y)=H(X)-H(X|Y),(接收Y前后對于X的不確定度的變化)。I該值與兩個概率有關(guān), p(x),p(y|x),特定信道轉(zhuǎn)移概率一定,那么在所有 p(x) 分布中,max I(X;Y)就是該信道的信道容量C(互信息的上凸性)[1]
。
信道容量單用戶信道容量
信道是由輸入集A、輸出集B和條件概率P(y│x),y∈B,x∈A所規(guī)定的。當(dāng)B是離散集時,歸一性要求就是(圖1)
圖2當(dāng)B是連續(xù)集時,P(y│x)應(yīng)理解為條件概率密度,上式就成為積分形式。如A和B都是離散集,信道所傳送的信息率(每符號)就是輸出符號和輸入符號之間的互信息
圖3(圖2)
互信息與P(y│x)有關(guān),也與輸入符號的概率P(x)有關(guān),后者可由改變編碼器來變動。若能改變P(x)使I(X;Y)最大,就能充分利用信道傳輸信息的能力,這個最大值就稱為單用戶信道容量C,即 (圖3)
圖4式中∑為所有允許的輸入符號概率分布的集。
當(dāng)A或B是連續(xù)集時,相應(yīng)的概率應(yīng)理解為概率密度,求和號應(yīng)改為積分,其他都相仿。
信道容量多用戶信道容量
多用戶信道容量問題要復(fù)雜一些。以二址接入信道為例, 這種信道有兩個輸入 X2∈A1和X2∈A2,分別與兩個信源聯(lián)結(jié),發(fā)送信息率分別為R1和R2;有一個輸出Y,用它去提取這兩個信源的信息。若信道的條件概率為P(y│x1,x2),則(圖4)
圖5式中I(X1;Y│X2)為條件互信息,就是當(dāng)X2已確知時從Y中獲得的關(guān)于X1的信息; I(X2;Y│X1)的意義相仿;I(X1,X2;Y)為無條件互信息,就是從Y中獲得的關(guān)于X1和X2的信息。E1和 E2分別為所有允許的輸入符號的概率分布P1(x1)和P2(x2)的集。
當(dāng)X1和X2相互獨立時,這些條件互信息要比相應(yīng)的無條件互信息大,因此兩個信息率R1和R2的上界必為上面三個式子所限制。若調(diào)整P1(x1)和P2(x2)能使這些互信息都達(dá)到最大,就得到式中的C1,C2,C0。(圖5)
圖6因此R1和R2的范圍將如圖中的一個截角四邊形區(qū)域,其外圍封閉線就是二址接入信道的容量上界。m址接入信道有類似的結(jié)果。更一般的多用戶的情況還要復(fù)雜。
要使信道容量有確切的含義,尚須證明相應(yīng)的編碼定理,就是說當(dāng)信息率低于信道容量時必存在一種編碼方法,使之在信道中傳輸而不發(fā)生錯誤或錯誤可任意逼近于零。已經(jīng)過嚴(yán)格證明的只有無記憶單用戶信道和多用戶信道中的某些多址接入信道和退化型廣播信道。對某些有記憶信道,只能得到容量的上界和下界,確切容量尚不易規(guī)定。
信道容量計算
語音
信道容量相關(guān)概念
信道的輸入、輸出都取值于離散符號集,且都用一個隨機(jī)變量來表示的信道就是離散單符號信道。由于信道中存在干擾,因此輸入符號在傳輸中將會產(chǎn)生錯誤,這種信道干擾對傳輸?shù)挠绊懣捎脗鬟f概率來描述。
信道傳遞概率通常稱為前向概率。它是由于信道噪聲引起的,所以通常用它描述信道噪聲的特性。
有時把p(x)稱為輸入符號的先驗概率。而對應(yīng)的把p(x|y)稱為輸入符號的后驗(后向)概率。
平均互信息 I(X;Y) 是接收到輸出符號集Y后所獲得的關(guān)于輸入符號集X的信息量。信源的不確定性為H(X),由于干擾的存在,接收端收到 Y后對信源仍然存在的不確定性為H(X|Y),又稱為信道疑義度。信宿所消除的關(guān)于信源的不確定性,也就是獲得的關(guān)于信源的信息為 I(X;Y),它是平均意義上每傳送一個符號流經(jīng)信道的信息量,從這個意義上來說,平均互信息又稱為信道的信息傳輸率,通常用 R 表示。
有時我們所關(guān)心的是信道在單位時間內(nèi)平均傳輸?shù)男畔⒘俊H绻骄鶄鬏斠粋€符號為t秒,則信道平均每秒鐘傳輸?shù)男畔⒘繛镽t一般稱為信息傳輸速率。
對于固定的信道,總存在一種信源(某種輸入概率分布),使信道平均傳輸一個符號接收端獲得的信息量最大,也就是說對于每個固定信道都有一個最大的信息傳輸率,這個最大的信息傳輸率即為信道容量,而相應(yīng)的輸入概率分布稱為最佳輸入分布。
信道容量是信道傳送信息的最大能力的度量,信道實際傳送的信息量必然不大于信道容量。
要使信道容量有確切的含義,尚須證明相應(yīng)的編碼定理,就是說當(dāng)信息率低于信道容量時必存在一種編碼方法,使之在信道中傳輸而不發(fā)生錯誤或錯誤可任意逼近于零。已經(jīng)過嚴(yán)格證明的只有無記憶單用戶信道和多用戶信道中的某些多址接入信道和退化型廣播信道。對某些有記憶信道,只能得到容量的上界和下界,確切容量尚不易規(guī)定[2]
。
信道容量信道容量計算思路
為了評價實際信道的利用率,應(yīng)具體計算已給信道的容量。這是一個求最大值的問題。由于互信息對輸入符號概率而言是凸函數(shù),其極值將為最大值,因此這也就是求極值的問題。對于離散信道,P(x)是一組數(shù),滿足非負(fù)性和歸一性等條件,可用拉格朗日乘子法求得條件極值。對于連續(xù)信道,P(x)是一函數(shù),須用變分法求條件極值。但是對于大部分信道,這些方法常常不能得到顯式的解,有時還會得到不允許的解,如求得的P(x)為負(fù)值等。為了工程目的,常把信道近似表示成某些易于解出容量的模式,如二元對稱
圖7 信道容量信道和高斯信道。
對于其他信道的容量計算曾提出過一些方法,但都有較多的限制。比較通用的解法是迭代計算,可借助計算機(jī)得到較精確的結(jié)果。
對于連續(xù)信道,只需把輸入集和輸出集離散化,就仍可用迭代公式來計算。當(dāng)然如此形成的離散集,包含的元的數(shù)目越多,精度越高,計算將越繁。對于信息論中的其他量,如信息率失真函數(shù),可靠性函數(shù)等,都可以用類似的方法得到的各種迭代公式來計算。
信道容量信道容量定理
從求信道容量的問題實際上是在約束條件下求多元函數(shù)極值的問題,在通常情況下,計算量是非常大的。下面我們介紹一般離散信道的平均互信息達(dá)到信道容量的充要條件,在某些情況下它可以幫助我們較快地找到極值點。(定理略去)
信道容量定理只給出了達(dá)到信道容量時,最佳輸入概率分布應(yīng)滿足的條件,并沒有給出最佳輸入概率分布值,也沒有給出信道容量的數(shù)值。另外,定理本身也隱含著達(dá)到信道容量的最佳分布不一定是唯一的,只要輸入概率分布滿足充要條件式,就是信道的最佳輸入分布。在一些特殊情況下,我們常常利用這一定理尋求輸入分布和信道容量值。
信道容量信道容量計算公式
對于給定離散無記憶信道,其符號轉(zhuǎn)移概率分布已定,通過適當(dāng)改變輸入符號集上的概率分布,可使傳信率達(dá)到最大值,即該信道容量公式 如右圖8 。其中E是輸入符號集上所有可能概率分布的集。
圖8
對于連續(xù)信道,應(yīng)將式中概率分布換成概率密度,求和號換成積分號,即得出連續(xù)信道的容量公式。
容量的計算是在特定約束條件下,求傳信率函數(shù)I(X;Y)的極大值問題。對離散信道的約束條件是輸入符號的概率,對于連續(xù)信道,除了概率約束條件外,還可有不同的約束條件,如平均功率或峰值功率受限。由于I(X;Y)是輸入分布(或密度)的上凸函數(shù),故其極值即為最大值,可見,求容量在于求I(X;Y)的條件極值。簡單情況下,離散信道可用拉格朗日乘子法求解,連續(xù)信道可用變分法求解。R.E.勃拉赫特提出的迭代算法可精確求解一般離散無記憶信道的容量,也可用來近似計算連續(xù)信道的容量
圖9以及率失真函數(shù)和可靠性函數(shù)。
常見的二元對稱信道(BSC)的容量公式如圖9 ,式中ε是符號出差錯的概率。常見的加性白高斯噪聲(AWGN)信道的容量公式如圖10 ,式中S是信道允許的平均功率,N0是白高斯噪聲的單邊功率譜密度,F是信道許用帶寬。當(dāng)F→∞時有。令Eb表示每比特信息占有的能量,則S=REb,R是傳信率。由圖11
圖10及編碼定理有,通稱-1.6dB為仙農(nóng)極限,它表示在無限帶寬的AWGN信道中,傳送1bit信息所需的最小Eb/N0。
圖11
信道容量離散多符號信道及其信道容量
實際離散信道的輸入和輸出常常是隨機(jī)變量序列,用隨機(jī)矢量來表示,稱為離散多符號信道。
若在任意時刻信道的輸出只與此時刻信道的輸入有關(guān),而與其他時刻的輸入和輸出無關(guān),則稱之為離散無記憶信道,簡稱為DMC(discrete memoryless channel)。
輸入、輸出隨機(jī)序列的長度為N的離散無記憶平穩(wěn)信道通常稱為離散無記憶信道的N次擴(kuò)展信道。
對于離散無記憶N次擴(kuò)展信道,當(dāng)信源是平穩(wěn)無記憶信源時,其平均互信息等于單符號信道的平均互信息的N倍。
當(dāng)信源也是無記憶信源并且每一時刻的輸入分布各自達(dá)到最佳輸入分布時,才能達(dá)到這個信道容量NC。
信道容量組合信道及其信道容量
前面我們分析了單符號離散信道和離散無記憶信道的擴(kuò)展信道。實際應(yīng)用中常常會遇到兩個或更多個信道組合在一起使用的情況。例如,待發(fā)送的消息比較多時,可能要用兩個或更多個信道并行發(fā)送,這種組合信道稱為并聯(lián)信道;有時消息會依次地通過幾個信道串聯(lián)發(fā)送,例如無線電中繼信道,數(shù)據(jù)處理系統(tǒng),這種組合信道稱為級聯(lián)信道。在研究較復(fù)雜信道時,為使問題簡化,往往可以將它們分解成幾個簡單的信道的組合。這一節(jié)我們將討論這兩種組合信道的信道容量與其組成信道的信道容量之間的關(guān)系。
獨立并聯(lián)信道的信道容量才等于各信道容量之和。
級聯(lián)信道是信道最基本的組合形式,許多實際信道都可以看成是其組成信道的級聯(lián)。兩個單符號信道組成的最簡單的級聯(lián)信道X→Y→Z 組成一個馬爾可夫鏈。根據(jù)馬爾可夫鏈的性質(zhì),級聯(lián)信道的總的信道矩陣等于這兩個串接信道的信道矩陣的乘積。求得級聯(lián)信道的總的信道矩陣后,級聯(lián)信道的信道容量就可以用求離散單符號信道的信道容量的方法計算[3]
。
信道容量數(shù)字信道
語音
數(shù)字信道是一種離散信道,它只能傳送離散值的數(shù)字信號,信道的帶寬決定了信道中能不失真的傳輸脈序列的最高速率[2]
。
詞條圖冊
更多圖冊
參考資料
1.
劉海濤, 張保會, 譚倫農(nóng). 低壓電網(wǎng)信道容量的研究[J]. 電力系統(tǒng)自動化, 2004, 28(4):40-44.
2.
傅海陽, 陳技江, 曹士坷, et al. MIMO系統(tǒng)和無線信道容量研究[J]. 電子學(xué)報, 2011, 39(10):2221-2229.
3.
孫丹, 張曉光. MIMO系統(tǒng)信道容量研究[J]. 現(xiàn)代電子技術(shù), 2006, 29(19):4-6.
總結(jié)
以上是生活随笔為你收集整理的计算机理论什么是信道容量,信道容量的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 形式逻辑(01)你的逻辑怎么样?
- 下一篇: Go MD5加密解密用法