文章目錄

• 信道
• • 單符號離散信道
  • • 互信息（這才是信息）
    • 平均交互信息量
    • 損失熵，疑義度
    • 噪聲熵，散布度
    • 歸并無噪信道（從發送端考慮）
    • 發散無損信道（從接收端考慮）
    • 無噪無損信道
    • 串聯信道
    • • 數據處理定理
    • 信道容量（固有的屬性，與輸入的信源分布無關）
    • 匹配信源
    • 幾種特殊無噪信道的信道容量

信道

單符號離散信道

? 信源發出X=a，經過信道，信宿出現符號b的概率：“a出現的前提下出現b的條件概率”，也就是說$P(b/a)$體現了信道對輸入符號的傳遞作用。

互信息（這才是信息）

? 這里就是說，一開始信源傳遞a，由于信道的噪聲干擾$I(b/a)$，信宿得到了b，那么互信息就是信宿得到b后對符號a的不確定性的消除。$I(a;b)=I(a)?I(a/b)=I(b)?I(b/a)$。

? 可以為負值，當b擁有一種誤導性質的時候，增大了a的不確定性。

平均交互信息量

? 互信息只能表達信道上傳遞一個具體符號所傳輸的信息量，而平均交互信息量$I(X;Y)=I(Y;X)=H(X)?H(X/Y)$

? 非負性：大于等于0，當且僅當X,Y獨立的時候等號成立。

? 極值性：小于等于H(X)，這就是說從信宿Y中獲取關于信源X的信息量不會超過信源X本身含有的信息量 。

損失熵，疑義度

$H(X/Y)$

噪聲熵，散布度

$H(Y/X)$

歸并無噪信道（從發送端考慮）

? 損失熵=0，$H(Y/X)=0$。就是說信源發出一個a，信宿接收的一定是b（不論b和a相差多少）。$I(X;Y)=H(Y)$。

發散無損信道（從接收端考慮）

? 疑義度=0，$H(X/Y)=0$。就是信宿接收到b，那么就可以確定信源發送的是a，沒有疑義。$I(X;Y)=H(X)$。

無噪無損信道

? $\mathrm{I}(\mathrm{X};\mathrm{Y})=\mathrm{H}(\mathrm{X})=\mathrm{H}(\mathrm{Y})$，一對一。

串聯信道

數據處理定理

傳遞的信息逐級遞減。

信道容量（固有的屬性，與輸入的信源分布無關）

? 信道容量：傳輸的有效性，即一個給定信道的最大信息傳輸率。（信道的信息傳輸率＝平均互信息，即 R=I(X;Y) ，比特/符號）。

$C={\max }_{P(X)}\{I(X;Y)\}={\max }_{P(X)}\{R(X,Y)\}$，信息傳輸率$=I(X;Y)$

? 單位時間的信道容量：$C_t=C/t$，也稱為信道的最大信息傳輸速率（比特/秒，t是傳遞一個符號需要的時間秒）。

$I(X;Y)=H(X)?H(X/Y)=H(Y)?H(Y/X)$

匹配信源

能夠使平均交互信息量達到信道容量C的信源。

幾種特殊無噪信道的信道容量

無損信道：lgr，等概分布的輸入信源

無噪信道：lgs，可以使輸出等概分布的輸入信源（很多）

總結

以上是生活随笔為你收集整理的信息论3——信道（单符号离散信道，互信息，各种熵）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。