信息論與編碼課程設計報告

設計題目： 統計信源熵與香農編碼

專業班級 電 信 12-06

學 號

學生姓名

指導教師

教師評分

2015 年 3 月 30 日

目 錄

- 0 -

一、設計任務與要求

1.統計信源熵

要求：統計任意文本文件中各字符(不區分大小寫)數量，計算字符概率，

并計算信源熵。

2.香農編碼

要求：任意輸入消息概率，利用香農編碼方法進行編碼，并計算信源熵和編

碼效率。

二、設計思路

本次課程設計中主要運用 C 語言編程以實現任務要求，分析所需要的統計量

以及相關變量，依據具體公式和計算步驟編寫語句，組成完整C 程序。

1、信源熵

定義：信源各個離散消息的自信息量的數學期望為信源的平均信息量，一般

稱為信源的信息熵，也叫信源熵或香農熵，有時稱為無條件熵或熵函數，簡稱熵，

記為 H ()。

計算公式：

2、香農編碼過程：

(1)將信源消息符號按其出現的概率大小依次排列為

p 1 ? p2 ? ??? ? p n

K

(2)確定滿足下列不等式的整數碼長 i 為

? lb(p ) ? K ? ?lb(p ) ? 1

i i i

(3)為了編成唯一可譯碼，計算第 i 個消息的累加概率

i?1

P ? ?p (a )

i k

k ?1

P

i

(4)將累計概率 變換成二進制數。

P K

i i

(5)取 二進制數的小數點后 位即為該消息符號的二進制碼字。

- 1 -

三、設計流程圖

1、統計信源熵

開始

讀取給定文件

判斷文件是否打開 否

并且不為空

是

統計文本字符，直 關閉文件

至文本字符讀完。

統計同一字符(不分

大小寫)出現的次

計算字符概率

計算信源熵

輸出

結束

- 2 -

2、香農編碼

開始

總結

以上是生活随笔為你收集整理的计算信源熵和香农编码C语言,信息论与编码课程设计报告-统计信源熵与香农编码.pdf...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。