參考博客：多媒體技術(shù)期末復(fù)習(xí)題、《多媒體信息技術(shù)》復(fù)習(xí)思考題

考試重點(diǎn)：
1、JPEG壓縮編碼算法實(shí)現(xiàn)步驟
2、APCM、DPCM、ADPCM的區(qū)別
3、哈夫曼編碼計(jì)算（畫哈夫曼樹，計(jì)算碼長）
4、顏色空間轉(zhuǎn)換（RGB與CMY（還是YUV）之間）
5、MPEG的三種類型（I幀、P幀、B幀）

第一章 多媒體技術(shù)概述

一、 多媒體的類型

• 感覺媒體 ：直接作用于人的感官 ，使人直接產(chǎn)生感覺
• 表示媒體：是為了加工、處理和傳輸感覺媒體而人為構(gòu)造出來的一種媒體 ，即各種編碼。
• 顯示媒體：是指感覺媒體與用于通信傳輸?shù)碾娦盘栔g轉(zhuǎn)換的一 類媒體，即感覺媒體與計(jì)算機(jī)的界面。又可分為兩種：輸入顯示媒體和輸出顯示媒體。
• 存儲媒體：又稱存儲介質(zhì)，保存表示媒體的介質(zhì)。
• 傳輸媒體：傳輸?shù)奈锢磔d體，即用來將媒體從一處傳送到另一處的物理載體

二、 多媒體的定義

• 多媒體技術(shù)是利用計(jì)算機(jī)技術(shù)對多種信息進(jìn)行綜合處理、建立邏輯關(guān)系，集成為一個具有交互性的系統(tǒng)。

三、 多媒體的關(guān)鍵技術(shù)

a、視頻音頻數(shù)據(jù)壓縮/解壓縮技術(shù)（如今已有壓縮編碼/解壓縮編碼的國際標(biāo)準(zhǔn)JPEG和MPEG）

b、多媒體專用芯片技術(shù)（專用芯片是多媒體計(jì)算機(jī)硬件體系結(jié)構(gòu)的關(guān)鍵，一種是固定功能的芯片；另一種是可編程的數(shù)字信號處理器（DSP）芯片）

c、大容量信息存儲技術(shù)（利用數(shù)據(jù)壓縮技術(shù)，在一張CD-ROM光盤上能夠存取70多分全運(yùn)動的視頻圖像或者十幾個小時的語言信息或數(shù)千幅靜止圖像）

d、多媒體輸入與輸出技術(shù)（包括媒體變換技術(shù)、媒體識別技術(shù)、媒體理解技術(shù)和綜合技術(shù)）

e、多媒體軟件技術(shù)（多媒體操作系統(tǒng)、多媒體素材采集與制作技術(shù)、多媒體編輯與創(chuàng)作工具、多媒體數(shù)據(jù)庫技術(shù)、超文本/超媒體技術(shù)、多媒體應(yīng)用開發(fā)技術(shù)）

f、多媒體通信技術(shù)（是多媒體技術(shù)與通信技術(shù)的有機(jī)結(jié)合，突破了計(jì)算機(jī)、通信、電視等傳統(tǒng)產(chǎn)業(yè)間相對獨(dú)立發(fā)展的界限，是計(jì)算機(jī)、通信和電視領(lǐng)域的一次革命）

g、虛擬現(xiàn)實(shí)技術(shù)（利用計(jì)算機(jī)技術(shù)生成的一個逼真的視覺、聽覺觸覺及嗅覺等得感覺世界，用戶可以用人的自然技能對這個生成的虛擬實(shí)體進(jìn)行交互考察）

四、 多媒體的特征

1、多維化 ——指計(jì)算機(jī)處理媒體信息的多樣化 ，它使人與計(jì)算機(jī)之間的交互不再局限于順序的、單調(diào)的、狹小的范圍，而有充分自由的余地。

2、集成性——媒體種類一體化。一方面是指能將各種不同的媒體信息有機(jī)地進(jìn)行同步組合，形成多媒體信息；另一方面是指把不同的媒體設(shè)備集成在一起，形成多媒體系統(tǒng)。

3、交互性——人、機(jī)對話，是多媒體技術(shù)的最關(guān)鍵特征。在多媒體系統(tǒng)中的綜合處理上控制自如。

4、數(shù)字化——媒體以數(shù)字形式存在。

5、實(shí)時性——聲音、動態(tài)圖像(視頻)隨時間變化。

五、信息媒體

1、文本(Text)：TXT、RTF、DOC

2、音頻(Audio)：WAV（波形文件）、MIDI、MP3（壓縮音頻文件）、AIFF（音頻交換文件格式，.AIF/.AIFF）、VOC、RealAudio文件（.RA/.RM/.RAM）

3、圖像(Image)：BMP（位圖）、JPG（JPEG格式，后綴名為.jpg或.jpeg，為有損壓縮）、PCD（影像壓縮，用于在CD-ROM上保存圖片）、PSD（PSD/PDD是Photoshop的專用格式，PSD文件可以存儲成RGB或CMYK模式）、TIF（圖像文件格式，位圖）

4、圖形(Graphic)：Quartus、Visio、Auto CAD、3DMAX

5、動畫(Animation)：GIF (Graphics Interchange Format幀動畫)、Flash (矢量動畫)

6、視頻(Video)：MPEG（有損壓縮，.MP1/.MP2/.MP3）、AVI（音頻視頻交錯格式，主要應(yīng)用在多媒體光盤上，用來保存電視、電影等各種影像信息）、MOV (后綴名·mov) 、DAT (數(shù)字錄音帶，VCD MPEG-1)

【補(bǔ)充】：MPEG標(biāo)準(zhǔn)的視頻壓縮編碼技術(shù)主要利用了具有運(yùn)動補(bǔ)償?shù)膸g壓縮編碼技術(shù)以減小時間冗余度，利用DCT技術(shù)以減小圖像的空間冗余度，利用熵編碼則在信息表示方面減小了統(tǒng)計(jì)冗余度。

六、課內(nèi)習(xí)題

1、選擇題
1-1．媒體中的__B___是為了加工、處理和傳輸感覺媒體而人為構(gòu)造出來的一種媒體，如文字、音頻、圖像和視頻等的數(shù)字化編碼表示等。
(A) 感覺媒體 (B) 表示媒體
? 顯示媒體 (D) 存儲媒體

1-2．多媒體技術(shù)的主要特性有____D____。
(1) 多樣性 (2) 集成性 (3) 交互性 (4) 實(shí)時性
(A) 僅(1) (B)(1)+(2)
? (1)+(2)+(3 ) (D) 全部

1-3.以下哪些屬于計(jì)算機(jī)多媒體的范疇？（B）
（1）交互式視頻游戲 （2）會聲會影
（3）彩色畫報 （4）彩色電視
（A）僅（1） (B)(1)+(2)
? (1)+(2)+(3 ) （D）全部

1-4．一般認(rèn)為，多媒體技術(shù)研究的興起從___B_____開始。
(A) 1972年，Philips 展示播放電視節(jié)目的激光視盤。
(B) 1984年，美國Apple公司推出Macintosh系列機(jī)。
? 1986年， Philips和Sony公司發(fā)明了交互式光盤系統(tǒng)CD-I
(D) 1987年，美國RCA公司展示了交互式數(shù)字影像系統(tǒng)DVI。

二、填空題
1-7．媒體有兩種含義，即表示信息的載體和_________。

1-8．多媒體技術(shù)是將_______融合在一起的新技術(shù)。

1-9．多媒體技術(shù)交互式應(yīng)用的高級階段是_______。

1-7.存儲信息的實(shí)體 1-8. 計(jì)算機(jī)技術(shù)、視聽技術(shù)和通信技術(shù) 1-9．虛擬現(xiàn)實(shí)

七、 練習(xí)題

1、MPC（Multimedia Personal Computer）與PC的主要區(qū)別是增加了（ B ）。

A. 存儲信息的實(shí)體 B. 視頻和音頻信息的處理能力

C. 光驅(qū)和聲卡 D. 大容量的磁介質(zhì)和光介質(zhì)

MPC（Multimedia Personal Computer）多媒體個人電腦

2、CD光盤上記錄信息的軌跡叫光道，信息存儲在（C ）的光道上。

A. 一條圓形 B. 多條同心環(huán)形 C. 一條漸開的螺旋形 D. 多條螺旋形

3、DVD-ROM的光盤最多可存儲17GB的信息，比CD-ROM光盤的650MB大了許多。DVD-ROM光盤是通過（ B ）來提高存儲容量的。

A. 減小讀取激光波長，減小光學(xué)物鏡數(shù)值孔徑
B. 減小讀取激光波長，增大光學(xué)物鏡數(shù)值孔徑
C. 增大讀取激光波長，減小光學(xué)物鏡數(shù)值孔徑
D. 增大讀取激光波長，增大光學(xué)物鏡數(shù)值孔徑

4、為保證用戶在網(wǎng)絡(luò)上邊下載邊觀看視頻信息，需要采用（A ）技術(shù)。
A. 流媒體 B. 數(shù)據(jù)庫 C. 數(shù)據(jù)采集 D. 超鏈接

流媒體 (Streaming Media)技術(shù)是指將一連串的媒體數(shù)據(jù)壓縮后，以流的方式在網(wǎng)絡(luò)中分段傳送，實(shí)現(xiàn)在網(wǎng)絡(luò)上實(shí)時傳輸影音以供觀賞的一種技術(shù)。

5、（ B ）通過手指上的彎曲傳感器、扭曲傳感器和手掌上的彎度傳感器、弧度傳感器，來確定手及關(guān)節(jié)的位置和方向，從而實(shí)現(xiàn)環(huán)境中的虛擬手及其對虛擬物體的操縱。
A. 跟蹤球 B. 數(shù)據(jù)手套 C. 頭盔顯示器 D. 立體眼鏡

6、Internet應(yīng)用中的虛擬現(xiàn)實(shí)語言是（ B ）。
A. Java B.VRML C. HTML D. C#

7、在顯存中，表示黑白圖像的像素點(diǎn)數(shù)據(jù)最少需（A ）位。
A. 1 B. 2 C. 3 D. 4

8、雙層雙面的只讀DVD盤片的存儲容量可以達(dá)到（ C ）。
A. 4.7GB B. 8.5GB C. 17GB D. 6.6GB

9、在對彩色電視信號進(jìn)行數(shù)字化的過程中，圖像子采樣能夠減少（ B ）的采樣頻率，從而達(dá)到減少數(shù)據(jù)量的目的。
A.亮度信號 B.色差信號 C.同步型號 D.消隱信號

10、人眼看到的任一色彩都是亮度、色調(diào)和飽和度3個特性的綜合效果，其中（ A ）反映的是顏色種類。
A．色調(diào) B．飽和度 C．灰度 D．亮度

色調(diào)——波長，如紅色、綠色、藍(lán)色；冷色、暖色
飽和度——顏色的純度
亮度——圖像亮度或圖像灰度

11、圖像文件格式分為靜態(tài)圖像文件格式和動態(tài)圖像文件格式，（C ）屬于靜態(tài)圖像文件格式。
A．MPG文件格式 B．AVS文件格式 C．JPG文件格式 D．AVI文件格式

靜態(tài)圖像文件格式：GIF、TIF、BMP、PCX、JPG、PSD
動態(tài)圖像文件格式：AVI、MPG、AVS

12、下列哪種說法不正確（ A ）。
A. 預(yù)測編碼是一種只能針對空間冗余進(jìn)行壓縮的方法
B. 預(yù)測編碼是根據(jù)某一模型進(jìn)行的
C. 預(yù)測編碼需要將預(yù)測的誤差進(jìn)行存儲或運(yùn)輸
D. 預(yù)測編碼中典型的壓縮方法有DPCM、ADPCM

預(yù)測編碼是根據(jù)離散信號之間存在著一定關(guān)聯(lián)性的特點(diǎn)，利用前面一個或多個信號預(yù)測下一個信號進(jìn)行，然后對實(shí)際值和預(yù)測值的差（預(yù)測誤差）進(jìn)行編碼。

13、在MPEG中為了提高數(shù)據(jù)壓縮比，采用的方法有（ C ）。
A. 運(yùn)動補(bǔ)償?shù)倪\(yùn)動估計(jì) B. 減少時域冗余與空間冗余
C. 幀內(nèi)圖像數(shù)據(jù)與幀間圖像數(shù)據(jù)壓縮 D. 向前預(yù)測與向后預(yù)測

14、視頻卡中的信號獲取部分包括A/D變換和數(shù)字解碼、窗口控制器以及存儲器系統(tǒng)，其中幀存儲器存儲的信號為（ A ）
A．數(shù)字的YUV信號 B．模擬的RGB信號
C．模擬的YUV信號 D．數(shù)字的RGB信號

15、視頻采集卡能支持多種視頻源輸入，下列哪些是視頻采集卡支持的視頻源（ C ）。
① 放像機(jī) ② 攝像機(jī) ③ 影碟機(jī) ④ CD-ROM

A. ① B. ①② C. ①②③ D. 全部

16、哈夫曼編碼采用的是（ C ）編碼原理。
A. 平均碼長 B. 自適應(yīng)碼長 C. 字變長 D. 等字長

17、在動畫制作中，一般幀速選擇為（A ）。
A. 30幀/秒 B. 60幀/秒 C. 120幀/秒 D. 90幀/秒

18、多媒體應(yīng)用系統(tǒng)創(chuàng)作軟件分為基于程序語言、基于流程圖和（ A ）3類。
A. 基于時間 B. 基于算法 C. 基于方位 D. 基于系統(tǒng)

第二章 多媒體硬件環(huán)境

一、學(xué)習(xí)目標(biāo)

• 熟悉多媒體計(jì)算機(jī)系統(tǒng)的組成
• 掌握聲卡和顯卡的功能和基本原理
• 掌握光存儲器和常用外部設(shè)備的工作原理、功能和特點(diǎn)
• 理解多媒體數(shù)據(jù)采集的方法和不失真采樣的原理

二、MPC系統(tǒng)的組成結(jié)構(gòu)

三、聲卡

1、聲卡的技術(shù)指標(biāo)

（1）采樣頻率和量化位數(shù)

（2）MIDI合成方式

（3）DSP數(shù)字信號處理器

（4）音頻壓縮

2、聲卡的聲道數(shù)

（1）單聲道與立體聲

（2）四聲道環(huán)繞

（3）5.1聲道

四、音頻信號數(shù)字化

（一）數(shù)字音頻

數(shù)字音頻是一個數(shù)據(jù)序列，在時間上是斷續(xù)的。

數(shù)字音頻是通過采樣和量化，把模擬量表示的音頻信號轉(zhuǎn)換成由許多二進(jìn)制數(shù)1和0組成的數(shù)字音頻信號。
數(shù)據(jù)進(jìn)行壓縮。

（二）音頻信號數(shù)字化的步驟

1、取樣：對連續(xù)信號按一定的時間間隔取樣。

取樣（也稱采樣）是將時間上連續(xù)變化的信號，轉(zhuǎn)換為時間上離散的信號，即將時間上連續(xù)變化的模擬量轉(zhuǎn)換為一系列等間隔的樣值脈沖，脈沖的幅度取決于輸入模擬量。

奈奎斯特取樣定理認(rèn)為，只要取樣頻率大于等于信號中所包含的最高頻率的兩倍，則可以根據(jù)其取樣完全恢復(fù)出原始信號，這相當(dāng)于當(dāng)信號是最高頻率時，每一周期至少要采取兩個點(diǎn)。但這只是理論上的定理，在實(shí)際操作中，人們用混疊波形，從而使取得的信號更接近原始信號。

2、量化：取樣的離散音頻要轉(zhuǎn)化為計(jì)算機(jī)能夠表示的數(shù)據(jù)范圍，這個過程稱為量化。

量化的等級取決于量化精度，也就是用多少位二進(jìn)制數(shù)來表示一個音頻數(shù)據(jù)。

一般有8位，12位或16位。量化精度（量化位數(shù)）和采樣頻率越高，聲音的保真度越高。

以8位的舉例稍微說明一下其中的原理。若一臺計(jì)算機(jī)能夠接收八位二進(jìn)制數(shù)據(jù)，則相當(dāng)于能夠接受256個十進(jìn)制的數(shù)，即有256個電平數(shù)，用這些數(shù)來代表模擬信號的電平，可以有256種，但是實(shí)際上采樣后的某一時刻信號的電平不一定和256個電平某一個相等，此時只能用最接近的數(shù)字代碼表示取樣信號電平。

取樣保持得到階梯波，可以連續(xù)取值，但n位數(shù)字量只能表示2n個數(shù)值。需將階梯電平歸屬到與之接近的離散電平上，這個過程稱為量化。

離散電平稱為量化電平。位數(shù)越多，量化越精細(xì)。取樣保持后未量化的電平與量化電平差值稱為量化誤差。

采樣和量化的過程可由A/D轉(zhuǎn)換器實(shí)現(xiàn)。
用二進(jìn)制數(shù)碼來表示各個量化電平的過程稱為編碼。

3、編碼：對音頻信號取樣并量化成二進(jìn)制，但實(shí)際上就是對音頻信號進(jìn)行編碼。

但用不同的取樣頻率和不同的量化位數(shù)記錄聲音，在單位時間中，所需存貯空間是不一樣的。

波形聲音的主要參數(shù)包括：取樣頻率、量化位數(shù)、聲道數(shù)、壓縮編碼方案和數(shù)碼率等

未壓縮前，波形聲音的碼率計(jì)算公式為：波形聲音的碼率=取樣頻率×量化位數(shù)×聲道數(shù)/8。（單位B）

波形聲音的碼率一般比較大，所以必需對轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行壓縮。

（三）均勻量化與非均勻量化

1、均勻量化：

采用相同的“等分尺”來度量采樣得到的幅度，也稱為線性量化。
2、非均勻量化：

大的輸入信號采用大的量化間隔，小的輸入信號采用小的量化間隔。

對微小信號采用細(xì)量化（Δ小），對大幅度信號，采用粗量化（Δ大）的方法。

3、非均勻采樣：

非均勻采樣有時又稱為隨機(jī)采樣。

均勻采樣的采樣時間間隔是完全相等，而非均勻采樣的采樣時間間隔是不確定的，完全隨機(jī)。

（四）例子

1、在音頻處理中，人耳所能聽見的最高聲頻大約可設(shè)定為22kHz。所以，在音頻處理中對音頻的最高標(biāo)準(zhǔn)采樣頻率可取為22kHz的（ d ）倍。

A. 0.5 B. 1 C. 1.5 D. 2

奈奎斯特取樣定理認(rèn)為，只要取樣頻率大于等于信號中所包含的最高頻率的兩倍，則可以根據(jù)其取樣完全恢復(fù)出原始信號。

2、在數(shù)字視頻信息獲取與處理過程中，下述順序（ C ）是正確的。

A. A/D變換、采樣、壓縮、存儲、解壓縮、D/A變換

B. 采樣、壓縮、A/D變換、存儲、解壓縮、D/A變換

C. 采樣、A/D變換、壓縮、存儲、解壓縮、D/A變換

D. 采樣、D/A變換、壓縮、存儲、解壓縮、A/D變換

（五）A/D轉(zhuǎn)換器的主要電路形式

A/D轉(zhuǎn)換器有直接轉(zhuǎn)換法和間接轉(zhuǎn)換法兩大類。

直接法是通過一套基準(zhǔn)電壓與取樣保持電壓進(jìn)行比較，從而直接將模擬量轉(zhuǎn)換成數(shù)字量。其特點(diǎn)是工作速度高，轉(zhuǎn)換精度容易保證，調(diào)準(zhǔn)也比較方便。直接A/D轉(zhuǎn)換器有計(jì)數(shù)型、逐次比較型、并行比較型等。

間接法是將取樣后的模擬信號先轉(zhuǎn)換成中間變量時間t或頻率f, 然后再將t或f轉(zhuǎn)換成數(shù)字量。其特點(diǎn)是工作速度較低，但轉(zhuǎn)換精度可以做得較高，且抗干擾性強(qiáng)。

五、例題

例1、30秒鐘雙聲道、16位采樣位數(shù)、22.05kHz采樣頻率聲音的不壓縮的數(shù)據(jù)量？( B )

A. 1.26MB B. 2.52MB C. 3.52MB D. 25.20MB

音頻文件大小(單位Byte)=(量化位數(shù)×采樣頻率×聲道數(shù)×持續(xù)時間)/8

數(shù)據(jù)傳輸率＝采樣頻率×量化位數(shù)×聲道數(shù)
音頻文件大小＝數(shù)據(jù)傳輸率×播放時間
16220502*30/8=2646000B=2646000/(1024^2)MB=2.52MB

例2、使用300dpi的掃描分辨率掃描一副6×8英寸的彩色圖像，可以得到一副（ C ）像素的圖像。

A. 300 B. 6×8 C. 1800×2400 D.300×6×8

顯示器是由一個個像素點(diǎn)(pixel)所組成的，一般所說的顯示器分辨率是1280x720就表示這個顯示器水平方向有1280個像素，垂直方向上有720個像素。

但是并非分辨率越高屏幕顯示效果越好，還需要根據(jù)屏幕的大小來決定。

也就是要看像素的密度(pixel density)，即每英寸有多少個像素，這個指標(biāo)就是DPI(Dots Per
Inch)或者PPI(Pixels Per Inch)，即英尺屏幕上像素或者是點(diǎn)的個數(shù)。

例3、使用200dpi 的掃描分辨率掃描一副2×2.5英寸的黑白圖像，可以得到一副（ C ）像素的圖像。

A. 200×2 B. 2×2.5 C.400×500 D.800×1000

例4、20秒鐘NTSC制640×480分辨率24位真彩色數(shù)字視頻的不壓縮的數(shù)據(jù)量是多少？( A )

A. 527.34MB B. 52.73MB C. 500.20MB D. 17.58MB

例5、一幅分辨率為640×480的真彩色圖像占用的存儲空間為（D ）。

A. （640×480×8）/8 B B. （640×480×3×8）B

C. （640×480×3×8）/2 B D. （640×480×3×8）/8 B

首先必須明白，圖片的每個像素所占的位數(shù)。 　　
每個像素的位數(shù)，大體有如下幾類。
1位（單色）；4位（16色）；8位（2^8=256色）；

16位（64K色，高彩色）；24位（2^24=16M色，真彩色）；32位（4096M色，增強(qiáng)型真彩色）。

1Byte=8bits，像素總數(shù)為640×480個像素，由于該圖片是真彩色，則每個像素占24位，該圖片一共占640×480×3×8bits，再除以8得到的單位為B（字節(jié)）。

【解題方法】：

①首先計(jì)算出該圖片的大小為多少個Bit
　　拿例題一來計(jì)算，就等于：
　　Ａ、像素總數(shù)為：８００×６００＝４８００００個像素
　　Ｂ、由于該圖片是２５６色的，因此，每個像素占８個Bit。
　　所以，該圖片所占的總的Bit大小為：
　　８００×６００×８＝３８４００００Bit
②計(jì)算圖片所占的磁盤存儲空間
　　使用總的Bit數(shù)轉(zhuǎn)換成為相應(yīng)的KB、MB、GB等，就可以計(jì)算出結(jié)果了。
　　1Byte=8bit　1Kb=1024B　1Mb=1024KB
８００×６００×８　現(xiàn)在單位為Bit
　　８００×６００×８÷８　現(xiàn)在單位為Byte
　　８００×６００×８÷８÷１０２４=468.75KB　現(xiàn)在單位為KB

例6、某數(shù)碼相機(jī)的分辨率設(shè)定為1600×1200像素，顏色深度為24位，若不采用壓縮存儲技術(shù)，則32MB的存儲卡最多可以存儲（ B ）張照片。

A. 3 B. 5 C. 10 D. 17

24位的顏色深度為真彩色 單張照片所占存儲空間1600×1200×24bits=46080000bits=5.5MB
32M/5.5M=5.8張

第三章 數(shù)據(jù)壓縮技術(shù)

一、概述

1、多媒體應(yīng)用普及的難題：海量數(shù)據(jù)的存儲、處理和傳輸。
2、 解決途徑：
① 大容量的光盤存儲技術(shù)（如：CD-ROM）
② 高速CPU／Cache／圖形加速器 — 芯片集成
③ 寬帶高速網(wǎng)絡(luò)通信技術(shù)
④ 數(shù)據(jù)壓縮技術(shù)（軟件算法，專用芯片）

3、數(shù)據(jù)壓縮的基本原理

• 壓縮目的：① 減少存儲量，以節(jié)省存儲開銷
  ② 降低實(shí)時傳輸量，以提高數(shù)據(jù)傳輸效率
• 為什么可以壓縮
  經(jīng)研究發(fā)現(xiàn)，與音頻數(shù)據(jù)一樣，圖像數(shù)據(jù)中存在著大量的冗余。通過去除多媒體那些冗余數(shù)據(jù)可以極大地降低原始圖像數(shù)據(jù)量，從而解決圖像數(shù)據(jù)量巨大的問題。

二、數(shù)據(jù)壓縮的可能性

各種媒體數(shù)據(jù)內(nèi)部存在冗余(相關(guān)性)。所以可采用不同編碼與解碼算法以減弱相關(guān)性，達(dá)到壓縮目的。

數(shù)據(jù)冗余類型：是有效采用各種壓縮算法的基本依據(jù)。

（1） 空間冗余

相鄰區(qū)域圖像灰度或顏色等特性基本相同。

空間冗余是靜態(tài)圖像中存在的最主要的一種數(shù)據(jù)冗余。

例：像素點(diǎn)P(x,y)具有鄰域強(qiáng)相關(guān)性 — 空間冗余

（2）時間冗余

① 相鄰幀間或相鄰音域間是漸變的或局部相同的；時間冗余是序列圖像中經(jīng)常包含的冗余。
② 人眼視覺暫留特性

例：F1和F2間時域相關(guān) — 具有時間冗余

（3）熵冗余：編碼符號序列中的碼字冗余，稱信息熵冗余

（4）其它冗余：結(jié)構(gòu)冗余(如紋理)、知識冗余(如人臉)、視覺冗余

【例題】：圖象序列中的兩幅相鄰圖象，后一幅圖象與前一幅圖象之間有較大的相關(guān)，這是：（ B ）

A. 空間冗余 B. 時間冗余 C. 信息熵冗余 D. 視覺冗余

三、數(shù)據(jù)壓縮技術(shù)的指標(biāo)

(1) 壓縮比

輸出數(shù)據(jù)與輸入數(shù)據(jù)之比。

(2) 壓縮質(zhì)量

壓縮分為有損壓縮和無損壓縮；

有損壓縮采用主觀(感受)和客觀方式（信噪比等）。

(3) 壓縮和解壓縮速度

與壓縮和解壓縮算法密切相關(guān)

(4) 壓縮和解壓縮標(biāo)準(zhǔn)化

四、壓縮模型的構(gòu)成原理

數(shù)據(jù)壓縮的基本思想：

針對數(shù)據(jù)冗余類型采用合適的壓縮方法；建立以少代多或以局部代全體的數(shù)據(jù)變換關(guān)系，從而以最少的數(shù)碼表示信號。

⑴ 空間壓縮：把相同視覺區(qū)當(dāng)作一個整體進(jìn)行表示。
⑵ 時間壓縮：把連續(xù)幀間的相同部分或漸變過程中的相似部分當(dāng)作一個整體，用極少的數(shù)據(jù)量表示。

五、數(shù)據(jù)壓縮方法（根據(jù)信息是否有損失）

（1）無損壓縮

• 無損壓縮是指使用壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)(或者叫做還原,解壓縮)，重構(gòu)后的數(shù)據(jù)與原來的數(shù)據(jù)完全相同。

• 無損壓縮用于要求重構(gòu)的信號與原始信號完全一致的場合。

一個很常見的例子是磁盤文件的壓縮。根據(jù)目前的技術(shù)水平,無損壓縮算法一般可以把普通文件的數(shù)據(jù)壓縮到原來的1/2～1/4.一些常用的無損壓縮算法有霍夫曼(Huffman)算法和LZW(Lenpel-Ziv & Welch)壓縮算法。

無損壓縮：Huffman編碼、游程編碼、算術(shù)編碼、詞典編碼

（2）有損壓縮

• 有損壓縮是指使用壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)，重構(gòu)后的數(shù)據(jù)與原來的數(shù)據(jù)有所不同，但不影響人對原始資料表達(dá)的信息造成誤解。

• 有損壓縮適用于重構(gòu)信號不一定非要和原始信號完全相同的場合。

例如，圖像和聲音的壓縮就可以采用有損壓縮，因?yàn)槠渲邪臄?shù)據(jù)往往多于我們的視覺系統(tǒng)和聽覺系統(tǒng)所能接收的信息，丟掉一些數(shù)據(jù)而不至于對聲音或者圖像所表達(dá)的意思產(chǎn)生誤解，但可大大提高壓縮比。

有損壓縮：預(yù)測編碼、變換編碼、模型編碼、基于重要性的編碼、混合編碼（JPEG，MPEG）

（3）有損壓縮和無損壓縮的區(qū)別

• 有損壓縮是對圖像本身的改變，在保存圖像時保留了較多的亮度信息，而將色相和色純度的信息和周圍的像素進(jìn)行合并，合并的比例不同，壓縮的比例也不同，由于信息量減少了，所以壓縮比可以很高，圖像質(zhì)量也會相應(yīng)的下降。

• 無損壓縮是對文件本身的壓縮，和其它數(shù)據(jù)文件的壓縮一樣，是對文件的數(shù)據(jù)存儲方式進(jìn)行優(yōu)化，采用某種算法表示重復(fù)的數(shù)據(jù)信息，文件可以完全還原，不會影響文件內(nèi)容，對于數(shù)碼圖像而言，也就不會使圖像細(xì)節(jié)有任何損失。

六、數(shù)據(jù)壓縮編碼方法分類

（一）熵編碼技術(shù)—哈夫曼編碼

哈夫曼編碼：無失真編碼的優(yōu)選算法；已用于JPEG標(biāo)準(zhǔn)的基本系統(tǒng)

Huffman算法設(shè)計(jì)過程：
① 統(tǒng)計(jì)信源符號出現(xiàn)的概率，以建立Huffman碼表
② 把信源符號按概率遞減排列，以建立Huffman樹
③ 沿H樹的路徑賦予二進(jìn)制值，以生成符號編碼
④ 計(jì)算平均碼長，以驗(yàn)證方案的合理性

（二）熵編碼技術(shù)—行程編碼

行程編碼：適用于二值圖像壓縮，是傳真編碼的壓縮方法；在JPEG編碼中，用于處理DCT交流系數(shù)

行程：具有相同灰度值的連續(xù)符號位串長度；

編碼格式：沿某一方向掃描時，對連續(xù)相同值的像素：用一個代表值和一個連續(xù)位串長度值來代替。即（像素的相同灰度值，像素元素的個數(shù)） 。

算法原理：用一個符號值或串長代替具有相同值的連續(xù)符號（連續(xù)符號構(gòu)成了一段連續(xù)的“行程”，行程編碼因此而得名），使符號長度少于原始數(shù)據(jù)的長度。只在各行或者各列數(shù)據(jù)的代碼發(fā)生變化時，一次記錄該代碼及相同代碼重復(fù)的個數(shù)，從而實(shí)現(xiàn)數(shù)據(jù)的壓縮。

（三）熵編碼技術(shù)—算術(shù)編碼

算術(shù)編碼的基本思想：基于遞歸概率區(qū)間劃分的二進(jìn)制編碼。

具體過程：
① 把信源符號序列{Xi|i=1,2,…,n}發(fā)生的概率
用實(shí)數(shù)區(qū)間[0，1]上的間隔（Xi的取值范圍）來表示；
② 按符號概率大小來分配符號間隔，
使[0，1]隨迭代計(jì)算次數(shù)的增加而逐次變窄；
③ 最后范圍便是替代{Xi}符號串編碼的取值范圍。

（四）一些問題

例：和 Huffman 編碼相比，算術(shù)編碼有什么特點(diǎn)？

（1）從整個符號序列出發(fā)，采用遞推形式連續(xù)編碼的方法

（2）不存在源符號和碼字間的一一對應(yīng)關(guān)系

（3）1個算術(shù)碼字要賦給整個信源符號序列，而每個碼字本身確定了0和1之間的1個實(shí)數(shù)區(qū)間

（4）算術(shù)編碼過程只需用到加法和移位運(yùn)算

第四章 聲音編碼壓縮技術(shù)

一、學(xué)習(xí)目標(biāo)

• 了解聲音信號的特點(diǎn)、存儲格式及質(zhì)量的度量方法

• 理解音頻信號壓縮方法及音頻編碼標(biāo)準(zhǔn)

二、音頻信號的分類

• 音頻信號可分為兩類：語音信號和非語音信號。
• 語音信號是語言的載體，是人類進(jìn)行信息交流所特有的形式。
• 非語音信號主要包括音樂和自然界存在的其他聲音形式。非語音信號的特點(diǎn)是不具有復(fù)雜的語義和語法信息，信息量低。

三、聲音的頻譜

• 聲音的頻譜有線性頻譜和連續(xù)頻譜之分。

• 線性頻譜是具有周期性的單一頻率聲波；連續(xù)頻譜是具有非周期性的帶有一定頻帶所有頻率分量的聲波。

四、聲音的A/D與D/A轉(zhuǎn)換

• 轉(zhuǎn)換就是把模擬信號轉(zhuǎn)換成數(shù)字信號的過程。
• 這樣做的好處是顯而易見的，聲音存儲質(zhì)量得到了加強(qiáng)，數(shù)字化的聲音信息使計(jì)算機(jī)能夠進(jìn)行識別、處理和壓縮 。

五、衡量聲音的質(zhì)量

• 一是用聲音信號的帶寬來衡量聲音的質(zhì)量，等級由高到低依次是數(shù)字錄音帶DAT (48KHz)，CD (44.1KHz) ，FM (22.05KHz) ，AM (11.025KHz)和數(shù)字電話(8KHz) 。
• 第二種是信噪比。
• 第三種是主觀質(zhì)量度量。

六、音頻信號壓縮方法

（一）脈沖編碼調(diào)制(PCM)

編譯的原理：概念上最簡單、理論上最完善的編碼系統(tǒng)，它的原理框圖下圖所示 。

三個步驟：

• 第一步是采樣，就是每隔一段時間間隔讀一次聲音的幅度；

• 第二步是量化，就是把采樣得到的聲音信號幅度轉(zhuǎn)換成數(shù)字值。量化可歸納為兩類：一類稱為均勻量化，另一類稱為非均勻量化（大信號采用大的量化間隔，小信號采用小的量化間隔）。量化方法不同量化后的數(shù)據(jù)量也不同。因此，可以說量化也是一種壓縮數(shù)據(jù)的方法；

• 第三步是編碼，就是按一定格式記錄采樣和量化后的數(shù)據(jù)。

（二）增量調(diào)制(DM)

它是一種預(yù)測編碼技術(shù)，是PCM編碼的一種變形。

DM是對實(shí)際的采樣信號與預(yù)測的采樣信號之差的極性進(jìn)行編碼，將極性變成“0”和“1”這兩種可能的取值之一。如果實(shí)際的采樣信號與預(yù)測的采樣信號之差的極性為“正”，則用“1”表示；相反則用“0”表示。

（三）自適應(yīng)脈沖編碼調(diào)制（APCM）

根據(jù)輸入信號幅度大小來改變量化階大小的一種波形編碼技術(shù)。

這種自適應(yīng)可以是瞬時自適應(yīng)，即量化階的大小每隔幾個樣本就改變，也可以是非瞬時自適應(yīng)，即量化階的大小在較長時間才發(fā)生變化。

改變量化階大小的方法有兩種：前向自適應(yīng)和后向自適應(yīng) 。

• 前者是根據(jù)未量化的樣本值的均方根值來估算輸入信號的電平，以此來確定量化階的大小，并對其電平進(jìn)行編碼作為邊信息(side information)傳送到接收端；
• 后者是從量化器剛輸出的過去樣本中來提取量化階信息。

（四）差分脈沖編碼調(diào)制(DPCM)

利用樣本與樣本之間存在的信息冗余度來進(jìn)行編碼的一種數(shù)據(jù)壓縮技術(shù)。

差分脈沖編碼調(diào)制的思想是，根據(jù)過去的樣本去估算(estimate)下一個樣本信號的幅度大小，這個值稱為預(yù)測值，然后對實(shí)際信號值與預(yù)測值之差進(jìn)行量化編碼，從而就減少了表示每個樣本信號的位數(shù)。

它與脈沖編碼調(diào)制(PCM)不同的是，PCM是直接對采樣信號進(jìn)行量化編碼，而DPCM是對實(shí)際信號值與預(yù)測值之差進(jìn)行量化編碼，存儲或者傳送的是差值而不是幅度絕對值。

【思考】：APCM 與 DPCM 有什么異同

• APCM是一種根據(jù)輸入信號的幅度大小來改變量化階距大小的編碼技術(shù)，分為前向自適應(yīng)和后向自適應(yīng)編碼兩種類型。

• 而DPCM是根據(jù)樣本與樣本之間存在的信息冗余來進(jìn)行編碼的一種數(shù)據(jù)壓縮技術(shù)，它先對輸入信號進(jìn)行預(yù)測，計(jì)算預(yù)測值與真值之間的差，對差值進(jìn)行編碼。

• 兩者各考慮了問題的一個方面，如提高量化的自適應(yīng)性、減少信息冗余，未能全面考慮既提高自適應(yīng)性又減少信息的冗余。將二者的結(jié)合形成了ADPCM壓縮技術(shù)。

（五）自適應(yīng)差分脈沖編碼調(diào)制(ADPCM)

綜合了APCM的自適應(yīng)特性和DPCM系統(tǒng)的差分特性，是一種性能比較好的波形編碼。

核心想法：

• 利用自適應(yīng)的思想改變量化階的大小，即使用小的量化階(step-size)去編碼小的差值，使用大的量化階去編碼大的差值；
• 使用過去的樣本值估算下一個輸入樣本的預(yù)測值，使實(shí)際樣本值和預(yù)測值之間的差值總是最小。

（六）線性預(yù)測編碼(LPC)

基本思想：聲道是惰性腔體，不可能發(fā)生突變，因而話音信號具有短時間內(nèi)的相關(guān)性。

通過分析話音波形來產(chǎn)生聲道參數(shù)，對聲音波形的編碼就轉(zhuǎn)化為對這些參數(shù)的編碼，這就使聲音的數(shù)據(jù)量大大減少。

過程：線性預(yù)測器是使用過去的P個樣本值來預(yù)測現(xiàn)時刻的采樣值，預(yù)測值可以用過去P個樣本值的線性組合來表示。

（七）總結(jié)

第五章 數(shù)字圖像與視頻技術(shù)

一、概述

• 光的物理性質(zhì)：波長（光速，頻率）和幅度

• 色彩的三要素, 人眼對色彩的感覺：色調(diào)(Hue)、飽和度(saturation)和亮度(Intensity)

  • 色調(diào)——波長，如紅色、綠色、藍(lán)色；冷色、暖色。
  • 飽和度——顏色的純度
  • 亮度——圖像亮度或圖像灰度

二、顏色空間

最近一百多年以來，為了滿足各種不同用途的需求，人們已經(jīng)開發(fā)了不同的顏色空間，幾乎所有的顏色空間都是從RGB顏色空間導(dǎo)出的。

顏色模型(color model)是用簡單方法描述所有顏色的一套規(guī)則和定義。顏色模型通常用顏色空間描述，可見二者為同義詞 。

• RGB：顯示器信號
• HSI：人眼識別
• YUV、YIQ、YCbCr：彩色電視信號（亮度Y和色度U、V）
• CMY、CMYK：彩色印刷（青色(Cyan)、品紅(Magenta)、黃(Yellow) ）

【注意】：顏色空間的相互轉(zhuǎn)換，尤其RGB與YUV。

三、電視制式

1、NTSC（National Television System Committee）制是最早的彩電制式。它采用正交平衡調(diào)幅的技術(shù)方式，故也稱為正交平衡調(diào)幅制。其優(yōu)點(diǎn)是解碼線路簡單、成本低。

2、SECAM制，SECAM是法文的縮寫，意為順序傳送彩色信號與存儲恢復(fù)彩色信號制，又稱行輪換調(diào)頻制。它克服了NTSC制式相位失真的缺點(diǎn)，采用時間分隔法來傳送兩個色差信號。其優(yōu)點(diǎn)是在三種制式中受傳輸中的多徑接收的影響最小，色彩最好。

3、PAL（Phase Alternation Line），正交平衡調(diào)幅逐行，倒相式簡稱逐行倒相式。采用逐行倒相正交平衡調(diào)幅的技術(shù)方法，也克服了NTSC制相位敏感造成色彩失真的缺點(diǎn)。其優(yōu)點(diǎn)是對相位偏差不敏感，并在傳輸中受多徑接收而出現(xiàn)重影彩色的影響較小，是最成功的一種彩電制式，但電視機(jī)電路和廣播設(shè)備比較復(fù)雜。

【總結(jié)】：

• 常見的視頻信號制式：PAL、NTSC和SECAM，其中PAL和NTSC是應(yīng)用最廣的

• NTSC即正交平衡調(diào)幅制，PAL為逐行倒像正交平衡調(diào)幅制，SECAM制式又稱塞康制，意為"按順序傳送彩色與存儲"

• NTSC制式的顏色模型：YIQ

• PAL制式的顏色模型：YUV

• 幀頻率為25幀/秒的電視制式有PAL、SECAM

四、圖像屬性

（1）分辨率

由圖像中每個像素的顏色、亮度等信息按照矩陣的形式緊密排列構(gòu)成。

• 圖像分辨率：每英寸長度像素點(diǎn)的數(shù)量。
• 顯示器分辯率：屏幕在橫向與縱向上顯示的點(diǎn)數(shù)：如1024768，800600。
• 位圖顯示：圖中一個像素，對應(yīng)顯示器中一個像素。

（2）圖像深度

表示每個像素的二進(jìn)制數(shù)字位數(shù)。

（3）顯示器與顏色
顯示數(shù)據(jù)容量＝水平分辨率×垂直分辨率×顯示深度

（4）真彩色、偽彩色

1位（單色）；4位（16色）；8位（2^8=256色）；

16位（64K色，高彩色）；24位（2^24=16M色，真彩色）；32位（4096M色，增強(qiáng)型真彩色）。

五、圖像格式

（1）位圖

• 由圖中每個像素的數(shù)據(jù)組成。
• 每個像素的數(shù)據(jù)包括：顏色、亮度、屬性

（2）矢量圖

• 每個矢量是一個圖形實(shí)體，它具有顏色、形狀、輪廓、大小、位置等屬性。如：點(diǎn)、圓、線，…
• 矢量屬性可以調(diào)整。如：顏色、大小、位置
• Quartus、Visio、AutoCAD等繪圖軟件都是基于矢量的系統(tǒng)。

（3）區(qū)別

• 矢量圖是根據(jù)幾何特性來繪制圖形，是用線段和曲線描述圖像
• 位圖圖像也稱為點(diǎn)陣圖像，位圖使用我們稱為像素的一格一格的小點(diǎn)來描述圖像
• 矢量圖形與分辨率無關(guān)，可以將它縮放到任意大小和以任意分辨率在輸出設(shè)備上打印出來，都不會影響清晰度；而位圖是由一個一個像素點(diǎn)產(chǎn)生，當(dāng)放大圖像時，像素點(diǎn)也放大了，但每個像素點(diǎn)表示的顏色是單一的，所以在位圖放大后就會出現(xiàn)咱們平時所見到的馬賽克狀
• 由于位圖表現(xiàn)的色彩比較豐富，所以占用的空間會很大，顏色信息越多，占用空間越大，圖像越清晰，占用空間越大；由于矢量圖形表現(xiàn)的圖像顏色比較單一，所以所占用的空間會很小
• 圖形是矢量圖，而圖像是位圖（點(diǎn)陣圖）

（4）例題

下列關(guān)于計(jì)算機(jī)圖形圖像的描述中，不正確的是（ B ）。

A. 圖像都是由一些排成行列的點(diǎn)（像素）組成，通常稱為位圖或點(diǎn)陣圖
B. 圖像的最大優(yōu)點(diǎn)是容易進(jìn)行移動、縮放、旋轉(zhuǎn)和扭曲等變換
C. 圖形是用計(jì)算機(jī)繪制的畫面，也稱矢量圖
D. 在圖形文件中只記錄生成圖的算法和圖上的某些特征點(diǎn)，數(shù)據(jù)量較少

六、靜態(tài)圖像壓縮編碼國際標(biāo)準(zhǔn)-JPEG（有損壓縮）

（一）概述

• JPEG算法：連續(xù)色調(diào),多級灰度,靜態(tài)圖像的壓縮編碼方法(彩色、灰度、靜止圖像)
• 應(yīng)用：a. 靜態(tài)圖像壓縮; b. 圖像序列的幀內(nèi)壓縮
• 目的：a. 壓縮比與圖像保真度達(dá)到較高技術(shù)水平; b.能適用于任何種類的連續(xù)色調(diào)的圖像；長寬、內(nèi)容、 復(fù)雜度、統(tǒng)計(jì)特性是不受限的； c.計(jì)算復(fù)雜性是可控制的:軟件可完成,硬件實(shí)現(xiàn)算法.
• 文件后輟名為“．jpg”或“．jpeg”。

（二）JPEG壓縮編碼算法的主要步驟

• 正向離散余弦變換(FDCT)。
• 量化(quantization)。 使圖像質(zhì)量下降的是量化。
• Z字形編碼(zigzag scan)。
• 使用差分脈沖編碼調(diào)制(DPCM)對直流系數(shù)(DC)進(jìn)行編碼。
• 使用行程長度編碼(RLE)對交流系數(shù)(AC)進(jìn)行編碼。
• 熵編碼(Huffman/算術(shù)/RLE)

（三）基于 DCT 的 JPEG 編碼中采用了哪些壓縮算法與編碼模式？

• 兩種壓縮算法：基于DCT的有損壓縮算法、基于預(yù)測技術(shù)的無損壓縮算法
• 四種編碼模式：無損模式（基于DPCM）、基準(zhǔn)模式（基于DCT，一遍掃描）、遞進(jìn)模式（基于DCT，從粗到細(xì)多遍掃描）、層次模式（含多種分辨率的2^n倍）

（四）DC 系數(shù)和 AC 系數(shù)的含義是什么？它們各有什么特點(diǎn)？

• DC = direct current = 直流系數(shù) = DCT變換F(0, 0)，特點(diǎn)：系數(shù)的數(shù)值比較大、相鄰圖像塊的數(shù)值變化不大，宜采用DPCM編碼。

• AC = alternating current =交流系數(shù) = DCT變換F(u, v)，特點(diǎn)：數(shù)值小，許多被量化為0，宜采用RLE編碼。

（五）在 JPEG 中為什么要進(jìn)行 Z 字形編碼和 RLE 編碼？

• Z字形編碼可將二維數(shù)據(jù)化為一維，且因右下方的高頻AC系數(shù)值一般較小，許多被量化為0， Z字形編碼可以將多個0連成串，而連續(xù)多個0的串宜采用RLE編碼。

七、運(yùn)動圖像壓縮編碼國際標(biāo)準(zhǔn)-MPEG（有損壓縮）

（一）概述

1、兩種技術(shù)：

• 幀內(nèi)圖像數(shù)據(jù)壓縮：采用基于DCT的壓縮，用于減少每幀圖象內(nèi)部的空間冗余度，算法與JPEG算法大致相同，相當(dāng)于靜態(tài)圖象壓縮。
• 幀間圖像數(shù)據(jù)壓縮：采用16×16宏塊運(yùn)動補(bǔ)償技術(shù)，消除幀序列的時間冗余度（幀間的空間冗余度）。

MPEG標(biāo)準(zhǔn)的視頻壓縮編碼技術(shù)主要利用了具有運(yùn)動補(bǔ)償?shù)膸g壓縮編碼技術(shù)以減小時間冗余度，利用DCT技術(shù)以減小圖象的空間冗余度，利用熵編碼減小了統(tǒng)計(jì)冗余度。

2、MPEG音頻編碼的核心：心理聲學(xué)模型，屬于混合編碼方法

3、MPEG標(biāo)準(zhǔn)：主要有MPEG-1、MPEG-2、MPEG-4、MPEG-7及MPEG-21等

• MPEG-1用于數(shù)字盒式錄音帶，VCD，MP3。

• MPEG-2用于具有演播室質(zhì)量標(biāo)準(zhǔn)清晰度電視SDTV中。主要指標(biāo)有壓縮比，圖像清晰度。

• MPEG-4用于視像電話、視像電子郵件，家庭攝影錄像，網(wǎng)絡(luò)實(shí)時影像等。

• MPEG-7可應(yīng)用于數(shù)字圖書館，例如圖象編目、音樂詞典等；多媒體查詢服務(wù)，如電話號碼簿等；廣播媒體選擇，如廣播與電視頻道選取；多媒體編輯，如個性化的電子新聞服務(wù)、媒體創(chuàng)作等。

• MPEG-21為“多媒體框架”或者“數(shù)字視聽框架”，它致力于為多媒體傳輸和使用定義一個標(biāo)準(zhǔn)化的、可互操作的和高度自動化的開放框架。

（二）MPEG的三種圖像類型

1、I幀：幀內(nèi)圖(Intrapictures,I): 隨機(jī)存取的位置,壓縮比不大;

（1）I幀只存在幀內(nèi)編碼，沒有幀間運(yùn)動估計(jì)，不用參考其它幀，所以I幀具有同步作用，付出的代價就是效率。 I幀幀內(nèi)編碼分為亮度編碼和色度編碼。 I幀亮度度分塊模式分為16X16,8X8,4X4三種模式，色度分塊模式只有一種8X8模式。

（2）三個階段:

• DCT;
• 變換系數(shù)量化(量化,Z字掃描,游程編碼)使大部分?jǐn)?shù)據(jù)得以壓縮,要求通過量化器,編碼器使之輸出一個與信道傳輸速率匹配的比特流;
• 熵編碼;

2、P幀：預(yù)測幀(Predicted pictures,P): 用先前幀I或P參考預(yù)測;

P幀圖像的編碼是以圖像宏塊(macroblock)為基本單元，先求兩個宏塊中相應(yīng)像素值之差，對所求得的差值進(jìn)行彩色空間轉(zhuǎn)換，并通過子采樣得到Y(jié)，Cb和Cr分量值，然后仿照J(rèn)PEG壓縮算法對差值進(jìn)行編碼，計(jì)算出的運(yùn)動矢量也要進(jìn)行霍夫曼編碼。

3、B幀：插補(bǔ)幀即雙向預(yù)測幀(Bidirectional Prediction Pictures,B): 壓縮效果顯著,預(yù)測時需要先前和后續(xù)的信息，B不能作其他幀的預(yù)測參考幀。

4、一些問題

（1）MPEG定義了哪三種圖像？它們的含義各是什么？

• MPEG定義了幀內(nèi)圖像，預(yù)測圖像和雙向預(yù)測圖像這三種圖像。

• 幀內(nèi)圖像不參考任何過去的或者將來的其他圖像幀。預(yù)測圖像需要過去的圖像幀來進(jìn)行預(yù)測編碼。雙向預(yù)測圖像需過去與未來的幀來插值編碼。

（2）預(yù)測圖像 P 使用哪兩類參數(shù)表示？

• 當(dāng)前要編碼的圖像宏塊與參考圖像的宏塊之間的差值

• 宏塊的移動矢量

（3）簡述 MPEG 的數(shù)據(jù)流結(jié)構(gòu)及 MPEG 中的宏塊的構(gòu)成。

• MPEG 的數(shù)據(jù)流結(jié)構(gòu)分為序列層，圖像組層，圖像層，片層，宏塊層，塊層。

• MPEG中，一個宏塊由一個16×16亮度信息和兩個8×8的色度信息構(gòu)成。

（4）在 MPEG 等視頻編碼算法中，運(yùn)動補(bǔ)償?shù)暮x和目的， MPEG-Video 在空間和時間方向上分別采用的是什么壓縮方法？

• 運(yùn)動補(bǔ)償是通過先前的局部圖像來預(yù)測、補(bǔ)償當(dāng)前的局部圖像。它的目的是減少幀序列的冗余信息。

• MPEG-Vide在空間上采用JPEG壓縮算法來去掉冗余信息。在時間上，采用運(yùn)動補(bǔ)償算法來去掉冗余信息。

八、彩色電視圖像子采樣的格式

圖像子采樣：對亮度信號和色差信號分別采用不同的采樣頻率進(jìn)行采樣。

（一）4:4:4 YCbCr格式

這種采樣格式不是子采樣格式，它是指在每條掃描線上每4個連續(xù)的采樣點(diǎn)取4個亮度Y樣本、4個紅色差Cr樣本和4個藍(lán)色差Cb樣本，這就相當(dāng)于每個像素用3個樣本表示。對于消費(fèi)類和計(jì)算機(jī)應(yīng)用，每個分量的每個樣本精度為8比特；對于編輯類應(yīng)用，每個分量的每個樣本的精度為10比特。因此每個像素的樣本需要24比特或者30比特。

（二）4:2:2 YCbCr 格式

這種子采樣格式是指在每條掃描線上每4個連續(xù)的采樣點(diǎn)取4個亮度Y樣本、2個紅色差Cr樣本和2個藍(lán)色差Cb樣本，平均每個像素用2個樣本表示。對于消費(fèi)類和計(jì)算機(jī)應(yīng)用，每個分量的每個樣本的精度為8比特；對于編輯類應(yīng)用，每個分量的每個樣本精度為10比特。因此每個像素的樣本需要16比特或者20比特。在幀緩存中，每個樣本需要16比特或者20比特。顯示像素時，對于沒有Cr和Cb的Y樣本，使用前后相鄰的Cr和Cb樣本進(jìn)行計(jì)算得到的Cr和Cb樣本。

（三）4:1:1 YCbCr 格式

這種子采樣格式是指在每條掃描線上每4個連續(xù)的采樣點(diǎn)取4個亮度Y樣本、1個紅色差Cr樣本和1個藍(lán)色差Cb樣本，平均每個像素用1.5個樣本表示。顯示像素時，對于沒有Cr和Cb的Y樣本，使用前后相鄰的Cr和Cb樣本進(jìn)行計(jì)算得到該Y樣本的Cr和Cb樣本。這是數(shù)字電視磁帶（DVC ，digital video cassette）上使用的格式。

（四）4:2:0 YCbCr 格式

這種子采樣格式是指在水平和垂直方向上每2個連續(xù)的采樣點(diǎn)上取2個亮度Y樣本、1個紅色差Cr樣本和1個藍(lán)色差Cb樣本，平均每個像素用1.5個樣本表示。在實(shí)際實(shí)現(xiàn)時，有兩種略為不同的形式。

（五）例題

一幅 YUV 彩色圖象的分辨率為 352*288，采用 4： 2：2 格式,計(jì)算采樣時的樣本數(shù)。

解：4:2:2時平均每個像素用2個樣本表示，就是說3522882就行了。

第六章 多媒體通信與網(wǎng)絡(luò)

一、學(xué)習(xí)目標(biāo)

1、多媒體通信的網(wǎng)絡(luò)環(huán)境

2、多媒體通信的服務(wù)質(zhì)量(QoS)

3、多媒體通信協(xié)議

二、概述

1、多媒體網(wǎng)絡(luò)是計(jì)算機(jī)網(wǎng)絡(luò)；電話網(wǎng)絡(luò)、電視網(wǎng)絡(luò)可以作為計(jì)算機(jī)網(wǎng)絡(luò)的接入網(wǎng)絡(luò)。

2、能夠傳輸聲音、圖像、視頻的數(shù)據(jù)網(wǎng)絡(luò)。

3、普通數(shù)據(jù)通信關(guān)注準(zhǔn)確性；多媒體通信更強(qiáng)調(diào)帶寬、同步、延時等，準(zhǔn)確性不是首要問題。

3、多媒體網(wǎng)絡(luò)涉及網(wǎng)絡(luò)操作系統(tǒng)、傳輸媒體、網(wǎng)絡(luò)設(shè)備。

4、重要協(xié)議：實(shí)時傳輸協(xié)議RTP、實(shí)時控制協(xié)議RTCP、資源保留設(shè)置協(xié)議RSVP、實(shí)時流媒體播放協(xié)議RTSP。

三、網(wǎng)絡(luò)上的交換技術(shù)

1、線路交換網(wǎng)絡(luò)(circuit-switched networks)

• 通信之前雙方由交換中心建立物理連接，維持連接的時間長短取決于信息交換的需要。

2、分組(包)交換網(wǎng)絡(luò)(packet-switched networks)

• 發(fā)送端把長消息分割成較小的數(shù)據(jù)包后，使用存儲轉(zhuǎn)發(fā)方法(store and forward) 發(fā)到輸出鏈路上。

四、各層上的部分協(xié)議

• HTTP(HyperText Transfer Protocol)超文本傳輸協(xié)議
• FTP(File Transfer Protocol) 文件傳輸協(xié)議
• SSH(Secure Shell) SSH安全登錄協(xié)議(取代Telnet)
• SMTP(Simple Message Transfer Protocol) 簡單郵件傳輸協(xié)議
• TFTP(Trivial File Transfer Protocol) 普通文件傳輸協(xié)議。TFTP不能目錄瀏覽只能文件發(fā)送和接收。
• DNS(Domain Name System) 域名系統(tǒng)：域名和IP地址相互映射。http://202.108.22.5/ 和 www.baidu.com效果相同。
• NFS(Network File System) 網(wǎng)絡(luò)文件系統(tǒng)

五、多媒體通信的性能需求

1、吞吐量需求

網(wǎng)絡(luò)吞吐量是指有效的網(wǎng)絡(luò)帶寬，通常定義成物理鏈路的傳輸速率減去各種傳輸開銷，以及網(wǎng)絡(luò)沖突、瓶頸、擁塞和差錯等開銷，它反映了網(wǎng)絡(luò)的最大極限容量。

2、可靠性需求

差錯率（Error Rate）是一種重要的性能指標(biāo)，反映了網(wǎng)絡(luò)傳輸?shù)目煽啃浴?/p>

3、延時需求

延時（Delay）是衡量網(wǎng)絡(luò)性能的重要參數(shù)。主要有傳播延時、發(fā)送延時、處理延時、排隊(duì)延時等。

4、延時抖動

5、同步需求

流間需求，流內(nèi)需求

6、服務(wù)可用性(service availability)

六、多媒體通信的服務(wù)質(zhì)量

1、服務(wù)質(zhì)量(Quality of Service，QoS)是一種抽象概念，用于說明網(wǎng)絡(luò)服務(wù)的“好壞”程
度。

2、分類：確定型QoS、統(tǒng)計(jì)型QoS、盡力型QoS

3、QoS參數(shù)：吞吐量、延時、延時抖動、差錯率、服務(wù)可用性

4、IETF提出了兩種QoS保證機(jī)制，一是由RSVP提供的保證型服務(wù)；二是在區(qū)分服務(wù)（DiffServ，DS）中定義的區(qū)分型服務(wù)。

• 保證型服務(wù)具有面向連接的特性，并通過QoS 協(xié)商、接納控制、保留帶寬和實(shí)時調(diào)度等機(jī)制來實(shí)現(xiàn)。
• 區(qū)分型服務(wù)具有無連接的特性，主要通過緩沖管理和優(yōu)先級調(diào)度機(jī)制來實(shí)現(xiàn)，而無需進(jìn)行QoS協(xié)商和保留帶寬等控制

七、多媒體通信協(xié)議

（一）網(wǎng)絡(luò)層的IPv6

（二）傳輸層的RSVP

• RSVP協(xié)議允許應(yīng)用程序?yàn)樗鼈兊臄?shù)據(jù)流保留帶寬。主機(jī)使用RSVP向網(wǎng)絡(luò)請求保留一個特定量的帶寬，路由器也使用RSVP協(xié)議轉(zhuǎn)發(fā)帶寬請求。為了執(zhí)行RSVP協(xié)議，在接收端、發(fā)送端和路由器中都必需要有執(zhí)行RSVP協(xié)議的軟件。

• RSVP是傳輸層的協(xié)議

• RSVP是信令協(xié)議

• RSVP是接收端啟動的協(xié)議

（三）應(yīng)用層的RTP、RTCP、RTSP

1、實(shí)時運(yùn)輸協(xié)議 RTP (Real-time Transport Protocol)

• 應(yīng)用：RTP廣泛應(yīng)用于流媒體通信，電話、視頻會議、電視。
• RTP 為實(shí)時應(yīng)用提供端到端的運(yùn)輸，但不提供任何服務(wù)質(zhì)量的保證。
  多媒體數(shù)據(jù)塊經(jīng)壓縮編碼處理后，先送給 RTP 封裝成為 RTP 分組，再裝入運(yùn)輸層的 UDP 用戶數(shù)據(jù)報，然后再交給 IP 層。
• RTP 是一個協(xié)議框架，只包含了實(shí)時應(yīng)用一些共同的功能。
• RTP 自己并不對多媒體數(shù)據(jù)塊做任何處理，而只是向應(yīng)用層提供一些附加的信息，讓應(yīng)用層知道應(yīng)當(dāng)如何進(jìn)行處理。

2、實(shí)時運(yùn)輸控制協(xié)議 RTCP (RTP Control Protocol)

• RTCP 是與 RTP 配合使用的協(xié)議。
• RTCP的主要功能是為應(yīng)用程序提供會話質(zhì)量或者廣播性能質(zhì)量的信息。
• 每個RTCP信息包不封裝聲音數(shù)據(jù)或者電視數(shù)據(jù)，而是封裝發(fā)送端和/或者接收端的統(tǒng)計(jì)報表。這些信息包括發(fā)送的信息包數(shù)目、丟失的信息包數(shù)目和信息包的抖動等情況，這些反饋信息對發(fā)送端、接收端或者網(wǎng)絡(luò)管理員都是很有用的。
  每個參與者周期性地發(fā)送RTCP控制信息包 ，它帶有發(fā)送端和接收端對服務(wù)質(zhì)量的統(tǒng)計(jì)信息報告。
• RTCP 分組與RTP均使用 UDP 傳送
• 可將多個 RTCP 分組封裝在一個 UDP 用戶數(shù)據(jù)報中
• RTCP一般控制在會話帶寬的5%之內(nèi)

3、實(shí)時流播協(xié)議 RTSP—應(yīng)用層

• RTSP協(xié)議以客戶/服務(wù)器方式工作，它是一個多媒體播放控制協(xié)議，使得用戶在播放從因特網(wǎng)實(shí)時數(shù)據(jù)時能夠進(jìn)行控制，如：暫停/繼續(xù)、后退、前進(jìn)等。因此 RTSP 又稱為“因特網(wǎng)錄像機(jī)遙控協(xié)議”。
• 應(yīng)用層協(xié)議，RTSP描述了與RTP間的交互操作。RTSP控制RTP會話的協(xié)議，使得實(shí)時流媒體數(shù)據(jù)的受控和點(diǎn)播變得可能。
• RTSP可以對流媒體提供諸如播放、暫停、快進(jìn)等12種操作，它負(fù)責(zé)定義具體的控制消息、操作方法、狀態(tài)碼等。
• 主要用來控制具有實(shí)時特性的數(shù)據(jù)發(fā)送，但它本身并不傳輸數(shù)據(jù)，而是必須依賴于下層傳輸協(xié)議所提供的某些服務(wù)。

總結(jié)

以上是生活随笔為你收集整理的【期末复习】多媒体技术的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。