前言

即時通訊應(yīng)用中的實(shí)時音視頻技術(shù)，幾乎是IM開發(fā)中的最后一道高墻。原因在于：實(shí)時音視頻技術(shù) = 音視頻處理技術(shù) + 網(wǎng)絡(luò)傳輸技術(shù) 的橫向技術(shù)應(yīng)用集合體，而公共互聯(lián)網(wǎng)不是為了實(shí)時通信設(shè)計(jì)的。

系列文章

本文是系列文章中的第2篇，本系列文章的大綱如下：
?

• 《即時通訊音視頻開發(fā)（一）：視頻編解碼之理論概述》
• 《即時通訊音視頻開發(fā)（三）：視頻編解碼之編碼基礎(chǔ)》

1. 什么是圖像？什么是視頻？

圖像：
是人對視覺感知的物質(zhì)再現(xiàn)。三維自然場景的對象包括：深度，紋理和亮度信息。二維圖像：紋理和亮度信息。

視頻：
連續(xù)的圖像。視頻由多幅圖像構(gòu)成，包含對象的運(yùn)動信息，又稱為運(yùn)動圖像。

2. 何為數(shù)字視頻？

數(shù)字視頻可以理解為自然場景空間和時間的數(shù)字采樣表示。

空間采樣的主要技術(shù)指標(biāo)為：解析度（Resolution）

時間采樣的主要技術(shù)指標(biāo)為：幀率（幀/秒）

3. 數(shù)字視頻系統(tǒng)的構(gòu)成和運(yùn)行原理

?

• 采集：照相機(jī)，攝像機(jī)。
• 處理：編解碼器，傳輸設(shè)備
• 顯示：顯示器。

5. 人類視覺系統(tǒng)HVS

HVS的構(gòu)成：

• 眼睛
• 神經(jīng)
• 大腦、

?

HVS特點(diǎn)：

• 對高頻信息不敏感
• 對高對比度更敏感
• 對亮度信息比色度信息更敏感
• 對運(yùn)動的信息更敏感

6. 針對HVS的特點(diǎn)，數(shù)字視頻系統(tǒng)的設(shè)計(jì)應(yīng)該考慮哪些因素？

?

• 丟棄高頻信息，只編碼低頻信息
• 提高邊緣信息的主觀質(zhì)量
• 降低色度的解析度
• 對感興趣區(qū)域（Region of Interesting，ROI）進(jìn)行特殊處理

7. 什么是RGB色彩空間？

三原色分別是紅（R），綠（G），藍(lán)（B）。任何顏色都可以通過按一定比例混合三原色產(chǎn)生。

RGB色度空間：

• 由RGB三原色組成
• 廣泛用于BMP，TIFF，PPM等
• 每個色度成分通常用8bit表示[0,255]

8. 什么是YUV色彩空間？

YUV色彩空間是指，Y：亮度分量，UV：兩個色度分量。YUV能更好的反映HVS特點(diǎn)。

9. RGB如何轉(zhuǎn)化到Y(jié)UV空間？

亮度分量Y與三原色有如下關(guān)系：
?

經(jīng)過大量實(shí)驗(yàn)后ITU-R給出了：
?????????
?

主流的編解碼標(biāo)準(zhǔn)的壓縮對象都是YUV圖像。

10. 何為YUV圖像分量采樣？

YUV圖像可以根據(jù)HVS的特點(diǎn)，對色度進(jìn)行分量采樣，可以降低視頻數(shù)據(jù)量。

根據(jù)亮度和色度分量的采樣比率，YUV圖像通常有以下幾種分量方式：

11. 通用的YUV圖像格式有哪些？

根據(jù)YUV圖像的亮度、分辨率定義了如下圖像格式：

12. 如何理解幀和場圖像？

一幀圖像包括兩場——頂場，底場：

13. 逐行與隔行圖像

逐行圖像是指：一幀圖像的兩場在同一時間得到，ttop=tbot。
隔行圖像是指：一幀圖像的兩場在不同時間得到， ttop≠tbot。

網(wǎng)易云信，你身邊的即時通訊和音視頻技術(shù)專家，了解我們，請戳網(wǎng)易云信官網(wǎng)

想要行業(yè)洞察和技術(shù)干貨，請關(guān)注網(wǎng)易云信博客

本文轉(zhuǎn)載自52im,作者：JackJiang

總結(jié)

以上是生活随笔為你收集整理的即时通讯音视频开发（二）：视频编解码之数字视频介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。