前言

即時通訊應用中的實時音視頻技術，幾乎是IM開發中的最后一道高墻。原因在于：實時音視頻技術 = 音視頻處理技術 + 網絡傳輸技術 的橫向技術應用集合體，而公共互聯網不是為了實時通信設計的。

系列文章

• 《即時通訊音視頻開發（二）：視頻編解碼之數字視頻介紹》
• 《即時通訊音視頻開發（三）：視頻編解碼之編碼基礎》

視頻為何需要壓縮？

• 未經壓縮的數字視頻的數據量巨大
• 存儲困難：一張DVD只能存儲幾秒鐘的未壓縮數字視頻。
• 傳輸困難?1兆的帶寬傳輸一秒的數字電視視頻需要大約4分鐘。

主要壓縮了什么東西？

原始視頻壓縮的目的是去除冗余信息，可以去除的冗余包括：

• ?
• 空間冗余：圖像相鄰像素之間有較強的相關性
• 時間冗余：視頻序列的相鄰圖像之間內容相似
• 編碼冗余：不同像素值出現的概率不同
• 視覺冗余：人的視覺系統對某些細節不敏感
• 知識冗余：規律性的結構可由先驗知識和背景知識得到

數據壓縮是怎么分類的？

• ?
• 無損壓縮（Lossless）：壓縮前、解壓縮后圖像完全一致X=X'，壓縮比低(2:1~3:1)。典型格式例如：Winzip，JPEG-LS。
• 有損壓縮（Lossy）：壓縮前解壓縮后圖像不一致X≠X'，壓縮比高(10:1~20:1)，利用人的視覺系統的特性。典型格式例如：MPEG-2，H.264/AVC，AVS。

什么是“編解碼器”？

?

• ?
• 編碼器（Encoder）：壓縮信號的設備或程序；
• 解碼器（Decoder）：解壓縮信號的設備或程序；
• 編解碼器(Codec)：編解碼器對。

編解碼的技術流程和原理

?

1編碼器中的關鍵技術

編解碼中的關鍵技術

編解碼器的實現

編解碼器的實現平臺：

• ?
• 超大規模集成電路VLSI
• ASIC， FPGA
• 數字信號處理器DSP
• 軟件

編解碼器產品：

• ?
• 機頂盒
• 數字電視
• 攝像機
• 監控器

?

視頻編碼的標準

編碼標準作用：
?

• ?
• 兼容：不同廠家生產的編碼器壓縮的碼流能夠被不同廠家的解碼器解碼
• 高效：標準編解碼器可以進行批量生產，節約成本。

主流的視頻編碼標準：
?

• ?
• MPEG-2
• MPEG-4 Simple Profile
• H.264/AVC
• AVS
• VC-1

標準化組織：
?

• ?
• ITU：International Telecommunications Union
• VECG：Video Coding Experts Group
• ISO：International Standards Organization
• MPEG：Motion Picture Experts Group

視頻傳輸

?

• ?
• 視頻傳輸：通過傳輸系統將壓縮的視頻碼流從編碼端傳輸到解碼端
• 傳輸系統：互聯網，地面無線廣播，衛星

視頻傳輸面臨的問題

傳輸系統不可靠：

• ?
• 帶寬限制
• 信號衰減
• 噪聲干擾
• 傳輸延遲

視頻傳輸出現的問題：

• ?
• 不能解碼出正確的視頻
• 視頻播放延遲

視頻傳輸差錯控制

差錯控制（Error Control）解決視頻傳輸過程中由于數據丟失或延遲導致的問題。

差錯控制技術有：

• ?
• 信道編碼差錯控制技術
• 編碼器差錯恢復
• 解碼器差錯隱藏

視頻傳輸中QoS質量保證參數

• ?
• 數據包的端到端的延遲
• 帶寬：比特/秒
• 數據包的流失率
• 數據包的延遲時間的波動

網易云信，你身邊的即時通訊和音視頻技術專家，了解我們，請戳網易云信官網

想要行業洞察和技術干貨，請關注網易云信博客

本文轉載自52im,作者：JackJiang

總結

以上是生活随笔為你收集整理的即时通讯音视频开发（一）：视频编解码之理论概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。