HEVC編碼結(jié)構(gòu)簡要總結(jié)

感謝原創(chuàng)轉(zhuǎn)載自 ：https://blog.csdn.net/qq_21506301/article/details/107289576?spm=1001.2014.3001.5501

第1章 編碼結(jié)構(gòu)

1.1 視頻編碼標(biāo)準(zhǔn)簡介

視頻編碼標(biāo)準(zhǔn)只是規(guī)定了編碼碼流的語法語義和解碼器，只要求視頻編碼后的碼流符合標(biāo)準(zhǔn)的語法結(jié)構(gòu)，解碼器就可以根據(jù)碼流的語法語義進(jìn)行正常解碼。因此，符合某個(gè)視頻編碼標(biāo)準(zhǔn)的編碼器是有很大自由度的，只要編碼后的碼流符合標(biāo)準(zhǔn)的規(guī)定即可。

在編碼器輸出的碼流中，數(shù)據(jù)的基本單位是語法元素，每個(gè)語法元素由若干比特組成，它表征了某個(gè)特定的物理意義，如預(yù)測(cè)類型、量化參數(shù)等。視頻編碼標(biāo)準(zhǔn)的語法規(guī)定了各個(gè)語法元素的組織結(jié)構(gòu)，而語義則闡述了語法元索的具體含義。編碼器輸出的比特碼流中，每比特都隸屬于某個(gè)語法元素，每個(gè)語法元素在標(biāo)準(zhǔn)中都有相應(yīng)的解釋。可見，視頻編碼標(biāo)準(zhǔn)規(guī)定了編碼后碼流的語法語義，也就闡明了從比特流提取語法元素并進(jìn)行解釋的方法，也就是視頻的解碼過程。

1.1.1 HEVC的提出背景

隨著數(shù)字視頻應(yīng)用產(chǎn)業(yè)鏈的快速發(fā)展，視頻應(yīng)用向以下幾個(gè)方向發(fā)展的趨勢(shì)愈加明顯：

• 高清晰度(Higher Definition)：數(shù)字視頻的應(yīng)用格式從720p向1080p全面升級(jí)，在一些視頻應(yīng)用領(lǐng)域甚至出現(xiàn)了4K×2K、8K×4K的數(shù)字視頻格式；

• 高幀率(Higher Frame Rate)：數(shù)字視頻幀率從30fps向60fps、120fps甚至240fps的應(yīng)用場(chǎng)景升級(jí)；

• 高壓縮率(Higher Compression Rate)：傳輸帶寬和存儲(chǔ)空間一直是視頻應(yīng)用中最為關(guān)鍵的資源，因此，在有限的空間和管道中獲得最佳的視頻體驗(yàn)一直是用戶的不懈追求。

如果繼續(xù)采用H.264編碼就出現(xiàn)的如下一些局限性：

• 宏塊個(gè)數(shù)的爆發(fā)式增長，會(huì)導(dǎo)致用于編碼宏塊的預(yù)測(cè)模式、運(yùn)動(dòng)矢量、參考幀索引和量化級(jí)等宏塊級(jí)參數(shù)信息所占用的碼字過多，用于編碼殘差部分的碼字明顯減少。

• 由于分辨率的大大增加，單個(gè)宏塊所表示的圖像內(nèi)容的信息大大減少，這將導(dǎo)致相鄰的4×4或8×8塊變換后的低頻系數(shù)相似程度也大大提高，導(dǎo)致出現(xiàn)大量的冗余。

• 由于分辨率的大大增加，表示同一個(gè)運(yùn)動(dòng)的運(yùn)動(dòng)矢量的幅值將大大增加，H.264中采用一個(gè)運(yùn)動(dòng)矢量預(yù)測(cè)值，對(duì)運(yùn)動(dòng)矢量差編碼使用的是哥倫布指數(shù)編碼，該編碼方式的特點(diǎn)是數(shù)值越小使用的比特?cái)?shù)越少。因此，隨著運(yùn)動(dòng)矢量幅值的大幅增加，H.264中用來對(duì)運(yùn)動(dòng)矢量進(jìn)行預(yù)測(cè)以及編碼的方法壓縮率將逐漸降低。

• H.264的一些關(guān)鍵算法例如采用CAVLC和CABAC兩種基于上下文的熵編碼方法、deblock濾波等都要求串行編碼，并行度比較低。針對(duì)GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的這種串行化處理越來越成為制約運(yùn)算性能的瓶頸。

因此，市場(chǎng)需要比H.264/MPEG-4 AVC更高效的視頻編碼標(biāo)準(zhǔn)。在這樣的背景下，HEVC作為新一代的視頻編碼標(biāo)準(zhǔn)應(yīng)運(yùn)而生，HEVC(High Efficiency Video Coding)是由ITU-T的VCEG(Video Coding Expert Group)和ISO/IEC的MPEG(Moving Picture Experts Group)聯(lián)合開發(fā)，合作開發(fā)組稱為JCT-VC(Joint Collaborative Team on Video Coding)，JCT-VC從2010年4月開始第一次會(huì)議，從世界各大公司、高校和研究機(jī)構(gòu)征集新標(biāo)準(zhǔn)的提案，在2013年1月發(fā)布了HEVC的第一版，確定了HEVC的基本框架和內(nèi)容，之后HEVC仍會(huì)不斷擴(kuò)展其內(nèi)容和功能以適應(yīng)不同場(chǎng)景的應(yīng)用需求，如對(duì)多種顏色空間格式的支持，SCC(Screen Content Coding)，3D視頻編碼，可伸縮視頻編碼等。ISO/IEC將會(huì)把HEVC稱為MPEG-H Part2 (ISO/IEC 23008-2)，ITU-T可能會(huì)把HEVC稱為H.265。

圖 視頻編碼標(biāo)準(zhǔn)發(fā)展進(jìn)程

圖 碼率壓縮趨勢(shì)

圖 各視頻編碼標(biāo)準(zhǔn)的率失真性能

1.1.2 AVS和HEVC關(guān)鍵特性對(duì)比

相對(duì)于AVS，HEVC標(biāo)準(zhǔn)的算法復(fù)雜性有了大幅提升，以此獲得較好的壓縮性能，這源于HEVC在很多特性上都做了較大的改進(jìn)：

表 AVS和HEVC關(guān)鍵特性對(duì)比

1.2 HEVC的分層結(jié)構(gòu)與編碼方式

HEVC的設(shè)計(jì)目標(biāo)是在同等圖像質(zhì)量下，比H.264/AVC的比特率降低50%，其設(shè)計(jì)側(cè)重點(diǎn)主要有兩個(gè)方面，即針對(duì)高分辨率視頻和增加并行處理結(jié)構(gòu)的運(yùn)用。和以前的ITU-T和ISO/IEC開發(fā)的視頻標(biāo)準(zhǔn)一樣，HEVC采用了基于分塊結(jié)構(gòu)的混合編碼流程，包括預(yù)測(cè)、變換、量化、熵編碼、環(huán)路濾波，但HEVC幾乎在每個(gè)模塊都引入了新的編碼技術(shù)。

圖 HEVC視頻編碼器

• 幀內(nèi)預(yù)測(cè)：去除空間相關(guān)性。利用同一幀中的重構(gòu)塊預(yù)測(cè)當(dāng)前塊。具有35種預(yù)測(cè)模式。

• 幀間預(yù)測(cè)：去除時(shí)間相關(guān)性。利用已編碼的幀作為當(dāng)前幀的參考圖像，來獲得當(dāng)前幀各個(gè)塊的運(yùn)動(dòng)信息。包括了分層B幀預(yù)測(cè)結(jié)構(gòu)，單向、雙向預(yù)測(cè)。

• 變換量化：通過對(duì)殘差數(shù)據(jù)進(jìn)行變換量化以去除頻域相關(guān)性，有損壓縮。變換使圖像從時(shí)域變換到頻域，將能量集中到低頻區(qū)域。量化減小圖像編碼的動(dòng)態(tài)范圍。變換和量化原理上屬于兩個(gè)獨(dú)立的過程，但HEVC中，這兩個(gè)過程相互結(jié)合，減少了計(jì)算復(fù)雜度。

• 去方塊濾波：基于塊的編碼中，重構(gòu)圖像會(huì)出現(xiàn)塊效應(yīng)，去方塊濾波可以消弱塊效應(yīng)，提高圖像主觀質(zhì)量和壓縮效率。

• 樣點(diǎn)自適應(yīng)補(bǔ)償：SAO濾波處于方塊濾波之后，通過解析去方塊濾波后的像素的統(tǒng)計(jì)特性，為像素添加相應(yīng)的偏移值，可以在一定程度上消弱振鈴效應(yīng)，提高圖像主觀質(zhì)量和壓縮效率。

• 熵編碼：將編碼控制數(shù)據(jù)、量化變換系數(shù)、幀內(nèi)預(yù)測(cè)數(shù)據(jù)、運(yùn)動(dòng)數(shù)據(jù)等編碼為二進(jìn)制碼流進(jìn)行存儲(chǔ)或傳輸。HEVC采用CABAC進(jìn)行熵編碼，引入并行處理框架，在速度、壓縮和內(nèi)存占用等方面有了大幅改善。

1.2.1 視頻編碼層(VLC)

圖 HEVC編碼結(jié)構(gòu)框圖

與H.264/AVC相同，HEVC在編碼結(jié)構(gòu)上也分為視頻編碼層(Video Coding Layer, VCL)和網(wǎng)絡(luò)適配層(Network Abstraction Layer, NAL)。前者獨(dú)立于網(wǎng)絡(luò)，主要包括核心的視頻壓縮引擎和圖像分塊的語法定義。后者主要是定義數(shù)據(jù)的封裝格式，把VCL產(chǎn)生的比特字符串適配到各種各樣的網(wǎng)絡(luò)環(huán)境中。

原始視頻經(jīng)過VCL層，被編碼成視頻數(shù)據(jù)，然后經(jīng)過NAL層，封裝成一個(gè)個(gè)NAL包以適應(yīng)不同網(wǎng)絡(luò)的視頻傳輸。HEVC碼流在應(yīng)用過程中與H.264/AVC碼流的區(qū)別就在于NAL層，具體情況見網(wǎng)絡(luò)適配層章節(jié)。

HEVC視頻編碼層沿用以往視頻標(biāo)準(zhǔn)的混合編碼方式，它的輸入是原始視頻，輸出為符合HEVC標(biāo)準(zhǔn)的比特流，簡要編碼過程如下。

圖 HEVC視頻編碼層(VLC)

1. 將每一幀圖像劃分為不同大小的圖像塊單元，并將相應(yīng)的塊劃分信息加入到碼流中，傳到解碼器。

2. 對(duì)每個(gè)單元進(jìn)行幀內(nèi)或幀間預(yù)測(cè)，原始像素值和預(yù)測(cè)值相減形成該單元的殘差；在幀間預(yù)測(cè)時(shí)需要進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，對(duì)需要用到的重建圖像事先要進(jìn)行去方塊濾波和自適應(yīng)樣值補(bǔ)償(SAO)濾波。

3. 對(duì)每個(gè)單元的殘差進(jìn)行整數(shù)變換(近似離散余弦變換或正弦變換)，對(duì)形成變換系數(shù)進(jìn)行量化和掃描。

4. 對(duì)量化后的變換系數(shù)、預(yù)測(cè)信息、模式信息、運(yùn)動(dòng)信息和頭信息等進(jìn)行熵編碼，形成壓縮的視頻碼流(語法元素)輸出。

解碼過程基本上和編碼過程相反。

1.2.2 網(wǎng)絡(luò)適配層(NAL)與參數(shù)集

HEVC網(wǎng)絡(luò)適配層(NAL)包含了大量的從H.264/AVC的NAL繼承來的語法元素。HEVC的VCL層產(chǎn)生的每個(gè)語法結(jié)構(gòu)都會(huì)被放進(jìn)網(wǎng)絡(luò)適配層(NAL)單元的數(shù)據(jù)包中。NAL單元的頭部容量從H.264/AVC的單字節(jié)擴(kuò)充為兩個(gè)字節(jié)，增加的內(nèi)容主要用于標(biāo)識(shí)它所裝載數(shù)據(jù)的類型。NAL單元根據(jù)是否裝載有編碼視頻或其他相關(guān)數(shù)據(jù)而分為VCL NAL單元和non-VCL NAL單元兩類。HEVC標(biāo)準(zhǔn)中，還包括了為解碼器初始化和隨機(jī)接入的目的而識(shí)別圖像分類的若干VCL NAL單元類型。

NAL單元負(fù)責(zé)把視頻編碼層(VCL)表示視頻內(nèi)容的數(shù)據(jù)映射到不同傳輸層上，如RTP/IP、ISO MP4、H.222.0/MPEG-2系統(tǒng)等，并提供丟包恢復(fù)處理機(jī)制。

圖 HEVC壓縮碼流結(jié)構(gòu)

在碼流結(jié)構(gòu)方面，H.265/HEVC壓縮數(shù)據(jù)采用了類似于H.264/AVC的分層結(jié)構(gòu)，將屬于GOP層、Slice層中共用的大部分語法元素游離出來，組成序列參數(shù)集(Sequence Parameter Set, SPS)和圖像參數(shù)集(Picture Parameter Set, PPS)。SPS包含一個(gè)CVS(Coded Video Sequence)中所有圖像共用的信息，其中CVS被定義為一個(gè)GOP編碼后所生成的壓縮數(shù)據(jù)。SPS的內(nèi)容大致包括解碼相關(guān)信息，如檔次級(jí)別、分辨率、某檔次中編碼工具開關(guān)標(biāo)識(shí)和涉及的參數(shù)、時(shí)域可分級(jí)信息等。PPS包含一幅圖像所用的公共參數(shù)，即一輻圖像中所有SS(Slice Segment)引用同一個(gè)PPS，其大致內(nèi)容包括初始圖像控制信息，如初始量化參數(shù)(Quantization Parameter,QP)、分塊信息等。此外，為了兼容標(biāo)準(zhǔn)在其他應(yīng)用上的擴(kuò)展，例如可分級(jí)視頻編碼器、多視點(diǎn)視頻編碼器，H.265/HEVC的語法架構(gòu)中增加了視頻參數(shù)集(Video Parameter Set, VPS)，其內(nèi)容大致包括多個(gè)子層共享的語法元素，其他不屬于SPS的特定信息等。對(duì)于一個(gè)SS，通過引用它所使用的PPS，該P(yáng)PS又引用其對(duì)應(yīng)的SPS，該SPS又引用它對(duì)應(yīng)的VPS,最終得到SS的公用信息。

詳細(xì)的NAL單元類型列表以及對(duì)NAL設(shè)計(jì)的一般概念，如NAL單元、參數(shù)集、存取單元、碼流格式、包格式等見網(wǎng)絡(luò)適配層章節(jié)。

1.2.3 編碼結(jié)構(gòu)與配置

為了應(yīng)對(duì)不同應(yīng)用場(chǎng)合，HEVC設(shè)立了GOP的3種編碼結(jié)構(gòu)，即全幀內(nèi)(AI)編碼、低延時(shí)(LD)編碼和隨機(jī)訪問(RA)編碼。

• 在全幀內(nèi)(All Intra)編碼結(jié)構(gòu)中，每一幀圖像都是按幀內(nèi)方式進(jìn)行空間域預(yù)測(cè)編碼，不使用時(shí)間參考幀。
  

圖 AI編碼結(jié)構(gòu)

• 在低時(shí)延(Low Delay)編碼結(jié)構(gòu)中，只有第一幀圖像按照幀內(nèi)方式進(jìn)行編碼，并成為及時(shí)解碼刷新(Instantaneous Decoding Refresh, IDR)幀，隨后的各幀都作為普通P和B幀(Generalized P and B picture, GPB )進(jìn)行編碼。主要是為交互式實(shí)時(shí)通信設(shè)計(jì)的。

圖 LD編碼結(jié)構(gòu)

• 隨機(jī)訪問(Random Access)編碼結(jié)構(gòu)主要由分級(jí)B幀構(gòu)成(Hierarchical B)，周期性地(大約每隔1秒)插入隨機(jī)訪問(Clean Random Access, CRA)幀，這些CRA幀成為編碼視頻流中的隨機(jī)訪問點(diǎn)(Random Access Point, RAP)。所謂隨機(jī)訪問點(diǎn)是指對(duì)這些幀的解碼可以獨(dú)立進(jìn)行，不需要參考比特流中前面已經(jīng)解碼的圖像幀。這種對(duì)隨機(jī)訪問方式有力地支持了信道轉(zhuǎn)換、搜索以及動(dòng)態(tài)流媒體服務(wù)等應(yīng)用。

圖 RA編碼結(jié)構(gòu)

1.3 HEVC的圖像組(GOP)與四叉樹單元?jiǎng)澐?/strong>