當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

音视频 H.264格式介绍

發布時間：2023/12/9 编程问答 74 豆豆

生活随笔收集整理的這篇文章主要介紹了音视频 H.264格式介绍小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

名字解釋：

GOP （圖像組）主要用作形容一個 i 幀到下一個 i 幀之間的間隔了多少個幀。
增大圖片組(GOP)能有效的減少編碼后的視頻體積，但是也會降低視頻質量。
編碼后視頻的每一組圖像（GOP，圖像組）都給予了傳輸中的序列（PPS）和本身這個幀的圖像參數（SPS）。
SPS(Sequence Parameter Set)序列參數集、PPS(Picture Parameter Set)圖像參數集，包含了圖像編碼的各種參數信息，是作為解碼器初始化所必須的參數信息。
IDR(Instantaneous Decoding Refresh)幀，也就是即時解碼刷新幀，直觀意思就是解碼器在接收到IDR幀后會刷新參考幀緩存。IDR幀前后的視頻幀不會有任何參考關系，解碼器可以從任何一個IDR幀開始解碼。

H.264句法和語義

H.264 中，句法元素共被組織成序列、圖像、片、宏塊、子宏塊五個層次。
其中每一幀都是NALU，理解了 NALU，就理解 H.264 的結構了。

句法元素被組織成有層次的結構，分別描述各個層次的信息。

以往標準中句法元素的分層結構

在這樣的結構中，每一層的頭部和它的數據部分形成管理與被管理的強依賴關系，頭部的句法元素是該層數據的核心，而一旦頭部丟失，數據部分的信息幾乎不可能再被正確解碼出來。尤其在序列層及圖像層，由于網絡中 MTU（最大傳輸單元）大小的限制，不可能將整個層的句法元素全部放入同一個分組中，這個時候如果頭部所在的分組丟失，該層其他分組即使能被正確接收也無法解碼，造成資源浪費。

H.264 中句法元素的分層結構

在 H.264 中，分層結構最大的不同是取消了序列層和圖像層，并將原本屬于序列和圖像頭部的大部分句法元素游離出來形成序列和圖像兩級參數集，其余的部分則放入片層。參數集是一個獨立的數據單位，不依賴于參數集外的其他句法元素。

碼流模型

一種簡化的碼流結構模型

一個序列的第一個圖像叫做 IDR 圖像（立即刷新圖像），IDR 圖像都是 I圖像。
H.264 引入 IDR 圖像是為了解碼的重同步，當解碼器解碼到 IDR 圖像時，立即將參考幀隊列清空，將已解碼的數據全部輸出或拋棄，重新查找參數集，開始一個新的序列。
這樣，如果在前一個序列的傳輸中發生重大錯誤，如嚴重的丟包，或其他原因引起數據錯位，在這里可以獲得重新同步。
IDR 圖像之后的圖像永遠不會引用 IDR 圖像之前的圖像的數據來解碼。
IDR 圖像和 I 圖像的區別，IDR 圖像一定是 I 圖像，但 I 圖像不一定是 IDR 圖像。一個序列中可以有很多的 I 圖像，I 圖像之后的圖像可以引用 I 圖像之間的圖像做運動參考。

H.264基本流NALU

H.264 的基本流（elementary stream,ES）的結構分為兩層，包括視頻編碼層（VCL）和網絡適配層（NAL）。
視頻編碼層VCL負責高效的視頻內容表示，是對核心算法引擎，塊，宏塊及片的語法級別的定義，他最終輸出編碼完的數據 SODB。
網絡適配層NAL負責以網絡所要求的恰當的方式對數據進行打包和傳送，將SODB打包成RBSP然后加上NAL頭，組成一個NALU（NAL單元、Nal Unit）。

引入NAL并使之與VCL分離帶來的好處包括兩方面：
使信號處理和網絡傳輸分離，VCL 和NAL 可以在不同的處理平臺上實現；
VCL 和NAL 分離設計，使得在不同的網絡環境內，網關不需要因為網絡環境不同而對VCL比特流進行重構和重編碼。
名詞介紹
SODB（String Of Data Bits）：原始數據比特流, 長度不一定是8的倍數，故需要補齊
RBSP（Raw Byte Sequence Payload）：原始數據字節流，SODB+RBSP trailing bits=RBSP，添加加trailing bits是為了使一個RBSP為整字節數，字節對齊
H.264 的基本流由一系列NALU （Network Abstraction Layer Unit ）組成，不同的NALU數據量各不相同，每個NALU中可能是IDR圖像、SPS、PPS、non-IDR圖像等。
H.264 草案指出，當數據流是儲存在介質上時，在每個NALU 前添加起始碼：0x000001或0x00000001，用來指示一個NALU 的起始和終止位置。在這樣的機制下，在碼流中檢測起始碼，作為一個NALU得起始標識，當檢測到下一個起始碼時，當前NALU結束。
H.264 碼流中每個幀的開頭的3~4個字節是H.264 的start_code（起始碼），0x00000001或0x000001。
3字節的0x000001只有一種場合下使用，就是一個完整的幀被編為多個slice（片）的時候，從第二個slice開始，包含這些slice的NALU 使用3字節起始碼。也就是說，如果NALU對應的slice為一幀的開始就用0x00000001，否則就用0x000001。
一個視頻幀中可能包含多個NALU, 此時可以稱該視頻幀為多slice視頻幀（一個NALU中包含該視頻幀的一個slice）

碼流格式：Annex-B和AVCC

H.264碼流分Annex-B和AVCC兩種格式。
H.265碼流是Annex-B和HVCC格式。
Android硬解碼 MediaCodec只接受AnnexB格式的數據，Apple的VideoToolBox，只支AVCC的格式。

區別有兩點：一個是參數集(SPS, PPS)組織格式；一個是分隔。

Annex-B：使用start code分隔NAL(start code為三字節或四字節，0x000001或0x00000001，一般是四字節)；SPS和PPS按流的方式寫在頭部。
AVCC：使用NALU長度（固定字節，通常為4字節）分隔NAL；在頭部包含extradata(或sequence header)的結構體。

ANNXT-B格式

Annex-B 附錄B, 指ITU-T的 Recommendation（h.264和h.265）在附錄B中規定碼流格式。

使用start code分隔NAL(start code為三字節或四字節，0x000001或0x00000001，一般是四字節)；SPS和PPS按流的方式寫在頭部。在 AnnexB 中，SPS 和 PPS 被當做了普通的 NALU 進行處理；而在 avcC 中，SPS 和 PPS 信息被當做了特殊的信息進行了處理。

防競爭字節（Emulation Prevention Bytes）
所謂防競爭字節（Emulation Prevention Bytes），就是在給 NALU 添加起始碼之前，先對碼流進行一次遍歷，查找碼流里面的存在的 0 0 0，0 0 1，0 0 2，0 0 3 的字節，然后對其進行如下修改；在解碼過程中，通過起始碼成功分割 NALU 數據之后，還要將防競爭字節去掉。
0 0 => 0 0 3 0
0 0 1 => 0 0 3 1
0 0 2 => 0 0 3 2
0 0 3 => 0 0 3 3

AVCC格式

在一路采用 AVCC 打包的 H.264 流之中，我們首先看到的將是一段被稱之為 extradata 的數據，這段數據定義了這個 H.264 流的基本屬性數據，當然，也包含了 SPS 和 PPS 數據。

8 version ( always 0x01 ) 8 avc profile ( sps[0][1] ) 8 avc compatibility ( sps[0][2] ) 8 avc level ( sps[0][3] ) 6 reserved ( all bits on ) 2 NALULengthSizeMinusOne // 這個值是（前綴長度-1） 3 reserved ( all bits on ) 5 number of SPS NALUs (usually 1) repeated once per SPS: 16 SPS size variable SPS NALU data 8 number of PPS NALUs (usually 1) repeated once per PPS 16 PPS size variable PPS NALU data

NALULengthSizeMinusOne如果是3，那么每個 NALU 前面前綴的長度就是 4 個字節。在AVCC格式中，每個NAL前面都會有NAL size字段。NAL size可能是1字節、2字節或4字節（4字節較常見），解析extradata重要目的就是確認這個值。（而Annex-B格式，要split NAL，只要去探測0x000001就可以了）。
參考ff_h264_decode_extradata()

轉換

Annex-B 轉 AVCC
start code 轉為4字節 NAL size
SPS, PPS創建 extradata
AVCC 轉 Annex-B
FFmpeg “extract_extradata” bitstream filter；

結構

NALU結構

NALU，即 NAL頭+RBSP

NALU頭結構

長度：1Byte，orbidden_bit(1bit) + nal_reference_bit(2bit) + nal_unit_type(5bit)
F（forbidden_zero_bit）：1 位，初始為0。當網絡識別此單元存在比特錯誤時，可將其設為 1，以便接收方丟掉該單元
NRI（nal_ref_idc）：2 位，用來指示該NALU 的重要性等級。值越大，表示當前NALU越重要。具體大于0 時取何值，沒有明確規定
Type（nal_unit_type）：5 位，指出NALU 的類型
NALU 解碼流程
nal_unit_type=5：表示當前NAL是IDR圖像的一個片，在這種情況下，IDR圖像中的每個片的nal_unit_type都應該等于5。注意，IDR圖像不能使用分區。
nal_unit_type=7或8：每個SPS 或者PPS 僅對應一個NALU。

RBSP結構

典型的 RBSP 單元序列如圖所示。每個單元都按獨立的 NAL 單元傳送。NAL 單元
的頭信息（一個字節）定義了 RBSP 單元的類型，NAL 單元的其余部分則為 RBSP 數據。
這里是RBSP序列，需要NAL打包加上NAL頭后進行傳輸。

片

片（slice）：
一幀圖像可編碼成一個或者多個片，每片包含整數個宏塊（macro block），即每片至少一個宏塊，最多時包含整個圖像的宏塊。
分片的目的是為了限制誤碼的擴散和傳輸，使編碼片相互間保持獨立。
片的語法結構
片頭規定了片的類型，該片屬于哪個圖像，有關的參考圖像等，片的數據包含一系列的編碼宏塊，和或跳編碼（不編碼）數據。每個宏塊包含頭單元和殘差數據。
片類型
IDR 圖像時, slice_type 等于 2, 4, 7, 9。

宏塊

宏塊（Macro Block）：
一個編碼圖像通常劃分成若干宏塊組成，一個宏塊由一個 16×16 亮度像素和附加的一個 8×8 Cb和一個 8×8 Cr 彩色像素塊組成。每個圖象中，若干宏塊被排列成片的形式。
I 片只包含 I 宏塊，P 片可包含 P 和 I 宏塊，而 B 片可包含 B 和 I 宏塊。
I 宏塊利用從當前片中已解碼的像素作為參考進行幀內預測（不能取其它片中的已解碼像素作為
參考進行幀內預測）。
P 宏塊利用前面已編碼圖象作為參考圖象進行幀內預測，一個幀內編碼的宏塊可進一步作宏塊的分割：即 16×16、16×8、8×16 或 8×8 亮度像素塊（以及附帶的彩色像素）；如果選了 8×8 的子宏塊，則可再分成各種子宏塊的分割，其尺寸為 8×8、8×4、4×8 或 4×4 亮度像素塊（以及附帶的彩色像素）。
B 宏塊則利用雙向的參考圖象（當前和未來的已編碼圖象幀）進行幀內預測。

實際使用例子

【技術干貨】移動端硬解關鍵流程梳理

總結

H.264 的基本流由一系列NALU （Network Abstraction Layer Unit ）組成，不同的NALU數據量各不相同，每個NALU中可能是IDR圖像、SPS、PPS、non-IDR圖像等。