H264 RTP包解析

預(yù)備

? ? ??視頻：

? ? ? ? ? ? ?由一副副連續(xù)的圖像構(gòu)成，由于數(shù)據(jù)量比較大，因此為了節(jié)省帶寬以及存儲(chǔ)，就需要進(jìn)行必要的壓縮與解壓縮，也就是編解碼。

? ? ??h264裸碼流：

? ? ? ? ? ? ?對(duì)一個(gè)圖像或者一個(gè)視頻序列進(jìn)行壓縮，即產(chǎn)生碼流，采用H264編碼后形成的碼流就是h264裸碼流。

? ? ??碼流傳輸：

? ? ? ? ? ? ?發(fā)送端將H264裸碼流打包后進(jìn)行網(wǎng)絡(luò)傳輸，接收端接收后進(jìn)行組包還原裸碼流，然后可以再進(jìn)行存儲(chǔ)，轉(zhuǎn)發(fā)，或者播放等等相關(guān)的處理。

? ? ? ? ? ? ?存儲(chǔ)轉(zhuǎn)發(fā)可以直接使用裸碼流，播放則需要進(jìn)行解碼和顯示處理

? ? ??解碼顯示：? ? ? ?

? ? ? ? ? ? ?一般會(huì)解成YUV數(shù)據(jù)，然后交給顯示相關(guān)模塊做處理，如使用openGL或者D3D等進(jìn)行渲染（采用3d的方式來(lái)顯示2d的圖像稱為渲染）

? ? ? ? ? ? ? 解碼又分軟件解碼和硬件解碼，

? ? ? ? ? ? ? 軟解一般ffmpeg

? ? ? ? ? ? ? 硬解則各不同，由各硬件廠商開(kāi)放sdk來(lái)處理，如：hisi，intel media sdk，nvida gpu，apple ios videotoolbox等。

??

h264碼流傳輸

? ? ? 類似發(fā)送網(wǎng)頁(yè)文本數(shù)據(jù)有http一樣，視頻數(shù)據(jù)在網(wǎng)絡(luò)上傳輸也有專門(mén)的網(wǎng)絡(luò)協(xié)議來(lái)支持，如：rtsp，rtmp等

? ? ? 由于碼流是一幀一幀的圖片數(shù)據(jù)，所以傳輸?shù)臅r(shí)候也是一幀幀來(lái)傳輸?shù)?#xff0c;因此這里就會(huì)涉及到各種類型的幀處理了

? ? ? ? ? ? ? ? ? ? ? ? ? ? I 幀： 參考幀或者關(guān)鍵幀，可以理解為是一幀完整畫(huà)面，解碼時(shí)只需要本幀數(shù)據(jù)就解碼成一幅完整的圖片，數(shù)據(jù)量比較大。

? ? ? ? ? ? ? ? ? ? ? ? ? ? P幀： 差別幀，只有與前面的幀或I幀的差別數(shù)據(jù)，需要依賴前面已編碼圖象作為參考圖象，才能解碼成一幅完整的圖片，數(shù)據(jù)量小。

? ? ? ? ? ? ? ? ? ? ? ? ? ? B幀： 雙向差別幀，也就是B幀記錄的是本幀與前后幀的差別，需要依賴前后幀和I幀才能解碼出一幅完整的圖片，數(shù)據(jù)量小。

? ? ? 由于i幀比較大，已經(jīng)超出mtu最大1500，所以需要拆包分片傳輸，這里說(shuō)的拆包發(fā)送不是指發(fā)送超過(guò)1500的數(shù)據(jù)包時(shí)tcp的分段傳輸或者upd的ip分片傳輸，而是指rtp協(xié)議本身對(duì)264的拆包。

? ? ? rtp打包后將數(shù)據(jù)交給tcp或者upd進(jìn)行傳輸?shù)臅r(shí)候就已經(jīng)控制在1500以內(nèi)，這樣可以提高傳輸效率，避免一個(gè)I幀萬(wàn)一丟失就會(huì)造成花屏或者重傳造成延時(shí)卡頓等等問(wèn)題。

? ? ? （順便提一句，rtmp打包就比較簡(jiǎn)單，由于是基于tcp的協(xié)議，大包直接交給tcp去做分段傳輸，rtmp通過(guò)設(shè)置合適的trunk size去發(fā)送一幀幀數(shù)據(jù)）

? ? ? 既然要進(jìn)行拆包發(fā)送與接收，就少不了需要相關(guān)的包結(jié)構(gòu)以及打包組包了，繼續(xù)。。。。。。

? ? ? ? ? ? ? ? ? ? ? ? ? ??

H264在網(wǎng)絡(luò)傳輸?shù)膯卧?#xff1a;NALU

? ? ? ? NALU結(jié)構(gòu)：NALU header(1byte) +?NALU payload

? ? ? ? header 部分可以判斷類型等信息，從右往左5個(gè)bit位

SPS:? 0x67? ? header & 0x1F = 7?	I Frame: 0x65??header & 0x1F = 5?
PPS:? 0x68? ? header & 0x1F = 8??	P Frame: 0x41? ?header & 0x1F = 1
SEI:? 0x66? ? header & 0x1F = 6	?

? ? ? ??payload 部分可以簡(jiǎn)單理解為 編碼后的264幀數(shù)據(jù)? ? ??

? ? ? ??詳細(xì)可以去查閱?h264 NALU 語(yǔ)法結(jié)構(gòu)

? ? ??

h264的RTP打包

下面是 RFC 3550 中規(guī)定的 RTP 頭的結(jié)構(gòu).

?????? 0?????????????????? 1?????????????????? 2?????????????????? 3
?????? 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
????? +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
????? |V=2|P|X|? CC?? |M|???? PT????? |?????? sequence number???????? |
????? +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
????? |?????????????????????????? timestamp?????????????????????????? |
????? +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
????? |?????????? synchronization source (SSRC) identifier??????????? |
????? +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
????? |??????????? contributing source (CSRC) identifiers???????????? |
????? |???????????????????????????? ....????????????????????????????? |
????? +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

? 負(fù)載類型 Payload type (PT): 7 bits
? 序列號(hào) Sequence number (SN): 16 bits
? 時(shí)間戳 Timestamp: 32 bits
??rtp打包h264，包含了三種類型的包:

?

?一個(gè)rtp包攜帶了一幀數(shù)據(jù)(single)

?多個(gè)rtp包攜帶了一幀數(shù)據(jù)(FU-A)

?一個(gè)rtp包攜帶了多幀數(shù)據(jù)(STAP-A)

?

?

在實(shí)際應(yīng)用中絕大部分采用的是前兩種方式，對(duì)方式1常見(jiàn)的是對(duì)nalu的sps,pps進(jìn)行打包，因?yàn)?/span>sps和pps數(shù)據(jù)量很小，一個(gè)rtp包足以攜帶，一般采用 sps,pps分別由一個(gè)rtp包攜帶的方式。對(duì)IDR數(shù)據(jù)及其他類型數(shù)據(jù)通常是采用方式2，因?yàn)橐曨l幀數(shù)據(jù)通常比較大，一個(gè)rtp包不足以攜帶，分成多個(gè)rtp包攜帶，分包攜帶后對(duì)最后一個(gè)rtp包的mark字段是要設(shè)置為true的。包格式定義詳細(xì)見(jiàn) ?? rfc3984

? H.264 Payload 格式定義了三種不同的基本的負(fù)載(Payload)結(jié)構(gòu).?接收端可通過(guò)?RTP Payload?的第一個(gè)字節(jié)來(lái)識(shí)別它們. 這一個(gè)字節(jié)類似 NALU 頭的格式, 而這個(gè)頭結(jié)構(gòu)的 NAL 單元類型字段則指出了代表的是哪一種結(jié)構(gòu)。這個(gè)字節(jié)的結(jié)構(gòu)如下, 可以看出它和 H.264 的 NALU 頭結(jié)構(gòu)是一樣的：

????? +---------------+
????? |0|1|2|3|4|5|6|7|
????? +-+-+-+-+-+-+-+-+
????? |F|NRI|? Type?? |
????? +---------------+
? 字段 Type: 這個(gè) RTP payload 中 NAL 單元的類型.?

??這個(gè)字段和 H.264 中類型字段的區(qū)別是, 當(dāng) type?的值為 24 ~ 31 表示這是一個(gè)特別格式的 NAL 單元, 而 H.264 中, 只取 1~23 是有效的值.

一句話：?h264僅用1-23,24以后的用在RTP H264負(fù)載類型頭中

???

---

不同類型的NALU的重要性指示如下表所示：

?

? 24??? STAP-A?? 單一時(shí)間的組合包
? 25 ?? STAP-B?? 單一時(shí)間的組合包
? 26??? MTAP16?? 多個(gè)時(shí)間的組合包
? 27??? MTAP24?? 多個(gè)時(shí)間的組合包
? 28??? FU-A???? 分片的單元
? 29??? FU-B???? 分片的單元
? 30-31 沒(méi)有定義

?

? 可能的結(jié)構(gòu)類型分別有:

? 1. 單一 NAL 單元模式
???? 即一個(gè) RTP 包僅由一個(gè)完整的 NALU 組成.?這種情況下 RTP NAL 頭類型字段和原始的 H.264的?NALU 頭類型字段是一樣的.

? 2. 組合封包模式
??? 即可能是由多個(gè) NAL 單元組成一個(gè) RTP 包. 分別有4種組合方式: STAP-A, STAP-B, MTAP16, MTAP24.
??那么這里的類型值分別是 24, 25, 26 以及 27.

? 3. 分片封包模式
??? 用于把一個(gè) NALU 單元封裝成多個(gè) RTP 包. 存在兩種類型 FU-A 和 FU-B.?類型值分別是 28 和 29.

?

? ? ? ? ? ? ? ?1.? 單NALU：? ?P幀或者B幀比較小的包，直接將NALU打包成RTP包進(jìn)行傳輸? ??RTP header(12bytes) +?NALU header?(1byte)?+?NALU payload

? ? ? ? ? ? ? ?2.? 多NALU：? ?特別小的包幾個(gè)NALU放在一個(gè)RTP包中??

? ? ? ? ? ? ? ?3.? FUs(Fragment Units):? ?I幀長(zhǎng)度超過(guò)MTU的，就必須要拆包組成RTP包了,有FU-A，FU-B

? ? ? ? ? ? ? ? ? ??RTP header?(12bytes)+?FU Indicator?(1byte)? +??FU header(1 byte) +?NALU payload

? ? ? ? ? ? ? ? ? ? ? ? ?看到這里會(huì)不禁思考，

? ? ? ? ? ? ? ? ? ? ?1.?NALU頭不見(jiàn)了，如何判斷類型？實(shí)際上NALU頭被分散填充到FU indicator和FU header里面了

? ? ? ? ? ? ? ? ? ? ? ? ?bit位按照從左到右編號(hào)0-7來(lái)算，nalu頭中0-2前三個(gè)bit放在FU indicator的0-2前三個(gè)bit中，后3-7五個(gè)bit放入FU header的后3-7五個(gè)中? ? ??

//NALU header = (FU indicator & 0xe0) | (FU header & 0x1F)? ?取FU indicator前三和FU header后五? headerStart[1] = (headerStart[0]&0xE0)|(headerStart[1]&0x1F); ?

?因此查看I幀p幀類型，遇到FU分片的，直接看第二個(gè)字節(jié)，即Fu header后五位，這個(gè)跟直接看NALU頭并無(wú)差異，一般有：0x85，0x05，0x45等等

? ? ? ? ? ? ? ? ? ?2.??多個(gè)RTP包如何還原組合成回一個(gè)完整的I幀？ 在FU header中有標(biāo)記為判斷

? ? ? ? ? ? ? ? ? ? ? ? ?照舊從左到右，Fu header前兩個(gè)bit表示start和end標(biāo)記，start為1表示一個(gè)i幀分片開(kāi)始，end為1表示一個(gè)i幀分片結(jié)束

? ? ? ? ? ? ? ? ? 3.? ?如何查看是一個(gè)I幀分片開(kāi)始？? ?

? ? ? ? ? ? ? ? ? ? ? ? 看第一個(gè)字節(jié)FU Indicator，照舊從左到右，Fu Indicator前三個(gè)bit是NALU頭的前三個(gè)bit，后五位為類型FU-A：28（11100），FU-B：29（11101）

? ? ? ? ? ? ? ? ? ? ? ? ?RTP抓包看下來(lái)整個(gè)字節(jié)是0x7c開(kāi)頭

? ? ? ? ? ? ? ? ? ? ? ? ?如果不是分片，第一字節(jié)就是NALU頭，如：0x67,0x68,0x41等

?

抓包分析如下圖

? ? ? ? --->RTP包中接收的264包是不含有0x00,0x00,0x00,0x01頭的，這部分是rtp接收以后，另外再加上去的，解碼的時(shí)候再做判斷的。

? ? ? 1. SPS

? ? ? ?

? ? ?2.??I幀分片開(kāi)始，第一個(gè)字節(jié)FU Indicator，0x7c, 后五位11100，28，FU-A

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 第二個(gè)字節(jié)FU Header，0x85，前兩個(gè)bit start位1，end位0 表示 分片開(kāi)始，后五個(gè)bit值5，I幀

? ? ? ??

? ? ? ??I幀分片，0x7c開(kāi)頭，第二個(gè)字節(jié)0x05,?FU Header start和end位 0，后五個(gè)bit值5，I幀

? ? ? ? ?

? ? ? ??I幀分片結(jié)束，7c開(kāi)頭，第二個(gè)字節(jié)0x45,FU Headr，start 0,end1，后五個(gè)bit值5，I幀， Mark標(biāo)記一幀結(jié)束

? ? ? ? ??

?

? ? 3.? p幀，第一個(gè)字節(jié)：0x41

? ? ? ? ??

?

? ? ? ?4.?P幀分片開(kāi)始：第一個(gè)字節(jié)FU Indicator，0x7c, 后五位11100，28，FU-A

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?第二個(gè)字節(jié)FU Header，0x81,?前兩個(gè)bit start位1，end位0 表示 分片開(kāi)始，后五個(gè)bit 值是1，p幀

? ? ? ? ? ?

? ? ? ? ???P幀分片結(jié)束：0x5c開(kāi)頭，第二個(gè)字節(jié)0x41,FU Headr，start 0,end1，后五個(gè)bit值1，P幀， Mark標(biāo)記一幀結(jié)束

? ? ? ? ?

?SDP 參數(shù)

?

? 下面描述了如何在 SDP 中表示一個(gè) H.264 流:

? . "m=" 行中的媒體名必須是 "video"
? . "a=rtpmap" 行中的編碼名稱必須是 "H264".
? . "a=rtpmap" 行中的時(shí)鐘頻率必須是 90000.
? . 其他參數(shù)都包括在 "a=fmtp" 行中.

? 如:

? m=video 49170 RTP/AVP 98
? a=rtpmap:98 H264/90000
? a=fmtp:98 profile-level-id=42A01E; sprop-parameter-sets=Z0IACpZTBYmI,aMljiA==

? 下面介紹一些常用的參數(shù).

?

packetization-mode:

? 表示支持的封包模式.?
? 當(dāng) packetization-mode 的值為 0 時(shí)或不存在時(shí), 必須使用單一 NALU 單元模式.
? 當(dāng) packetization-mode 的值為 1 時(shí)必須使用非交錯(cuò)(non-interleaved)封包模式.
? 當(dāng) packetization-mode 的值為 2 時(shí)必須使用交錯(cuò)(interleaved)封包模式.
? 這個(gè)參數(shù)不可以取其他的值.

?

?

sprop-parameter-sets:

? 這個(gè)參數(shù)可以用于傳輸 H.264 的序列參數(shù)集和圖像參數(shù) NAL 單元. 這個(gè)參數(shù)的值采用 Base64 進(jìn)行編碼. 不同的參數(shù)集間用","號(hào)隔開(kāi).
??

profile-level-id:

? 這個(gè)參數(shù)用于指示 H.264 流的 profile 類型和級(jí)別. 由 Base16(十六進(jìn)制) 表示的 3 個(gè)字節(jié). 第一個(gè)字節(jié)表示 H.264 的 Profile 類型, 第

?

三個(gè)字節(jié)表示 H.264 的 Profile 級(jí)別:
??

max-mbps:

? 這個(gè)參數(shù)的值是一個(gè)整型, 指出了每一秒最大的宏塊處理速度.

?

參考：

https://www.cnblogs.com/leehm/p/11009504.html

https://blog.csdn.net/mo4776/article/details/78391969

https://www.cnblogs.com/stnlcd/p/7266797.html

https://blog.csdn.net/bytxl/article/details/50393198

總結(jié)

以上是生活随笔為你收集整理的RTP载荷H264视频流的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。