【流媒体FLV封装协议】
?
FLV封裝格式介紹及解析
FLV封裝格式
FLV(Flash Video)是Adobe公司推出的一種流媒體格式，由于其封裝后的音視頻文件體積小、封裝簡單等特點，非常適合于互聯網上使用。目前主流的視頻網站基本都支持FLV。采用FLV格式封裝的文件后綴為.flv。
FLV封裝格式是由一個文件頭(flie header)和 文件體(file Body)組成。其中，FLV body由一對對的(Previous Tag Size字段 + tag)組成。Previous Tag Size字段 排列在Tag之前，占用4個字節。Previous Tag Size記錄了前面一個Tag的大小，用于逆向讀取處理。FLV header后的第一個Pervious Tag Size的值為0。Tag一般可以分為3種類型：腳本(幀)數據類型、音頻數據類型、視頻數據。FLV數據以大端序進行存儲，在解析時需要注意。一個標準FLV文件結構如下圖：
FLV文件的詳細內容結構如下圖：
FLV文件詳細內容結構
FLV header
注：在下面的數據type中，UI表示無符號整形，后面跟的數字表示其長度是多少位。比如UI8，表示無法整形，長度一個字節。UI24是三個字節,UI[8*n]表示多個字節。UB表示位域，UB5表示一個字節的5位。可以參考c中的位域結構體。
FLV頭占9個字節，用來標識文件為FLV類型，以及后續存儲的音視頻流。一個FLV文件，每種類型的tag都屬于一個流，也就是一個flv文件最多只有一個音頻流，一個視頻流，不存在多個獨立的音視頻流在一個文件的情況。FLV頭的結構如下：
?
FLV Body
FLV Header之后，就是FLV File Body.FLV File Body是由一連串的back-pointers + tags構成。Back-pointer表示Previous Tag Size(前一個tag的字節數據長度)，占4個字節。
?
FLV Tag
每一個Tag也是由兩部分組成:tag header 和 tag data。Tag Header里存放的是當前tag的類型、數據區(tag data)的長度等信息。tag header一般占11個字節的內存空間。FLV tag結構如下：
FLV Tag的類型可以是視頻、音頻和Script(腳本類型)，下面分別介紹這三種Tag類型
Script Tag Data結構(腳本類型、幀類型)
該類型Tag又被稱為MetaData Tag,存放一些關于FLV視頻和音頻的元信息，比如：duration、width、height等。通常該類型Tag會作為FLV文件的第一個tag，并且只有一個，跟在File Header后。該類型Tag DaTa的結構如下所示:
第一個AMF包：
第1個字節表示AMF包類型，一般總是0x02，表示字符串。第2-3個字節為UI16類型值，標識字符串的長度，一般總是0x000A（“onMetaData”長度）。后面字節為具體的字符串，一般總為“onMetaData”（6F,6E,4D,65,74,61,44,61,74,61）。
第二個AMF包：
第1個字節表示AMF包類型，一般總是0x08，表示數組。第2-5個字節為UI32類型值，表示數組元素的個數。后面即為各數組元素的封裝，數組元素為元素名稱和值組成的對。常見的數組元素如下表所示。
?
Audio Tag Data結構(音頻類型)
音頻Tag Data區域開始的第一個字節包含了音頻數據的參數信息，從第二個字節開始為音頻流數據。結構如下：
Audio Tag Data結構
第一個字節為音頻的信息，格式如下：
格式?3，linear PCM，存儲原始?PCM?采樣點。如果采樣位深為?8，采樣點數據為無符號型。如果采樣位深為?16，采樣點數據為小端存儲的帶符號型。如果是立體聲，左右聲道采樣點交織存放：左-右-左-右-...
格式?0?與格式?3?的不同之處只有一點：格式?0?存儲?16?位采樣數據，采用的大小端順序是創建?FLV?文件的平臺所使用的大小端順序。因此，不應使用格式?0，而應使用格式?3。
格式?4 (Nellymoser 16-kHz mono)?和格式?5 (Nellymoser 8 kHz mono)，是兩種特殊情況,?因為采樣率字段無法表示?8 kHz?和?16 kHz。當采樣格式是格式?4?或格式?5?時，Flash?播放器會忽略采樣率和聲音類型兩個字段。對于其他采樣率的?Nellymoser?格式,?即格式?6，則正常使用采樣率和聲音類型兩個字段。
格式?10，AAC，聲音類型應為?1 (立體聲)?且采樣率應為?3 (44 kHz)。這并不表示?FLV?中的?AAC?音頻總是立體聲、44 kHz的數據。實際上，Flash?播放器會忽略這兩個值，而從已編碼的?AAC?位流中提取出聲道數和采樣率信息。
格式?11，Speex，音頻以?16 kHz采樣率壓縮為單聲道，采樣率字段值應為?0，采樣位深字段值應為?1，聲音類型字段值應為?0。
格式?7，8，14?和?15?保留。
第二個字節開始為音頻數據。
?
Video Tag Data結構(視頻類型)
視頻Tag Data開始的第一個字節包含視頻數據的參數信息，從第二個字節開始為視頻流數據。結構如下：
video Tag Data結構
第二個字節開始為視頻數據
AVC VIDEO PACKET
關于下面這塊內容有興趣的話可以結合h264結構來看，不感興趣的話可以直接跳過。
AVC VIDEO PACKET的結構:
關于CTS：這是一個比較難以理解的概念，需要和pts，dts配合一起理解。
首先，pts（presentation time stamps），dts(decoder timestamps)，cts(CompositionTime)的概念：
pts：顯示時間，也就是接收方在顯示器顯示這幀的時間。單位為1/90000 秒。
dts：解碼時間，也就是rtp包中傳輸的時間戳，表明解碼的順序。單位單位為1/90000 秒。——根據后面的理解，pts就是標準中的CompositionTime
cts偏移：cts = (pts - dts) / 90 。cts的單位是毫秒。
pts和dts的時間不一樣，應該只出現在含有B幀的情況下，也就是profile main以上。baseline是沒有這個問題的，baseline的pts和dts一直相同，所以cts一直為0。
AVC VIDEO PACKET中Data的結構:
參考
https://www.jianshu.com/p/419f99be3989
https://www.cnblogs.com/leisure_chn/p/10662941.html
https://blog.csdn.net/leixiaohua1020/article/details/17934487
?
?
?
?
?
?
?
?
?
?
總結
以上是生活随笔為你收集整理的【流媒体FLV封装协议】的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： linux的驱动在哪个文件里（linux
- 下一篇： FFmpeg NDK跨平台交叉编译