文章目錄

• 安卓直播推流專欄博客總結(jié)
• 一、 RTMP 格式解析
• 二、 文件頭 Header 分析
• 三、 標(biāo)簽 Tag 分析
• 四、 視頻標(biāo)簽 Tag 數(shù)據(jù)分析

安卓直播推流專欄博客總結(jié)

---

Android RTMP 直播推流技術(shù)專欄 :

0 . 資源和源碼地址 :

• 資源下載地址 : 資源下載地址 , 服務(wù)器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
• GitHub 源碼地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服務(wù)器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務(wù)器 ;

• 【Android RTMP】RTMP 直播推流服務(wù)器搭建 ( Ubuntu 18.04.4 虛擬機 )

2. 準(zhǔn)備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數(shù)據(jù)包封裝開源庫 :

• 【Android RTMP】RTMPDumb 源碼導(dǎo)入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構(gòu)建腳本 )

• 【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導(dǎo)入函數(shù)庫 )

3. 講解 RTMP 數(shù)據(jù)包封裝格式 :

• 【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標(biāo)簽 Tag 分析 | 視頻標(biāo)簽 Tag 數(shù)據(jù)分析 )

• 【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )

4. 圖像數(shù)據(jù)采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數(shù)據(jù) , 并預(yù)覽該數(shù)據(jù) ;

• 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 視頻采集相關(guān)概念 | 攝像頭預(yù)覽參數(shù)設(shè)置 | 攝像頭預(yù)覽數(shù)據(jù)回調(diào)接口 )

• 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉(zhuǎn) I420 算法 )

• 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動態(tài)權(quán)限申請 )

5. NV21 格式的圖像數(shù)據(jù)編碼成 H.264 格式的視頻數(shù)據(jù) :

• 【Android RTMP】x264 編碼器初始化及設(shè)置 ( 獲取 x264 編碼參數(shù) | 編碼規(guī)格 | 碼率 | 幀率 | B幀個數(shù) | 關(guān)鍵幀間隔 | 關(guān)鍵幀解碼數(shù)據(jù) SPS PPS )

• 【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( Camera 圖像數(shù)據(jù)采集 | NV21 圖像數(shù)據(jù)傳到 Native 處理 | JNI 傳輸字節(jié)數(shù)組 | 局部引用變量處理 | 線程互斥 )

• 【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( NV21 格式中的 YUV 數(shù)據(jù)排列 | Y 灰度數(shù)據(jù)拷貝 | U 色彩值數(shù)據(jù)拷貝 | V 飽和度數(shù)據(jù)拷貝 | 圖像編碼操作 )

6. 將 H.264 格式的視頻數(shù)據(jù)封裝到 RTMP 數(shù)據(jù)包中 :

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 封裝 SPS / PPS 數(shù)據(jù)包 )

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 關(guān)鍵幀數(shù)據(jù)格式 | 非關(guān)鍵幀數(shù)據(jù)格式 | x264 編碼后的數(shù)據(jù)處理 | 封裝 H.264 視頻數(shù)據(jù)幀 )

• 【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創(chuàng)建推流器 | 初始化操作 | 設(shè)置推流地址 | 啟用寫出 | 連接 RTMP 服務(wù)器 | 發(fā)送 RTMP 數(shù)據(jù)包 )

7. 階段總結(jié) : 阿里云服務(wù)器中搭建 RTMP 服務(wù)器 , 并使用電腦軟件推流和觀看直播內(nèi)容 ;

• 【Android RTMP】RTMP 直播推流 ( 阿里云服務(wù)器購買 | 遠(yuǎn)程服務(wù)器控制 | 搭建 RTMP 服務(wù)器 | 服務(wù)器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )

• 【Android RTMP】RTMP 直播推流階段總結(jié) ( 服務(wù)器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務(wù)器狀態(tài)查看 )

8. 處理 Camera 圖像傳感器導(dǎo)致的 NV21 格式圖像旋轉(zhuǎn)問題 :

• 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 問題描述 | 圖像順時針旋轉(zhuǎn) 90 度方案 | YUV 圖像旋轉(zhuǎn)細(xì)節(jié) | 手機屏幕旋轉(zhuǎn)方向 )

• 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 圖像旋轉(zhuǎn)算法 | 后置攝像頭順時針旋轉(zhuǎn) 90 度 | 前置攝像頭順時針旋轉(zhuǎn) 90 度 )

9. 下面這篇博客比較重要 , 里面有一個快速搭建 RTMP 服務(wù)器的腳本 , 強烈建議使用 ;

• 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 快速搭建 RTMP 服務(wù)器 Shell 腳本 | 創(chuàng)建 RTMP 服務(wù)器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉(zhuǎn)效果展示 )

10. 編碼 AAC 音頻數(shù)據(jù)的開源庫 FAAC 交叉編譯與 Android Studio 環(huán)境搭建 :

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( 音頻數(shù)據(jù)采集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 頭文件與靜態(tài)庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )

11. 解析 AAC 音頻格式 :

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( AAC 音頻格式解析 | FLV 音頻數(shù)據(jù)標(biāo)簽解析 | AAC 音頻數(shù)據(jù)標(biāo)簽頭 | 音頻解碼配置信息 )

12 . 將麥克風(fēng)采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 音頻編碼參數(shù)設(shè)置 | FAAC 編碼器創(chuàng)建 | 獲取編碼器參數(shù) | 設(shè)置 AAC 編碼規(guī)格 | 設(shè)置編碼器輸入輸出參數(shù) )

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數(shù)據(jù) | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )

---

Android 直播推流流程 : 手機采集視頻 / 音頻數(shù)據(jù) , 視頻數(shù)據(jù)使用 H.264 編碼 , 音頻數(shù)據(jù)使用 AAC 編碼 , 最后將音視頻數(shù)據(jù)都打包到 RTMP 數(shù)據(jù)包中 , 使用 RTMP 協(xié)議上傳到 RTMP 服務(wù)器中 ;

本篇博客會詳細(xì)分析 , 音視頻數(shù)據(jù)是如何打包成 RTMP 數(shù)據(jù)的 , 以及 RTMP 數(shù)據(jù)格式 ;

一、 RTMP 格式解析

---

RTMP 視頻數(shù)據(jù)包格式與 flv 視頻格式類似 , 使用二進制分析工具分析 flv 視頻文件 , 相關(guān)工具都在博客資源中 ;

分析 flv 文件格式 :

① flv 視頻文件構(gòu)成 : flv 視頻由一個文件頭 Header 與若干標(biāo)簽 Tag 組成 ;

② 使用二進制查看器 , 打開 flv 視頻文件 , 如下圖所示 :

③ 使用 flvAnalyser 工具打開 flv 視頻文件 :

二、 文件頭 Header 分析

---

文件頭 Header 分析 :

① flv 視頻文件文件頭 : 46 4C 56 ( 16 進制格式 ) , 這是 FLV 字母的 ASCII 碼 ; 只要是 flv 格式的文件 , 前三個字節(jié)必定是這三個值 ;

② 文件版本 : 第 $4$ 個字節(jié)時 FLV 格式的版本 , 這里是 01 ; ( 參考上圖 )

三、 標(biāo)簽 Tag 分析

---

flv 標(biāo)簽數(shù)據(jù)結(jié)構(gòu) :

① 標(biāo)簽類型 ( tag type ) : $1$ 字節(jié) , 索引區(qū)間 $[0]$ , 0x08 代表音頻 , 0x09 代表視頻 , 0x12 代表腳本信息 ;

② 標(biāo)簽數(shù)據(jù)大小 ( data size ) : $3$ 字節(jié) , 索引區(qū)間 $[1,3]$ , 除了包頭之外的數(shù)據(jù)大小 , 包頭一般是 $11$ 字節(jié), 整個標(biāo)簽大小是該 標(biāo)簽數(shù)據(jù)大小 ( data size ) + 11 ;

③ 時間戳 ( time stamp ) : $3$ 字節(jié) , 索引區(qū)間 $[4,6]$ , 表示從開始播放到當(dāng)前時刻的播放時間 , 單位毫秒 , 也就是當(dāng)前標(biāo)簽的時間與第一個標(biāo)簽時間的差值 ;

④ 時間戳擴展位 ( time stamp ext ) : $1$ 字節(jié) , 索引區(qū)間 $[7]$ , 如果時間戳較大 , $3$ 位裝不下 , 擴展一位 ;

⑤ 流編號 ( stream id ) : $3$ 字節(jié) , 索引區(qū)間 $[8,10]$ , 一般都是 0 ;

上述 $11$ 字節(jié)時包頭信息 , 下面就是實際的數(shù)據(jù)信息 , 有 標(biāo)簽數(shù)據(jù)大小 ( data size ) 個字節(jié)的數(shù)據(jù) ;

⑥ 數(shù)據(jù)區(qū) ( data ) : 標(biāo)簽數(shù)據(jù)大小 字節(jié) , 索引區(qū)間 $[9,標(biāo)簽數(shù)據(jù)大小]$ , 標(biāo)簽數(shù)據(jù)大小 ( data size ) 個字節(jié)的數(shù)據(jù) ;

視頻標(biāo)簽 與 音頻標(biāo)簽 : 在 flvAnalyser 中可以清晰的看到文件頭 Header 與 標(biāo)簽 Tag 的結(jié)構(gòu) , 其中 紅色的框表示 視頻數(shù)據(jù)標(biāo)簽 , 綠色的框表示 音頻數(shù)據(jù)標(biāo)簽 ;

四、 視頻標(biāo)簽 Tag 數(shù)據(jù)分析

---

1 . 打開視頻標(biāo)簽數(shù)據(jù) : 在 flvAnalyser 工具中 , 雙擊 1 號標(biāo)簽 , 該標(biāo)簽是 h264 視頻標(biāo)簽 , 彈出如下對話框 , 開始分析該視頻標(biāo)簽中的數(shù)據(jù) ;

2 . 視頻標(biāo)簽數(shù)據(jù)詳情 :

0x00000182 : 09 00 00 2E 00 00 00 00 0x0000018a : 00 00 00 17 00 00 00 00 0x00000192 : 01 64 00 32 FF E1 00 19 0x0000019a : 67 64 00 32 AC D9 80 78 0x000001a2 : 02 27 E5 84 00 00 03 00 0x000001aa : 04 00 00 1F 40 3C 60 C6 0x000001b2 : 68 01 00 05 68 E9 7B 2C 0x000001ba : 8B 00 00 00 39

3 . flv 視頻標(biāo)簽數(shù)據(jù)分析 : 以下所有的數(shù)據(jù)都是十六進制數(shù)據(jù) , 這里省略 0x 前綴 ;

① 標(biāo)簽類型 ( tag type ) : $1$ 字節(jié) , 索引區(qū)間 $[0]$ , 此處是 09 表示音頻數(shù)據(jù)

② 標(biāo)簽數(shù)據(jù)大小 ( data size ) : $3$ 字節(jié) , 索引區(qū)間 $[1,3]$ , 00 00 2E , 46 字節(jié) , 視頻數(shù)據(jù)有 46 字節(jié) , 該標(biāo)簽的總數(shù)據(jù)是 46 + 11 = 57 字節(jié) ;

③ 時間戳 ( time stamp ) : $3$ 字節(jié) , 索引區(qū)間 $[4,6]$ , 00 00 00 , 當(dāng)前時間戳是 0 , 這是第 1 個標(biāo)簽 , 與其本身差值自然是 0 ;

④ 時間戳擴展位 ( time stamp ext ) : $1$ 字節(jié) , 索引區(qū)間 $[7]$ , 00 , 該位也是 0 ;

⑤ 流編號 ( stream id ) : $3$ 字節(jié) , 索引區(qū)間 $[8,10]$ , 00 00 00 , 這個值一般都是 0 ;

上述 $11$ 字節(jié)時包頭信息 , 下面就是實際的數(shù)據(jù)信息 , 有 標(biāo)簽數(shù)據(jù)大小 ( data size ) 個字節(jié)的數(shù)據(jù) ;

⑥ 數(shù)據(jù)區(qū) ( data ) : 標(biāo)簽數(shù)據(jù)大小 字節(jié) , 索引區(qū)間 $[9,標(biāo)簽數(shù)據(jù)大小]$ , 后面有 46 字節(jié)的視頻數(shù)據(jù) ;

下面開始分析這 46 字節(jié)的視頻數(shù)據(jù) ;

總結(jié)

以上是生活随笔為你收集整理的【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | 文件头 Header 分析 | 标签 Tag 分析 | 视频标签 Tag 数据分析 )的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。