【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )
文章目錄
- 安卓直播推流專欄博客總結
- 一、 x264 編碼后的 H.264 數據幀
- 二、 RTMP 協議中 關鍵幀 / 非關鍵幀 數據格式 說明
- 三、 判定 H.264 幀數據分隔符
- 四、 初始化 RTMPPacket
- 五、 設置包頭數據
- 六、 設置 H.264 數據幀數據
- 七、 設置其它數據
- 八、 RTMPDump 封裝視頻幀數據代碼示例
安卓直播推流專欄博客總結
Android RTMP 直播推流技術專欄 :
0 . 資源和源碼地址 :
- 資源下載地址 : 資源下載地址 , 服務器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
- GitHub 源碼地址 : han1202012 / RTMP_Pusher
1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;
- 【Android RTMP】RTMP 直播推流服務器搭建 ( Ubuntu 18.04.4 虛擬機 )
2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :
-
【Android RTMP】RTMPDumb 源碼導入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構建腳本 )
-
【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導入函數庫 )
3. 講解 RTMP 數據包封裝格式 :
-
【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標簽 Tag 分析 | 視頻標簽 Tag 數據分析 )
-
【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )
4. 圖像數據采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數據 , 并預覽該數據 ;
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( 視頻采集相關概念 | 攝像頭預覽參數設置 | 攝像頭預覽數據回調接口 )
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉 I420 算法 )
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( 圖像傳感器方向設置 | Camera 使用流程 | 動態權限申請 )
5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :
-
【Android RTMP】x264 編碼器初始化及設置 ( 獲取 x264 編碼參數 | 編碼規格 | 碼率 | 幀率 | B幀個數 | 關鍵幀間隔 | 關鍵幀解碼數據 SPS PPS )
-
【Android RTMP】x264 圖像數據編碼 ( Camera 圖像數據采集 | NV21 圖像數據傳到 Native 處理 | JNI 傳輸字節數組 | 局部引用變量處理 | 線程互斥 )
-
【Android RTMP】x264 圖像數據編碼 ( NV21 格式中的 YUV 數據排列 | Y 灰度數據拷貝 | U 色彩值數據拷貝 | V 飽和度數據拷貝 | 圖像編碼操作 )
6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 封裝 SPS / PPS 數據包 )
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 關鍵幀數據格式 | 非關鍵幀數據格式 | x264 編碼后的數據處理 | 封裝 H.264 視頻數據幀 )
-
【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創建推流器 | 初始化操作 | 設置推流地址 | 啟用寫出 | 連接 RTMP 服務器 | 發送 RTMP 數據包 )
7. 階段總結 : 阿里云服務器中搭建 RTMP 服務器 , 并使用電腦軟件推流和觀看直播內容 ;
-
【Android RTMP】RTMP 直播推流 ( 阿里云服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )
-
【Android RTMP】RTMP 直播推流階段總結 ( 服務器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務器狀態查看 )
8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :
-
【Android RTMP】NV21 圖像旋轉處理 ( 問題描述 | 圖像順時針旋轉 90 度方案 | YUV 圖像旋轉細節 | 手機屏幕旋轉方向 )
-
【Android RTMP】NV21 圖像旋轉處理 ( 圖像旋轉算法 | 后置攝像頭順時針旋轉 90 度 | 前置攝像頭順時針旋轉 90 度 )
9. 下面這篇博客比較重要 , 里面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;
- 【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉效果展示 )
10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :
-
【Android RTMP】音頻數據采集編碼 ( 音頻數據采集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 頭文件與靜態庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )
11. 解析 AAC 音頻格式 :
- 【Android RTMP】音頻數據采集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標簽解析 | AAC 音頻數據標簽頭 | 音頻解碼配置信息 )
12 . 將麥克風采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :
-
【Android RTMP】音頻數據采集編碼 ( FAAC 音頻編碼參數設置 | FAAC 編碼器創建 | 獲取編碼器參數 | 設置 AAC 編碼規格 | 設置編碼器輸入輸出參數 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數據 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )
Android 直播推流流程 : 手機采集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最后將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;
Android 端中主要完成手機端采集視頻數據操作 , 并將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;
本篇博客中介紹如下內容 , Java 層將 Camera 采集的 NV21 格式的數據傳入 JNI 層 , 在 JNI 中使用 x264 編碼器將 NV21 圖像數據編碼為 H.264 視頻數據 ;
本篇博客中主要封裝 H.264 視頻幀數據 , 將 幀類型 , 數據包類型 , 合成時間 , 數據長度 , 真實的 H.264 視頻幀數據 , 封裝到 RTMP 包中 ;
一、 x264 編碼后的 H.264 數據幀
1 . x264 編碼操作 : 調用 x264 庫的 x264_encoder_encode 方法 , 將圖像數據編碼成 H.264 數據幀后 ;
① 編碼后的數據 : 編碼后的 H.264 數據保存在 pp_nal[i].p_payload 中 ;
② 編碼后的數據長度 : 編碼的 H.264 數據長度為 pp_nal[i].i_payload ;
2 . 數據間隔 :
① 數據間隔分類 : pp_nal[i].p_payload 數據時編碼后的數據, 前四位默認是 00 00 00 01 , 或 00 00 01 ;
② 數據間隔處理 : 這個數據間隔在封裝 RTMPPacket 數據包時 , 是不需要的 , 這些數據需要剔除 ;
③ 剔除數據間隔方法 : 首先計算數據時 , 要將數據大小 pp_nal[i].i_payload 減去間隔長度 , 另外數據取值時 , 需要越過 3 / 4 位數據間隔再取值 ;
// 4 字節分隔符是 x264 編碼后生成的 H.264 數據中的數據, 這里需要剔除該數據 spsLen = pp_nal[i].i_payload - 4; // 拷貝 H.264 數據時, 需要越過 4 字節 間隔數據 memcpy(sps, pp_nal[i].p_payload + 4, spsLen);二、 RTMP 協議中 關鍵幀 / 非關鍵幀 數據格式 說明
1 . RTMP 協議中 H.264 數據幀格式 :
① 幀類型 : 1 字節, 關鍵幀 17, 非關鍵幀 27 ;
② 包類型 : 1 字節, 1 表示數據幀 ( 關鍵幀 / 非關鍵幀 ), 0 表示 AVC 序列頭數據 ;
③ 合成時間 : 3 字節, 一般情況下設置 00 00 00 ;
④ 數據長度 : 4 字節, 即真實的數據幀畫面的數據大小 ;
2 . 計算出數據幀的個數 : 上述 幀類型 , 包類型 , 合成時間 , 數據長度 , 總共有 9 字節 , 再加上實際的 H.264 數據幀長度 , 即最終打包的 RTMPPacket 數據幀大小 ;
int rtmpPackagesize = 9 + payload;三、 判定 H.264 幀數據分隔符
1 . 不同數據幀的分隔符描述 :
① AVC 序列頭 : 如果是 SPS PPS 數據幀 , 可以判定分隔符就是 00 00 00 01 四字節 ;
② H.264 視頻幀 : 對于視頻數據幀 , 不確定當前的 H.264 數據的分隔符是 00 00 00 01 還是 00 00 01 , 需要開發者進行判定 ;
2 . 判定方法 : 根據 第 2 位 的值判定 ;
① 四位分隔符判定 : 如果 第 2 位 值為 01, 說明分隔符是 00 00 01 ;
② 三位分隔符判定 : 如果 第 2 位 值為 00, 說明分隔符是 00 00 00 01 ;
3 . 分割符處理方法 :
① 數據大小處理 : 數據大小計算時 , 減去分隔符長度 , 3 或 4 ;
② 數據指針處理 : 數據取出時 , 跳過你分隔符數據 ;
4 . 分隔符處理代碼 :
// 判定分隔符是 00 00 00 01 還是 00 00 01// 根據 第 2 位 的值判定// 如果 第 2 位 值為 01, 說明分隔符是 00 00 01// 如果 第 2 位 值為 00, 說明分隔符是 00 00 00 01if (p_payload[2] == 0x00){// 識別出分隔符是 00 00 00 01// 要將 x264 編碼出的數據個數減去 4, 只統計實際的數據幀個數payload -= 4;// 從 x264 編碼后的數據向外拿數據時, 越過開始的 00 00 00 01 數據p_payload += 4;} else if(p_payload[2] == 0x01){// 識別出分隔符是 00 00 01// 要將 x264 編碼出的數據個數減去 3, 只統計實際的數據幀個數payload -= 3;// 從 x264 編碼后的數據向外拿數據時, 越過開始的 00 00 01 數據p_payload += 3;}四、 初始化 RTMPPacket
調用 RTMPPacket_Alloc 方法 , 為 RTMP 數據包分配內存 , 之后調用 RTMPPacket_Reset 方法重置 RTMP 數據包 ;
// 為 RTMP 數據包分配內存RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);// 重置 RTMP 數據包RTMPPacket_Reset(rtmpPacket);五、 設置包頭數據
包頭數據設置 :
① 幀類型設置 : 如果是關鍵幀 , 設置 17 , 如果是非關鍵幀 , 設置 27 ; 這里需要判斷該 H.264 視頻幀是關鍵幀還是非關鍵幀 ;
② 包類型設置 : 01 是數據幀, 00 是 AVC 序列頭封裝 SPS PPS 數據 ;
③ 合成時間戳 : 默認設置 00 00 00 ;
④ 設置數據長度 : 位運算計算 4 字節中每一位的值 , 然后給四個字節數據賦值 ;
// 設置幀類型, 非關鍵幀類型 27, 關鍵幀類型 17rtmpPacket->m_body[0] = 0x27;if (type == NAL_SLICE_IDR) {rtmpPacket->m_body[0] = 0x17;}// 設置包類型, 01 是數據幀, 00 是 AVC 序列頭封裝 SPS PPS 數據rtmpPacket->m_body[1] = 0x01;// 合成時間戳, AVC 數據直接賦值 00 00 00rtmpPacket->m_body[2] = 0x00;rtmpPacket->m_body[3] = 0x00;rtmpPacket->m_body[4] = 0x00;// 數據長度, 需要使用 4 位表示rtmpPacket->m_body[5] = (payload >> 24) & 0xFF;rtmpPacket->m_body[6] = (payload >> 16) & 0xFF;rtmpPacket->m_body[7] = (payload >> 8) & 0xFF;rtmpPacket->m_body[8] = (payload) & 0xFF;六、 設置 H.264 數據幀數據
將 H.264 數據幀數據拷貝到 rtmpPacket->m_body[9] 對應的地址中 , 前面存放了 9 字節的包頭數據 , 這里直接從索引 9 位置開始存放 H.264 視頻幀數據 ;
// H.264 數據幀數據memcpy(&rtmpPacket->m_body[9], p_payload, payload);七、 設置其它數據
設置 RTMP 包類型 , RTMP 包長度 , RTMP 通道 , 時間戳 等信息 ;
// 設置 RTMP 包類型, 視頻類型數據rtmpPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;// 設置 RTMP 包長度rtmpPacket->m_nBodySize = rtmpPackagesize;// 分配 RTMP 通道, 隨意分配rtmpPacket->m_nChannel = 10;// 設置絕對時間, 對于 SPS PPS 賦值 0 即可rtmpPacket->m_hasAbsTimestamp = 0;// 設置頭類型, 隨意設置一個rtmpPacket->m_headerType = RTMP_PACKET_SIZE_MEDIUM;八、 RTMPDump 封裝視頻幀數據代碼示例
/*** 封裝視頻幀 , 關鍵幀 和 非關鍵幀* @param type 視頻幀類型* @param payload 視頻幀大小* @param p_payload 視頻幀數據*/ void VedioChannel::sendFrameToRtmpServer(int type, int payload, uint8_t *p_payload) {// 判定分隔符是 00 00 00 01 還是 00 00 01// 根據 第 2 位 的值判定// 如果 第 2 位 值為 01, 說明分隔符是 00 00 01// 如果 第 2 位 值為 00, 說明分隔符是 00 00 00 01if (p_payload[2] == 0x00){// 識別出分隔符是 00 00 00 01// 要將 x264 編碼出的數據個數減去 4, 只統計實際的數據幀個數payload -= 4;// 從 x264 編碼后的數據向外拿數據時, 越過開始的 00 00 00 01 數據p_payload += 4;} else if(p_payload[2] == 0x01){// 識別出分隔符是 00 00 01// 要將 x264 編碼出的數據個數減去 3, 只統計實際的數據幀個數payload -= 3;// 從 x264 編碼后的數據向外拿數據時, 越過開始的 00 00 01 數據p_payload += 3;}// 創建 RTMP 數據包RTMPPacket *rtmpPacket = new RTMPPacket;/*計算 RTMP 數據包大小幀類型 : 1 字節, 關鍵幀 17, 非關鍵幀 27包類型 : 1 字節, 1 表示數據幀 ( 關鍵幀 / 非關鍵幀 ), 0 表示 AVC 序列頭合成時間 : 3 字節, 設置 00 00 00數據長度 : 4 字節, 賦值 payload 代表的數據長度*/int rtmpPackagesize = 9 + payload;// 為 RTMP 數據包分配內存RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);// 重置 RTMP 數據包RTMPPacket_Reset(rtmpPacket);// 設置幀類型, 非關鍵幀類型 27, 關鍵幀類型 17rtmpPacket->m_body[0] = 0x27;if (type == NAL_SLICE_IDR) {rtmpPacket->m_body[0] = 0x17;}// 設置包類型, 01 是數據幀, 00 是 AVC 序列頭封裝 SPS PPS 數據rtmpPacket->m_body[1] = 0x01;// 合成時間戳, AVC 數據直接賦值 00 00 00rtmpPacket->m_body[2] = 0x00;rtmpPacket->m_body[3] = 0x00;rtmpPacket->m_body[4] = 0x00;// 數據長度, 需要使用 4 位表示rtmpPacket->m_body[5] = (payload >> 24) & 0xFF;rtmpPacket->m_body[6] = (payload >> 16) & 0xFF;rtmpPacket->m_body[7] = (payload >> 8) & 0xFF;rtmpPacket->m_body[8] = (payload) & 0xFF;// H.264 數據幀數據memcpy(&rtmpPacket->m_body[9], p_payload, payload);// 設置 RTMP 包類型, 視頻類型數據rtmpPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;// 設置 RTMP 包長度rtmpPacket->m_nBodySize = rtmpPackagesize;// 分配 RTMP 通道, 隨意分配rtmpPacket->m_nChannel = 10;// 設置絕對時間, 對于 SPS PPS 賦值 0 即可rtmpPacket->m_hasAbsTimestamp = 0;// 設置頭類型, 隨意設置一個rtmpPacket->m_headerType = RTMP_PACKET_SIZE_MEDIUM;// 調用回調接口, 將該封裝好的 RTMPPacket 數據包放入 native-lib 類中的 線程安全隊列中// 這是個 RTMPPacketPackUpCallBack 類型的函數指針rtmpPacketPackUpCallBack(rtmpPacket); } 《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀
總結
以上是生活随笔為你收集整理的【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【Android RTMP】RTMPDu
- 下一篇： 【Android RTMP】RTMPDu