日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔！

生活随笔

當前位置： 首頁 >

【Android RTMP】x264 编码器初始化及设置 ( 获取 x264 编码参数 | 编码规格 | 码率 | 帧率 | B帧个数 | 关键帧间隔 | 关键帧解码数据 SPS PPS )

發布時間：2025/6/17 59 豆豆

文章目錄

  • 安卓直播推流專欄博客總結
  • 一、 x264 編碼器參數設置引入
  • 二、 獲取 x264 編碼器參數
  • 三、 設置 x264 編碼器編碼規格
  • 四、 設置 x264 編碼器編碼圖像數據格式
  • 五、 設置 x264 編碼器 碼率相關參數
  • 六、 設置 x264 編碼器 幀率相關參數
  • 七、 設置 x264 編碼器 編碼幀相關參數
  • 八、 x264 編碼器參數設置代碼示例





安卓直播推流專欄博客總結


Android RTMP 直播推流技術專欄 :


0 . 資源和源碼地址 :

  • 資源下載地址 : 資源下載地址 , 服務器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
  • GitHub 源碼地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;

  • 【Android RTMP】RTMP 直播推流服務器搭建 ( Ubuntu 18.04.4 虛擬機 )

2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :

  • 【Android RTMP】RTMPDumb 源碼導入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構建腳本 )

  • 【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導入函數庫 )

3. 講解 RTMP 數據包封裝格式 :

  • 【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標簽 Tag 分析 | 視頻標簽 Tag 數據分析 )

  • 【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )

4. 圖像數據采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數據 , 并預覽該數據 ;

  • 【Android RTMP】Android Camera 視頻數據采集預覽 ( 視頻采集相關概念 | 攝像頭預覽參數設置 | 攝像頭預覽數據回調接口 )

  • 【Android RTMP】Android Camera 視頻數據采集預覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉 I420 算法 )

  • 【Android RTMP】Android Camera 視頻數據采集預覽 ( 圖像傳感器方向設置 | Camera 使用流程 | 動態權限申請 )

5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :

  • 【Android RTMP】x264 編碼器初始化及設置 ( 獲取 x264 編碼參數 | 編碼規格 | 碼率 | 幀率 | B幀個數 | 關鍵幀間隔 | 關鍵幀解碼數據 SPS PPS )

  • 【Android RTMP】x264 圖像數據編碼 ( Camera 圖像數據采集 | NV21 圖像數據傳到 Native 處理 | JNI 傳輸字節數組 | 局部引用變量處理 | 線程互斥 )

  • 【Android RTMP】x264 圖像數據編碼 ( NV21 格式中的 YUV 數據排列 | Y 灰度數據拷貝 | U 色彩值數據拷貝 | V 飽和度數據拷貝 | 圖像編碼操作 )

6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :

  • 【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 封裝 SPS / PPS 數據包 )

  • 【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 關鍵幀數據格式 | 非關鍵幀數據格式 | x264 編碼后的數據處理 | 封裝 H.264 視頻數據幀 )

  • 【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創建推流器 | 初始化操作 | 設置推流地址 | 啟用寫出 | 連接 RTMP 服務器 | 發送 RTMP 數據包 )

7. 階段總結 : 阿里云服務器中搭建 RTMP 服務器 , 并使用電腦軟件推流和觀看直播內容 ;

  • 【Android RTMP】RTMP 直播推流 ( 阿里云服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )

  • 【Android RTMP】RTMP 直播推流階段總結 ( 服務器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務器狀態查看 )

8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :

  • 【Android RTMP】NV21 圖像旋轉處理 ( 問題描述 | 圖像順時針旋轉 90 度方案 | YUV 圖像旋轉細節 | 手機屏幕旋轉方向 )

  • 【Android RTMP】NV21 圖像旋轉處理 ( 圖像旋轉算法 | 后置攝像頭順時針旋轉 90 度 | 前置攝像頭順時針旋轉 90 度 )

9. 下面這篇博客比較重要 , 里面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;

  • 【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉效果展示 )

10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :

  • 【Android RTMP】音頻數據采集編碼 ( 音頻數據采集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )

  • 【Android RTMP】音頻數據采集編碼 ( FAAC 頭文件與靜態庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )

11. 解析 AAC 音頻格式 :

  • 【Android RTMP】音頻數據采集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標簽解析 | AAC 音頻數據標簽頭 | 音頻解碼配置信息 )

12 . 將麥克風采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :

  • 【Android RTMP】音頻數據采集編碼 ( FAAC 音頻編碼參數設置 | FAAC 編碼器創建 | 獲取編碼器參數 | 設置 AAC 編碼規格 | 設置編碼器輸入輸出參數 )

  • 【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )

  • 【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數據 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )





Android 直播推流流程 : 手機采集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最后將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;


Android 端中主要完成手機端采集視頻數據操作 , 并將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;


本篇博客中在 NDK 層使用 x264 對 Camera 采集到的數據進行編碼 , 將 NV21 格式的視頻數據編碼為 H.264 格式的數據 , 首先要設置 x264 編碼器的參數 ;





一、 x264 編碼器參數設置引入


1 . 圖像數據轉換 : Camera 獲取的是 NV21 格式的圖像數據, 先將 NV21 格式的圖像數據轉為 I420 格式的圖像數據 , 再將 I420 格式的圖像數據編碼為 H.264 格式的視頻數據 ;


2 . 需要使用 x264 開源庫 : 上述圖像格式轉換中 , I420 圖像編碼為 H.264 視頻就需要使用 x264 開源庫 , 這是目前性能最好的開源庫 ;


3 . x264 編碼器參數設置 : 使用 x264 編碼 H.264 視頻之前 , 首先要創建 x264 編碼器 , 然后設置該編碼器參數 ;


4 . 頭文件導入 : 使用 x264 編碼器之前 , 首先導入頭文件 ;

#include <x264.h>

5 . x264 編碼器參數 x264_param_t 類型 : 是一個結構體類型 ;

typedef struct x264_param_t {//... }



二、 獲取 x264 編碼器參數


1 . 獲取 x264 編碼器參數步驟 :


① 聲明 x264 編碼器參數 : 在棧內存中聲明 x264 編碼器參數 , 之后對其進行賦值 ;

// 設置 x264 編碼器參數 x264_param_t x264Param;

② 獲取默認的編碼器參數 : 調用 x264_param_default_preset 方法 , 可以獲取 x264 編碼器默認的參數 ;

x264_param_default_preset(&x264Param, "ultrafast", "zerolatency");

2 . 函數 x264_param_default_preset ( ) 解析 :


① 參數 x264_param_t * 設置 : x264_param_t 類型的 x264 編碼器參數指針 , 即上面聲明的 x264 編碼器參數的地址 ;

② 參數 const char *preset 設置 : 設置編碼速度 , 這里開發直播 , 需要盡快編碼推流 , 這里設置最快的速度 ultrafast ;

static const char * const x264_preset_names[] = { "ultrafast", "superfast", "veryfast", "faster", "fast", "medium", "slow", "slower", "veryslow", "placebo", 0 };

③ 參數 const char *tune 設置 : 視頻編碼場景設置 , 這里選擇 zerolatency 無延遲編碼 , 同樣要求最低延遲 ;

static const char * const x264_tune_names[] = { "film", "animation", "grain", "stillimage", "psnr", "ssim", "fastdecode", "zerolatency", 0 };

④ 函數原型 :

int x264_param_default_preset( x264_param_t *, const char *preset, const char *tune );

上述的最快編碼速度 ultrafast , 和無延遲編碼 zerolatency , 都要求編碼速度要盡可能快 , 代價是犧牲了視頻的質量 ;





三、 設置 x264 編碼器編碼規格


1 . 設置 x264 編碼器編碼規格 : 每個編碼規格都有對應的性能指標要求 , 如下圖的表格 , 設置的 32 編碼規則表示其中的 3.2 級別的 H.264 參數性能 ;

// 編碼規格設定, 32 對應的是 3.2 編碼規格, 該規格下有指定的 碼率, 幀率要求 x264Param.i_level_idc = 32;

2 . H.264 編碼規格 :





四、 設置 x264 編碼器編碼圖像數據格式


1 . 設置 x264 編碼器編碼圖像數據格式 :


① 編碼尺寸設置 : 將 Camera 支持的寬高尺寸 , 設置給該 x264 編碼器參數的 i_width , i_height 字段 ;

② 可設置的輸入圖像格式 : 經過測試 , 只有 X264_CSP_I420 格式能順利編碼成 H.264 視頻數據 ;

/* Colorspace type */ #define X264_CSP_MASK 0x00ff /* */ #define X264_CSP_NONE 0x0000 /* Invalid mode */ #define X264_CSP_I400 0x0001 /* monochrome 4:0:0 */ #define X264_CSP_I420 0x0002 /* yuv 4:2:0 planar */ #define X264_CSP_YV12 0x0003 /* yvu 4:2:0 planar */ #define X264_CSP_NV12 0x0004 /* yuv 4:2:0, with one y plane and one packed u+v */ #define X264_CSP_NV21 0x0005 /* yuv 4:2:0, with one y plane and one packed v+u */ #define X264_CSP_I422 0x0006 /* yuv 4:2:2 planar */ #define X264_CSP_YV16 0x0007 /* yvu 4:2:2 planar */ #define X264_CSP_NV16 0x0008 /* yuv 4:2:2, with one y plane and one packed u+v */ #define X264_CSP_YUYV 0x0009 /* yuyv 4:2:2 packed */ #define X264_CSP_UYVY 0x000a /* uyvy 4:2:2 packed */ #define X264_CSP_V210 0x000b /* 10-bit yuv 4:2:2 packed in 32 */ #define X264_CSP_I444 0x000c /* yuv 4:4:4 planar */ #define X264_CSP_YV24 0x000d /* yvu 4:4:4 planar */ #define X264_CSP_BGR 0x000e /* packed bgr 24bits */ #define X264_CSP_BGRA 0x000f /* packed bgr 32bits */ #define X264_CSP_RGB 0x0010 /* packed rgb 24bits */ #define X264_CSP_MAX 0x0011 /* end of list */ #define X264_CSP_VFLIP 0x1000 /* the csp is vertically flipped */ #define X264_CSP_HIGH_DEPTH 0x2000 /* the csp has a depth of 16 bits per pixel component */

2 . 設置 x264 編碼器編碼圖像數據格式代碼示例 :

// 設置輸入到 x264 編碼器的數據格式, 寬度, 高度等參數 x264Param.i_csp = X264_CSP_I420; x264Param.i_width = mWidth; x264Param.i_height = mHeight;



五、 設置 x264 編碼器 碼率相關參數


碼率有三種模式 : X264_RC_CQP 恒定質量 , X264_RC_CRF 恒定碼率 , X264_RC_ABR 平均碼率 , 這里設置一個平均碼率輸出 ;

x264Param.rc.i_rc_method = X264_RC_ABR; // 設置碼率, 單位是 kbps x264Param.rc.i_bitrate = bitrate / 1000; // 設置最大碼率, 單位 kbps, 該配置與 i_vbv_buffer_size 配套使用 x264Param.rc.i_vbv_max_bitrate = bitrate / 1000 * 1.2; // 該配置與 i_vbv_max_bitrate 配置配套使用, 碼率控制緩沖區大小 x264Param.rc.i_vbv_buffer_size = bitrate / 1000;



六、 設置 x264 編碼器 幀率相關參數


設置 x264 編碼器 幀率相關參數 : 設置幀率相關參數 , 幀率是個有理數 , 使用分數形式表示 , 這里分別定義分子和分母 ;

x264Param.i_fps_num = fps; // 分子 x264Param.i_fps_den = 1; // 分母 x264Param.i_timebase_den = x264Param.i_fps_num; //分子 x264Param.i_timebase_num = x264Param.i_fps_den; //分母



七、 設置 x264 編碼器 編碼幀相關參數


1 . 關鍵幀解碼數據 : 關鍵幀及后面的幀如何解碼 , 需要根據 SPS , PPS 數據進行解碼 ;


2 . 關鍵幀間距 : 這里使用 fps 描述關鍵幀之間的間距 , 2 秒一個關鍵幀 ;



3 . B 幀個數 : B 幀解碼時, 既要參考前面的幀, 又要參考后面的幀 ;


① B 幀存在的意義 : 減小視頻流的大小 ;

② B 幀存在的弊端 : 增加解碼時間 ;

③ 直播場景的選擇 : 直播中實時性性能很重要 , 因此這里選擇不編碼 B 幀 , 直接將 B 幀個數設置為 0 ;



4 . 特殊場景考慮 : 當前開發需求是直播 , 用戶可能在任意時間進入直播間 ;


① 解碼數據 SPS / PPS : 如果關鍵幀后面沒有自帶解碼數據 , 那么用戶如果進入該直播間 , 將無法觀看直播 , 建議關鍵幀攜帶 SPS / PPS 解碼數據 ;

② 關鍵幀間距 : 如果關鍵幀間距太長 , 用戶在關鍵幀空檔期間進入直播間 , 那么需要等到下一個關鍵幀到來 , 才能觀看直播 , 建議將幀間距設置在 10 秒以內 ;

/*關鍵幀數據 I 是否附帶 SPS PPS 數據編碼后, 會輸出圖像編碼后的數據第一個圖像數據輸入到 x264 編碼器后, 進行編碼編碼的第一個圖像編碼出來的數據 肯定是 SPS PPS 關鍵幀 三種數據SPS PPS 作用是告知后續如何解碼視頻中的圖像數據第二個圖像數據輸入到 x264 編碼器后, 進行編碼編碼的第二個圖像編碼出來的數據 是 P 幀后續 n 個圖像編碼出 n 個 P 幀第 n + 3 個圖像又編碼出一個關鍵幀 I任何一個畫面都可以編碼成關鍵幀直播時建議設置成 1因為中途會有新用戶加入, 此時該用戶的播放器必須拿到 SPS PPS 才能解碼畫面否則無法觀看視頻如果設置成 0, 那么就需要開發者自己維護 SPS PPS 數據保證后來的用戶可以看到直播畫面*/ x264Param.b_repeat_headers = 1; // 計算幀間距的依據, 該設置表示使用 fps 幀率計算幀間距 // 兩幀之間間隔多少 fps // 也可以使用時間戳計算幀間距 x264Param.b_vfr_input = 0; /*關鍵幀的間距, 兩個關鍵幀之間的距離fps 表示 1 秒鐘畫面幀的數量, fps * 2 表示 2 秒鐘的幀數該設置表示每隔 2 秒, 采集一個關鍵幀數據關鍵幀間隔時間不能太長關鍵幀間隔不能設置太長, 如設置 10 秒當用戶1觀看直播時, 不影響觀看當用戶2進入房間, 此時剛過去一個關鍵幀, 10秒內沒有關鍵幀該用戶需要等待 10 秒后收到關鍵幀數據后, 才有畫面顯示出來*/ x264Param.i_keyint_max = fps * 2; // 設置 B 幀個數, 這里設置沒有 B 幀, 只有 I 幀和 P 幀 // B 幀解碼時, 既要參考前面的幀, 又要參考后面的幀 // B 幀能減少傳輸的數據量, 但同時降低了解碼速度, 直播中解碼速度必須要快 x264Param.i_bframe = 0;



八、 x264 編碼器參數設置代碼示例


x264 編碼器參數設置代碼示例 :

// 設置 x264 編碼器參數x264_param_t x264Param;/** 獲取 x264 編碼器參數* int x264_param_default_preset( x264_param_t *, const char *preset, const char *tune )* 參數一 : x264_param_t * : x264 編碼參數指針** 參數二 : const char *preset : 設置編碼速度, 這里開發直播, 需要盡快編碼推流,* 這里設置最快的速度 ultrafast, 字符串常量, 值從 下面的參數中選擇 ;* static const char * const x264_preset_names[] = { "ultrafast", "superfast", "veryfast",* "faster", "fast", "medium", "slow", "slower", "veryslow", "placebo", 0 };** 參數三 : const char *tune : 視頻編碼場景設置, 這里選擇 zerolatency 無延遲編碼* static const char * const x264_tune_names[] = { "film", "animation", "grain",* "stillimage", "psnr", "ssim", "fastdecode", "zerolatency", 0 };** 編碼速度快, 意味著犧牲了畫面的質量*/x264_param_default_preset(&x264Param, "ultrafast", "zerolatency");// 編碼規格設定, 32 對應的是 3.2 編碼規格, 該規格下有指定的 碼率, 幀率要求// 參考 https://www.wanweibaike.com/wiki-H.264 中的最大性能級別x264Param.i_level_idc = 32;// 設置輸入到 x264 編碼器的數據格式, 寬度, 高度等參數x264Param.i_csp = X264_CSP_I420;x264Param.i_width = mWidth;x264Param.i_height = mHeight;/*設置碼率相關參數碼率有三種模式 : X264_RC_CQP 恒定質量, X264_RC_CRF 恒定碼率, X264_RC_ABR 平均碼率這里設置一個平均碼率輸出*/x264Param.rc.i_rc_method = X264_RC_ABR;// 設置碼率, 單位是 kbpsx264Param.rc.i_bitrate = bitrate / 1000;// 設置最大碼率, 單位 kbps, 該配置與 i_vbv_buffer_size 配套使用x264Param.rc.i_vbv_max_bitrate = bitrate / 1000 * 1.2;// 該配置與 i_vbv_max_bitrate 配置配套使用, 碼率控制緩沖區大小x264Param.rc.i_vbv_buffer_size = bitrate / 1000;// 設置幀率相關參數, 幀率是個有理數, 使用分數形式表示x264Param.i_fps_num = fps; // 分子x264Param.i_fps_den = 1; // 分母x264Param.i_timebase_den = x264Param.i_fps_num; //分子x264Param.i_timebase_num = x264Param.i_fps_den; //分母// 下面是關于幀的先關設置/*關鍵幀數據 I 是否附帶 SPS PPS 數據編碼后, 會輸出圖像編碼后的數據第一個圖像數據輸入到 x264 編碼器后, 進行編碼編碼的第一個圖像編碼出來的數據 肯定是 SPS PPS 關鍵幀 三種數據SPS PPS 作用是告知后續如何解碼視頻中的圖像數據第二個圖像數據輸入到 x264 編碼器后, 進行編碼編碼的第二個圖像編碼出來的數據 是 P 幀后續 n 個圖像編碼出 n 個 P 幀第 n + 3 個圖像又編碼出一個關鍵幀 I任何一個畫面都可以編碼成關鍵幀直播時建議設置成 1因為中途會有新用戶加入, 此時該用戶的播放器必須拿到 SPS PPS 才能解碼畫面否則無法觀看視頻如果設置成 0, 那么就需要開發者自己維護 SPS PPS 數據保證后來的用戶可以看到直播畫面*/x264Param.b_repeat_headers = 1;// 計算幀間距的依據, 該設置表示使用 fps 幀率計算幀間距// 兩幀之間間隔多少 fps// 也可以使用時間戳計算幀間距x264Param.b_vfr_input = 0;/*關鍵幀的間距, 兩個關鍵幀之間的距離fps 表示 1 秒鐘畫面幀的數量, fps * 2 表示 2 秒鐘的幀數該設置表示每隔 2 秒, 采集一個關鍵幀數據關鍵幀間隔時間不能太長關鍵幀間隔不能設置太長, 如設置 10 秒當用戶1觀看直播時, 不影響觀看當用戶2進入房間, 此時剛過去一個關鍵幀, 10秒內沒有關鍵幀該用戶需要等待 10 秒后收到關鍵幀數據后, 才有畫面顯示出來*/x264Param.i_keyint_max = fps * 2;// 設置 B 幀個數, 這里設置沒有 B 幀, 只有 I 幀和 P 幀// B 幀解碼時, 既要參考前面的幀, 又要參考后面的幀// B 幀能減少傳輸的數據量, 但同時降低了解碼速度, 直播中解碼速度必須要快x264Param.i_bframe = 0;// 是否開啟多線程x264Param.i_threads = 1;

總結

以上是生活随笔為你收集整理的【Android RTMP】x264 编码器初始化及设置 ( 获取 x264 编码参数 | 编码规格 | 码率 | 帧率 | B帧个数 | 关键帧间隔 | 关键帧解码数据 SPS PPS )的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。