文章目錄

• 安卓直播推流專欄博客總結(jié)
• 一、 NV21 圖像格式與 Camera圖像傳感器方向問題
• 二、 NV21 圖像格式視頻旋轉(zhuǎn)
• • 1. 圖像旋轉(zhuǎn)問題及解決方案 ( 順時(shí)針旋轉(zhuǎn) 90 度 )
  • 2. NV21 圖像格式數(shù)旋轉(zhuǎn)方案
  • 3. 旋轉(zhuǎn)圖像的 飽和度 色彩值 UV
  • 4. 旋轉(zhuǎn)后的 NV21 格式
• 三、 Android 手機(jī)端屏幕旋轉(zhuǎn)方向
• • 1. 獲取手機(jī)屏幕方向
  • 2. Surface.ROTATION_0 正常豎屏方向
  • 3. Surface.ROTATION_90 正常豎屏方向
  • 4. Surface.ROTATION_180 正常豎屏方向
  • 5. Surface.ROTATION_270 正常豎屏方向
• 四、 Android 手機(jī)端屏幕方向獲取代碼示例

安卓直播推流專欄博客總結(jié)

---

Android RTMP 直播推流技術(shù)專欄 :

0 . 資源和源碼地址 :

• 資源下載地址 : 資源下載地址 , 服務(wù)器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
• GitHub 源碼地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服務(wù)器 : 下面的博客中講解了如何在 VMWare 虛擬機(jī)中搭建 RTMP 直播推流服務(wù)器 ;

• 【Android RTMP】RTMP 直播推流服務(wù)器搭建 ( Ubuntu 18.04.4 虛擬機(jī) )

2. 準(zhǔn)備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數(shù)據(jù)包封裝開源庫 :

• 【Android RTMP】RTMPDumb 源碼導(dǎo)入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構(gòu)建腳本 )

• 【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導(dǎo)入函數(shù)庫 )

3. 講解 RTMP 數(shù)據(jù)包封裝格式 :

• 【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標(biāo)簽 Tag 分析 | 視頻標(biāo)簽 Tag 數(shù)據(jù)分析 )

• 【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )

4. 圖像數(shù)據(jù)采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數(shù)據(jù) , 并預(yù)覽該數(shù)據(jù) ;

• 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 視頻采集相關(guān)概念 | 攝像頭預(yù)覽參數(shù)設(shè)置 | 攝像頭預(yù)覽數(shù)據(jù)回調(diào)接口 )

• 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對(duì)比 | NV21 轉(zhuǎn) I420 算法 )

• 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動(dòng)態(tài)權(quán)限申請(qǐng) )

5. NV21 格式的圖像數(shù)據(jù)編碼成 H.264 格式的視頻數(shù)據(jù) :

• 【Android RTMP】x264 編碼器初始化及設(shè)置 ( 獲取 x264 編碼參數(shù) | 編碼規(guī)格 | 碼率 | 幀率 | B幀個(gè)數(shù) | 關(guān)鍵幀間隔 | 關(guān)鍵幀解碼數(shù)據(jù) SPS PPS )

• 【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( Camera 圖像數(shù)據(jù)采集 | NV21 圖像數(shù)據(jù)傳到 Native 處理 | JNI 傳輸字節(jié)數(shù)組 | 局部引用變量處理 | 線程互斥 )

• 【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( NV21 格式中的 YUV 數(shù)據(jù)排列 | Y 灰度數(shù)據(jù)拷貝 | U 色彩值數(shù)據(jù)拷貝 | V 飽和度數(shù)據(jù)拷貝 | 圖像編碼操作 )

6. 將 H.264 格式的視頻數(shù)據(jù)封裝到 RTMP 數(shù)據(jù)包中 :

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 封裝 SPS / PPS 數(shù)據(jù)包 )

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 關(guān)鍵幀數(shù)據(jù)格式 | 非關(guān)鍵幀數(shù)據(jù)格式 | x264 編碼后的數(shù)據(jù)處理 | 封裝 H.264 視頻數(shù)據(jù)幀 )

• 【Android RTMP】RTMPDump 推流過程 ( 獨(dú)立線程推流 | 創(chuàng)建推流器 | 初始化操作 | 設(shè)置推流地址 | 啟用寫出 | 連接 RTMP 服務(wù)器 | 發(fā)送 RTMP 數(shù)據(jù)包 )

7. 階段總結(jié) : 阿里云服務(wù)器中搭建 RTMP 服務(wù)器 , 并使用電腦軟件推流和觀看直播內(nèi)容 ;

• 【Android RTMP】RTMP 直播推流 ( 阿里云服務(wù)器購買 | 遠(yuǎn)程服務(wù)器控制 | 搭建 RTMP 服務(wù)器 | 服務(wù)器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )

• 【Android RTMP】RTMP 直播推流階段總結(jié) ( 服務(wù)器端搭建 | Android 手機(jī)端編碼推流 | 電腦端觀看直播 | 服務(wù)器狀態(tài)查看 )

8. 處理 Camera 圖像傳感器導(dǎo)致的 NV21 格式圖像旋轉(zhuǎn)問題 :

• 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 問題描述 | 圖像順時(shí)針旋轉(zhuǎn) 90 度方案 | YUV 圖像旋轉(zhuǎn)細(xì)節(jié) | 手機(jī)屏幕旋轉(zhuǎn)方向 )

• 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 圖像旋轉(zhuǎn)算法 | 后置攝像頭順時(shí)針旋轉(zhuǎn) 90 度 | 前置攝像頭順時(shí)針旋轉(zhuǎn) 90 度 )

9. 下面這篇博客比較重要 , 里面有一個(gè)快速搭建 RTMP 服務(wù)器的腳本 , 強(qiáng)烈建議使用 ;

• 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 快速搭建 RTMP 服務(wù)器 Shell 腳本 | 創(chuàng)建 RTMP 服務(wù)器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉(zhuǎn)效果展示 )

10. 編碼 AAC 音頻數(shù)據(jù)的開源庫 FAAC 交叉編譯與 Android Studio 環(huán)境搭建 :

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( 音頻數(shù)據(jù)采集編碼 | AAC 高級(jí)音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 頭文件與靜態(tài)庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )

11. 解析 AAC 音頻格式 :

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( AAC 音頻格式解析 | FLV 音頻數(shù)據(jù)標(biāo)簽解析 | AAC 音頻數(shù)據(jù)標(biāo)簽頭 | 音頻解碼配置信息 )

12 . 將麥克風(fēng)采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 音頻編碼參數(shù)設(shè)置 | FAAC 編碼器創(chuàng)建 | 獲取編碼器參數(shù) | 設(shè)置 AAC 編碼規(guī)格 | 設(shè)置編碼器輸入輸出參數(shù) )

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數(shù)據(jù) | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )

---

Android 直播推流流程 : 手機(jī)采集視頻 / 音頻數(shù)據(jù) , 視頻數(shù)據(jù)使用 H.264 編碼 , 音頻數(shù)據(jù)使用 AAC 編碼 , 最后將音視頻數(shù)據(jù)都打包到 RTMP 數(shù)據(jù)包中 , 使用 RTMP 協(xié)議上傳到 RTMP 服務(wù)器中 ;

Android 端中主要完成手機(jī)端采集視頻數(shù)據(jù)操作 , 并將視頻數(shù)據(jù)傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉(zhuǎn)為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數(shù)據(jù)包中 , 上傳到 RTMP 服務(wù)器中 ;

之前的博客中基本實(shí)現(xiàn)了 Camera 采集 NV21 格式圖像并使用 x264 編碼圖像為 H.264 視頻 , 使用 RTMPDump 將 H.264 視頻幀信息打包為 RTMP 數(shù)據(jù)包 , 推流到服務(wù)器端 ;

當(dāng)前的問題是 , 推流到服務(wù)器端的 NV21 格式的圖像被逆時(shí)針旋轉(zhuǎn)了 90 度 ;

一、 NV21 圖像格式與 Camera圖像傳感器方向問題

---

1. Camera 采集畫面并預(yù)覽推流 : 這里注意 , 之前圖像被逆時(shí)針旋轉(zhuǎn)了 90 度 , 設(shè)置了圖像傳感器角度后 , 預(yù)覽圖片糾正過來了 , 但是 Camera 的圖像傳感器采集的 NV21 格式的圖像還是被旋轉(zhuǎn)了 90 度 ;

2 . 電腦端觀看直播效果展示 : 屏幕畫面被逆時(shí)針旋轉(zhuǎn)了 90 度 , 這是因?yàn)橹皵z像頭傳感器只設(shè)置了將預(yù)覽畫面糾正過來 , 但是 NV21 格式的圖像數(shù)據(jù)還是被逆時(shí)針旋轉(zhuǎn)了 90 度的數(shù)據(jù) ;

具體涉及到的圖像格式 , 以及圖像傳感器方向 , 屏幕方向的關(guān)系 , 參考博客 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動(dòng)態(tài)權(quán)限申請(qǐng) )

二、 NV21 圖像格式視頻旋轉(zhuǎn)

---

1. 圖像旋轉(zhuǎn)問題及解決方案 ( 順時(shí)針旋轉(zhuǎn) 90 度 )

圖像旋轉(zhuǎn)問題及解決方案 :

① 問題描述 : 分析上面的畫面 , 可以看到視頻被逆時(shí)針旋轉(zhuǎn)了 90 度 , 即畫面圖像被逆時(shí)針旋轉(zhuǎn)了 90 度 ;

② 解決方案 : 將 Camera 采集的 NV21 格式的圖像順時(shí)針旋轉(zhuǎn) 90 度 , 即可解決上述問題 ;

2. NV21 圖像格式數(shù)旋轉(zhuǎn)方案

NV21 圖像格式數(shù)據(jù)排列 : 以 $4\times 4$ 像素的圖片為例 , 其有 $16$ 個(gè) Y 數(shù)據(jù) , UV 數(shù)據(jù)只有 $4$ 組 , 共 $8$ 個(gè) ;

1 . 數(shù)據(jù)的排列格式如下矩陣 : $16$ 個(gè) Y 數(shù)據(jù)在前 , 然后 $4$ 組 ( $8$ 個(gè) ) VU 數(shù)據(jù)交替存放 ;

$$?\begin{array}{cccc}y1& y2& y3& y4\\ & & & \\ y5& y6& y7& y8\\ & & & \\ y9& y10& y11& y12\\ & & & \\ y13& y14& y15& y16\\ & & & \\ v1& u1& v2& u2\\ & & & \\ v3& u3& v4& u4\end{array}?$$

2 . 旋轉(zhuǎn)像素灰度值 Y : 像素值順時(shí)針 90 度旋轉(zhuǎn)后的樣式 ;

① 旋轉(zhuǎn)矩陣 :

② 旋轉(zhuǎn)后的最終 Y 灰度值 矩陣 :

$$?\begin{array}{cccc}y13& y9& y5& y1\\ & & & \\ y14& y10& y6& y2\\ & & & \\ y15& y11& y7& y3\\ & & & \\ y16& y12& y8& y4\end{array}?$$

3. 旋轉(zhuǎn)圖像的 飽和度 色彩值 UV

旋轉(zhuǎn)圖像的 飽和度 色彩值 UV : UV 數(shù)據(jù)旋轉(zhuǎn)后 , 只是給出了 UV 數(shù)據(jù)的位置 , 還需要將 UV 數(shù)據(jù)按照順序排列 :

① 旋轉(zhuǎn) UV 數(shù)據(jù)矩陣 : 該旋轉(zhuǎn)后只能代表 UV 數(shù)據(jù)組的位置 , 即 第一組 UV 數(shù)據(jù) ( $v3u3$ ) 在左上角 , 第二組 UV 數(shù)據(jù) ( $v1u1$ ) 在右上角 , 第三組 UV 數(shù)據(jù) ( $v4u4$ ) 在左下角 , 第四組 UV 數(shù)據(jù) ( $v2u2$ ) 在右下角 ;

② 旋轉(zhuǎn)后的最終 UV 色彩值 飽和度 矩陣 :

$$?\begin{array}{cccc}v3& u3& v1& u1\\ & & & \\ v4& u4& v2& u2\end{array}?$$

4. 旋轉(zhuǎn)后的 NV21 格式

NV21 格式的圖像的 YUV 值順時(shí)針旋轉(zhuǎn) 90 度后的 YUV 矩陣為 :

$$?\begin{array}{cccc}y13& y9& y5& y1\\ & & & \\ y14& y10& y6& y2\\ & & & \\ y15& y11& y7& y3\\ & & & \\ y16& y12& y8& y4\\ & & & \\ v3& u3& v1& u1\\ & & & \\ v4& u4& v2& u2\end{array}?$$

三、 Android 手機(jī)端屏幕旋轉(zhuǎn)方向

---

1. 獲取手機(jī)屏幕方向

獲取手機(jī)屏幕方向 : 調(diào)用下面的方法 , 可以獲取到 $4$ 個(gè)手機(jī)屏幕方向 ;

mRotation = mActivity.getWindowManager().getDefaultDisplay().getRotation();

調(diào)用上述方法 , 獲取的手機(jī)屏幕方向是 Surface.ROTATION_0 , Surface.ROTATION_90 , Surface.ROTATION_180 , Surface.ROTATION_270 , 四個(gè)常量中的一個(gè)

2. Surface.ROTATION_0 正常豎屏方向

Surface.ROTATION_0 正常豎屏方向 :

① 常量含義 : ROTATION_0 常量代表手機(jī)自然方向逆時(shí)針旋轉(zhuǎn) 0 度, 豎屏 ;

② 方向說明 :

• 頭部 ( 攝像頭的一邊 ) 在上邊
• 尾部 ( Home / 返回 鍵的一邊 ) 在下邊

一般的豎屏操作方式, 也是最常用的方式 ;

3. Surface.ROTATION_90 正常豎屏方向

Surface.ROTATION_90 正常豎屏方向 :

① 常量含義 : ROTATION_90 常量代表手機(jī)自然方向逆時(shí)針旋轉(zhuǎn) 90 度, 橫屏 ;

② 方向說明 :

• 頭部 ( 攝像頭的一邊 ) 在左邊
• 尾部 ( Home / 返回 鍵的一邊 ) 在右邊

一般橫屏操作方式 ;

4. Surface.ROTATION_180 正常豎屏方向

Surface.ROTATION_180 正常豎屏方向 :

① 常量含義 : ROTATION_180 常量代表手機(jī)自然方向逆時(shí)針旋轉(zhuǎn) 180 度, 豎屏 ;

② 方向說明 :

• 頭部 ( 攝像頭的一邊 ) 在下邊
• 尾部 ( Home / 返回 鍵的一邊 ) 在上邊

一般很少這樣操作 ;

5. Surface.ROTATION_270 正常豎屏方向

Surface.ROTATION_270 正常豎屏方向 :

① 常量含義 : ROTATION_270 常量代表手機(jī)自然方向逆時(shí)針旋轉(zhuǎn) 270 度, 橫屏 ;

② 方向說明 :

• 頭部 ( 攝像頭的一邊 ) 在右邊
• 尾部 ( Home / 返回 鍵的一邊 ) 在左邊

一般橫屏操作方式 ;

四、 Android 手機(jī)端屏幕方向獲取代碼示例

---

Android 手機(jī)端屏幕方向獲取代碼示例 :

/*** 設(shè)置 Camera 預(yù)覽方向* 如果不設(shè)置, 視頻是顛倒的* 該方法內(nèi)容拷貝自 {@link Camera#setDisplayOrientation} 注釋, 這是 Google Docs 提供的* @param parameters*/private void setCameraPreviewOrientation(Camera.Parameters parameters) {Camera.CameraInfo info = new Camera.CameraInfo();Camera.getCameraInfo(mCameraFacing, info);/*獲取屏幕相對(duì)于自然方向的角度自然方向就是正常的豎屏方向, 攝像頭在上, Home 鍵在下, 對(duì)應(yīng) Surface.ROTATION_0ROTATION_0 是自然方向逆時(shí)針旋轉(zhuǎn) 0 度, 豎屏頭部 ( 攝像頭的一邊 ) 在上邊尾部 ( Home / 返回 鍵的一邊 ) 在下邊一般豎屏操作方式, 也是最常用的方式ROTATION_90 是自然方向逆時(shí)針旋轉(zhuǎn) 90 度, 橫屏頭部 ( 攝像頭的一邊 ) 在左邊尾部 ( Home / 返回 鍵的一邊 ) 在右邊一般橫屏操作方式ROTATION_180 是自然方向逆時(shí)針旋轉(zhuǎn) 180 度, 豎屏頭部 ( 攝像頭的一邊 ) 在下邊尾部 ( Home / 返回 鍵的一邊 ) 在上邊一般很少這樣操作ROTATION_270 是自然方向逆時(shí)針旋轉(zhuǎn) 270 度, 橫屏頭部 ( 攝像頭的一邊 ) 在右邊尾部 ( Home / 返回 鍵的一邊 ) 在左邊一般很少這樣操作博客中配合截圖說明這些方向*/mRotation = mActivity.getWindowManager().getDefaultDisplay().getRotation();int degrees = 0;switch (mRotation) {case Surface.ROTATION_0:degrees = 0;/*Camera 圖像傳感器采集的數(shù)據(jù)是按照豎屏采集的原來設(shè)置的圖像的寬高是 800 x 400如果屏幕豎過來, 其寬高就變成 400 x 800, 寬高需要交換一下這里需要通知 Native 層的 x264 編碼器, 修改編碼參數(shù) , 按照 400 x 800 的尺寸進(jìn)行編碼需要重新設(shè)置 x264 的編碼參數(shù)*/mOnChangedSizeListener.onChanged(mHeight, mWidth);break;case Surface.ROTATION_90:degrees = 90;break;case Surface.ROTATION_180:degrees = 180;break;case Surface.ROTATION_270:degrees = 270;break;}int result;if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {result = (info.orientation + degrees) % 360;result = (360 - result) % 360; // compensate the mirror} else { // back-facingresult = (info.orientation - degrees + 360) % 360;}mCamera.setDisplayOrientation(result);}

總結(jié)

以上是生活随笔為你收集整理的【Android RTMP】NV21 图像旋转处理 ( 问题描述 | 图像顺时针旋转 90 度方案 | YUV 图像旋转细节 | 手机屏幕旋转方向 )的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。