海思平台OSD的实现(1)
目錄
- 一、海思平臺(tái)OSD理論學(xué)習(xí)
- 1、OSD概述
- 2、海思OSD的4種類(lèi)型
- 3、4種OSD類(lèi)型各自支持的模塊和功能
- 4、海思OSD的幾個(gè)重要概念
- 5、海思平臺(tái)OSD使用方法
- 6、海思平臺(tái)OSD的API和關(guān)鍵數(shù)據(jù)結(jié)構(gòu)
- 二、OSD實(shí)驗(yàn)演示和代碼框架分析
- 1、OSD實(shí)驗(yàn)演示
- 2、OSD代碼框架分析
- 三、OSD代碼實(shí)現(xiàn)分析
- 1、SAMPLE_RGN_CreateVideoRegion()所做的事
- 2、前景和背景透明
- 3、RGN(region)通道屬性分析
- 4、RGN(region)內(nèi)容填充
- 5、動(dòng)態(tài)刷新BMP
- 6、小結(jié)——整體函數(shù)調(diào)用層次
一、海思平臺(tái)OSD理論學(xué)習(xí)
本部分內(nèi)容的學(xué)習(xí)重點(diǎn)參考《HiMPP IPC V2.0 媒體處理軟件開(kāi)發(fā)參考.pdf》
鏈接：https://pan.baidu.com/s/1R5KwdQxVPTXCNJUMCQCFJA 提取碼：onoh --來(lái)自百度網(wǎng)盤(pán)超級(jí)會(huì)員V5的分享1、OSD概述
??OSD是on-screen display的簡(jiǎn)稱，指屏幕菜單式調(diào)節(jié)方式。它通過(guò)顯示在屏幕上的功能菜單達(dá)到調(diào)整各項(xiàng)參數(shù)的目的，不但調(diào)整方便，而且調(diào)整的內(nèi)容也比以上的兩種方式多，增加了失真、會(huì)聚、色溫、消磁等高級(jí)調(diào)整內(nèi)容。像以前顯示器出現(xiàn)的網(wǎng)紋干擾、屏幕視窗不正、磁化等需要送維修廠商維修的故障，舉手之間便可解決。
??另外在OSD選項(xiàng)里還可以調(diào)整顯示的位置、無(wú)動(dòng)作關(guān)閉顯示的時(shí)間。OSD核心是利用字符發(fā)生芯片在顯示器的屏幕上顯示需要的字符。
??技術(shù)方式是：與圖像實(shí)時(shí)同步附加或改變圖像中某些像素的顏色，使之組合成人類(lèi)可以在圖像中辨識(shí)的數(shù)據(jù)。以固定或不固定的方式，改變某個(gè)特定的OSD控制暫存器，即可達(dá)到動(dòng)態(tài)的效果。如：在熒幕上產(chǎn)生由左向右移動(dòng)的OSD字形，只要將控制左右位置的OSD控制暫存器依序填入由小變大或由大變小的數(shù)值，OSD輸出字形自然隨更改的數(shù)值而做左右移動(dòng)。
2、海思OSD的4種類(lèi)型
? Overlay：視頻疊加區(qū)域，其中區(qū)域支持位圖的加載、背景色更新等功能。? OverlayEx：擴(kuò)展視頻疊加區(qū)域，功能與 Overlay 類(lèi)似，支持位圖加載、背景色 更新等。? Cover：視頻遮擋區(qū)域，其中區(qū)域支持純色塊遮擋。? CoverEx：擴(kuò)展視頻遮擋區(qū)域，功能與 Cover 類(lèi)似，支持純色塊遮擋。? OverlayEx/ CoverEx，分別相對(duì)于 Overlay/Cover，功能上類(lèi)似，但是會(huì)引入額 外的系統(tǒng)帶寬， OverlayEx/ CoverEx 由 VGS 疊加到圖像上 ， OverlayEx/ CoverEx 區(qū)域越大，占用 VGS 的性能就越大，當(dāng) VGS 性能不足時(shí)，會(huì)導(dǎo)致幀 率降低。建議只有當(dāng) Overlay/Cover 不支持，或者數(shù)量無(wú)法滿足需求時(shí)，再使 用。VGS是視頻圖形子系統(tǒng)，全稱為Video Graphics Sub-System。支持對(duì)一幅輸入圖像進(jìn)行處理， 如進(jìn)行縮放、格式轉(zhuǎn)換、解壓等處理。正常開(kāi)發(fā)過(guò)程中，我們是不需要管vgs這個(gè)模塊的，但是當(dāng)我們?cè)谛阅懿皇呛艹湓５臅r(shí)候， 為了節(jié)約芯片性能，我們需要用vgs來(lái)替代vpss的功能。具體的做法是將vpss組的屬性能設(shè)置成flase的都設(shè)置成false，那么在vpss性能不夠時(shí) 就會(huì)自動(dòng)用VGA來(lái)替代VPSS3、4種OSD類(lèi)型各自支持的模塊和功能
Argb：透明度、紅、綠、藍(lán)
alpha：透明度
4、海思OSD的幾個(gè)重要概念
(1)區(qū)域?qū)哟?br /> ??區(qū)域?qū)哟伪硎緟^(qū)域的疊加級(jí)別，層次值越大，表示區(qū)域的顯示級(jí)別越高。當(dāng)發(fā)生重疊時(shí)，層次值大的將會(huì)覆蓋層次值小的。如果是同一級(jí)別，則根據(jù)區(qū)域疊加的，先后順序，后疊加的將顯示在上層。將多個(gè)區(qū)域疊加到 VPSS 的同一 GROUP時(shí)，要求每個(gè)區(qū)域的層次值不能與疊加到該 GROUP 的其他區(qū)域?qū)哟沃迪嗤?#xff0c;否則區(qū)域?qū)哟沃迪嗤亩鄠€(gè)區(qū)域中，只能將最后一個(gè)疊加的區(qū)域疊加到 VPSS 的GROUP 上。將多個(gè)層次值相同的區(qū)域疊加到同一個(gè) VENC 的通道上時(shí)，沒(méi)有此限制，都能疊加成功。
(2)位圖填充（針對(duì) Overlay 和 OverlayEx 有效）
??位圖填充是指將位圖的內(nèi)存值填充到區(qū)域內(nèi)存空間中，位圖將會(huì)從區(qū)域的左上角開(kāi)始填充。
??當(dāng)位圖小于區(qū)域時(shí)，只能填充一部分內(nèi)存，剩余部分保持原有值；位
圖大小等于區(qū)域時(shí)，將剛好全部填充；當(dāng)位圖大于區(qū)域時(shí)，位圖只能將自身和區(qū)
域一樣大小的內(nèi)存信息填充到區(qū)域中。
??位圖填充支持兩種實(shí)現(xiàn)方式：其一、用戶通過(guò)HI_MPI_RGN_SetBitMap 接口將位圖數(shù)據(jù)拷貝至內(nèi)部顯示畫(huà)布；其二、用戶通過(guò) HI_MPI_RGN_GetCanvasInfo 獲取內(nèi)部備份顯示畫(huà)布的地址，直接對(duì)該地址數(shù)據(jù)進(jìn)行更新，然后調(diào)用HI_MPI_RGN_UpdateCanvas 接口將備份顯示畫(huà)布更新為待顯示畫(huà)布，達(dá)到實(shí)現(xiàn)更新位圖數(shù)據(jù)的目的。
(3)區(qū)域公共屬性
??用戶創(chuàng)建一個(gè)區(qū)域時(shí)，需要設(shè)置該屬性信息，它包含公共的資源信息。例如，Overlay 包含像素格式，大小和背景色。
(4)通道顯示屬性
??通道顯示屬性表明區(qū)域在某通道的顯示特征。例如， Overlay 的通道顯示屬性包含顯示位置，層次，前景 Alpha，背景 Alpha，還有編碼用到的 QP 信息。當(dāng)通道顯示屬性中的區(qū)域是否顯示(bShow)為 TRUE 時(shí)，表示顯示在該通道中；反之，表示在該通道中存在，但處于隱藏狀態(tài)。
(5)區(qū)域反色
??當(dāng)區(qū)域疊加到視頻上顯示時(shí)，如果視頻背景與疊加區(qū)域的亮度色度相近，往往會(huì)導(dǎo)致背景與區(qū)域很難進(jìn)行區(qū)分。區(qū)域反色功能即針對(duì)這種場(chǎng)景，自適應(yīng)背景的變化，對(duì)區(qū)域的亮度色度進(jìn)行調(diào)整，實(shí)現(xiàn)區(qū)域清晰可見(jiàn)。
??區(qū)域反色功能支持實(shí)現(xiàn)方式如下：通過(guò) VPSS 提供的區(qū)域亮度和統(tǒng)計(jì)功能。用戶可實(shí)時(shí)獲取視頻序列中每個(gè)待疊加區(qū)域背景的亮度統(tǒng)計(jì)，然后利用 TDE 的 ROP功能，對(duì)區(qū)域進(jìn)行手動(dòng)的反色處理，最后通過(guò) VPSS 將該反色后的區(qū)域疊加到視頻上。
(6)區(qū)域QP保護(hù)
??當(dāng)區(qū)域疊加到視頻上進(jìn)行壓縮編碼時(shí)，為了保證疊加區(qū)域的清晰度不因?yàn)閿?shù)據(jù)壓縮而變模糊，可以單獨(dú)設(shè)定疊加區(qū)域部分的壓縮特性，即設(shè)定 QP 保護(hù)功能參數(shù)。 QP 保護(hù)功能是 Overlay 特有的功能，且僅針對(duì) H.264/H.265 類(lèi)型編碼通道有效，對(duì)其它類(lèi)型無(wú)效。
5、海思平臺(tái)OSD使用方法
(1)用戶填充區(qū)域?qū)傩圆?chuàng)建區(qū)域
(2)將該區(qū)域指定到具體通道中(如 VENC)
??以上步驟完成區(qū)域的創(chuàng)建和使用。用戶還可以通過(guò)以下操作來(lái)控制區(qū)域?qū)傩砸约霸谀惩ǖ赖耐ǖ里@示屬性.
(3)通過(guò) HI_MPI_RGN_GetAttr、 HI_MPI_RGN_SetAttr 獲取和設(shè)置區(qū)域?qū)傩?/p>
(4)通過(guò) HI_MPI_RGN_SetBitMap(僅針對(duì) Overlay)設(shè)置區(qū)域的位圖信息
(5)通過(guò) HI_MPI_RGN_GetDisplayAttr 和 HI_MPI_RGN_SetDisplayAttr 獲取和設(shè)置區(qū)域在某通道（如 VENC 通道）的通道顯示屬性。
(6)最后用戶可以將該區(qū)域從通道中撤出（非必須操作），再銷(xiāo)毀區(qū)域
6、海思平臺(tái)OSD的API和關(guān)鍵數(shù)據(jù)結(jié)構(gòu)
區(qū)域管理模塊主要提供區(qū)域資源的控制管理功能，包括區(qū)域的創(chuàng)建、銷(xiāo)毀，獲取與設(shè) 置區(qū)域?qū)傩?#xff0c;獲取與設(shè)置區(qū)域的通道顯示屬性等。 該功能模塊提供以下 MPI：HI_MPI_RGN_Create：創(chuàng)建區(qū)域。HI_MPI_RGN_Destroy：銷(xiāo)毀區(qū)域。HI_MPI_RGN_GetAttr：獲取區(qū)域?qū)傩訦I_MPI_RGN_SetAttr：設(shè)置區(qū)域?qū)傩浴I_MPI_RGN_SetBitMap：設(shè)置區(qū)域位圖。HI_MPI_RGN_SetAttachField：設(shè)置區(qū)域要疊加到的幀/場(chǎng)標(biāo)志。HI_MPI_RGN_GetAttachField：獲取區(qū)域要疊加到的幀/場(chǎng)標(biāo)志。HI_MPI_RGN_AttachToChn：將區(qū)域疊加到通道上。HI_MPI_RGN_DetachFromChn：將區(qū)域從通道中撤出。HI_MPI_RGN_SetDisplayAttr：設(shè)置區(qū)域的通道顯示屬性。HI_MPI_RGN_GetDisplayAttr：獲取區(qū)域的通道顯示屬性。HI_MPI_RGN_GetCanvasInfo：獲取區(qū)域畫(huà)布信息。HI_MPI_RGN_UpdateCanvas：更新區(qū)域畫(huà)布信息。以上API具體參數(shù)及使用方法和一些關(guān)鍵數(shù)據(jù)結(jié)構(gòu)參考：《HiMPP IPC V2.0 媒體處理軟件開(kāi)發(fā)參考.pdf》
二、OSD實(shí)驗(yàn)演示和代碼框架分析
1、OSD實(shí)驗(yàn)演示
在畫(huà)面中添加了四個(gè)水印。
2、OSD代碼框架分析
使用SourceInsight軟件創(chuàng)建工程，分析源碼。源碼鏈接如下：
鏈接：https://pan.baidu.com/s/1fV8TqpLtbH6YljoNKPRV3Q 提取碼：67pc --來(lái)自百度網(wǎng)盤(pán)超級(jí)會(huì)員V5的分享以sample_venc.c文件為重點(diǎn)進(jìn)行分心，main主函數(shù)也在該文件。
main()SAMPLE_VENC_720P_CLASSIC()SAMPLE_RGN_CreateVideoRegion();HH_OSD_Init(); //實(shí)現(xiàn)靜態(tài)內(nèi)容HH_OSD_All_Refresh();//實(shí)現(xiàn)動(dòng)態(tài)內(nèi)容
??只要綁定好，剩下的工作都是自動(dòng)的，因?yàn)楹Ｋ嫉膍pp框架都已經(jīng)實(shí)現(xiàn)好了，內(nèi)部開(kāi)啟了多個(gè)線程進(jìn)行工作。
三、OSD代碼實(shí)現(xiàn)分析
1、SAMPLE_RGN_CreateVideoRegion()所做的事
執(zhí)行該函數(shù)所產(chǎn)生的效果：
(1)函數(shù)調(diào)用關(guān)系
(2)RGN(region,區(qū)域)畫(huà)布尺寸計(jì)算：以像素為單位。原始圖像是bpp24的，每個(gè)像素3字節(jié)。而畫(huà)布的圖像是ARGB1555的，所以每個(gè)像素是2字節(jié)。所以畫(huà)布每一行的像素?cái)?shù)是圖像寬度*3/2 。
(3)整個(gè)圖像的坐標(biāo)系是左上角是(0,0)點(diǎn)，寬度方向是x，高度方向是y
2、前景和背景透明
(1)所謂前景foreground，就是圖片中顯示的內(nèi)容部分；所謂背景background，就是圖片中沒(méi)有內(nèi)容的部分。
(2)前景和背景的透明度范圍都是0-128，其中0代表全透明，128代表全不透明
(3)前景和背景透明度可以同時(shí)設(shè)置，各自起作用，互不影響。
(4)stRgnAttr.unAttr.stOverlay.u32BgColor是RGN的畫(huà)布（canvas，等同于LCD顯示時(shí)的顯存fb）的背景顏色。也就是畫(huà)布中沒(méi)有被填充的部分默認(rèn)顯示的顏色。
3、RGN(region)通道屬性分析
HI_S32 SAMPLE_RGN_CreateOverlayForVenc(HI_U32 u32ChnId, RGN_HANDLE Handle, HI_U32 u32X, HI_U32 u32Y, HI_U32 u32Width, HI_U32 u32Height) {//printf("u32X = %d u32Y = %d \n",u32X,u32Y);HI_S32 s32Ret = 0;MPP_CHN_S stChn;RGN_ATTR_S stRgnAttr;RGN_CHN_ATTR_S stChnAttr;/* Add cover to vpss group */stChn.enModId = HI_ID_VENC;stChn.s32DevId = 0;stChn.s32ChnId = u32ChnId/*0*/;stRgnAttr.enType = OVERLAY_RGN;stRgnAttr.unAttr.stOverlay.enPixelFmt = PIXEL_FORMAT_RGB_1555;//像素格式stRgnAttr.unAttr.stOverlay.stSize.u32Width = u32Width; //16x, value=bmp's Widthx3/2stRgnAttr.unAttr.stOverlay.stSize.u32Height = u32Height; //16x//stRgnAttr.unAttr.stOverlay.u32CanvasNum = 4; //Max:6stRgnAttr.unAttr.stOverlay.u32BgColor = 0xffffffff;//背景色s32Ret = HI_MPI_RGN_Create(Handle, &stRgnAttr);if (s32Ret != HI_SUCCESS){printf("--@@_1 HI_MPI_RGN_Create failed! s32Ret: 0x%x.\n", s32Ret);return s32Ret;}// 以下的內(nèi)容是進(jìn)行通道屬性的設(shè)置stChnAttr.bShow = HI_TRUE ; //region是否顯示stChnAttr.enType = OVERLAY_RGN;//OSD類(lèi)型stChnAttr.unChnAttr.stOverlayChn.stPoint.s32X = u32X; //區(qū)域的X坐標(biāo)stChnAttr.unChnAttr.stOverlayChn.stPoint.s32Y = u32Y; //區(qū)域的y坐標(biāo)stChnAttr.unChnAttr.stOverlayChn.u32BgAlpha = 0; //背景透明度，透明度范圍0-128stChnAttr.unChnAttr.stOverlayChn.u32FgAlpha = 128;//前景透明度stChnAttr.unChnAttr.stOverlayChn.u32Layer = 4 /*7 Handle*/;//區(qū)域?qū)哟?/span>// below para must keepstChnAttr.unChnAttr.stOverlayChn.stQpInfo.bAbsQp = HI_FALSE ;//是否開(kāi)啟qp區(qū)域保護(hù)stChnAttr.unChnAttr.stOverlayChn.stQpInfo.s32Qp = 0;stChnAttr.unChnAttr.stOverlayChn.stQpInfo.bQpDisable = HI_FALSE ;// 區(qū)域反色功能相關(guān)的stChnAttr.unChnAttr.stOverlayChn.stInvertColor.stInvColArea.u32Height = 48/*16 * (Handle % 2 + 1)*/;stChnAttr.unChnAttr.stOverlayChn.stInvertColor.stInvColArea.u32Width = 48/*16 * (Handle % 2 + 1)*/;stChnAttr.unChnAttr.stOverlayChn.stInvertColor.u32LumThresh = 128;stChnAttr.unChnAttr.stOverlayChn.stInvertColor.enChgMod = LESSTHAN_LUM_THRESH;stChnAttr.unChnAttr.stOverlayChn.stInvertColor.bInvColEn = HI_FALSE ;s32Ret = HI_MPI_RGN_AttachToChn(Handle, &stChn, &stChnAttr);//將區(qū)域疊加到通道上if (s32Ret != HI_SUCCESS){printf("HI_MPI_RGN_AttachToChn failed! s32Ret: 0x%x.\n", s32Ret);return s32Ret;}return HI_SUCCESS; }4、RGN(region)內(nèi)容填充
HI_S32 SAMPLE_RGN_Add(unsigned int Handle,int Type) {//printf("-------------------%s add rgn %d --------------------\n",__func__,Type);HI_S32 s32Ret = HI_SUCCESS;RGN_ATTR_S stRgnAttrSet;RGN_CANVAS_INFO_S stCanvasInfo;BITMAP_S stBitmap;SIZE_S stSize;/* Photo logo */s32Ret = HI_MPI_RGN_GetAttr(Handle/*VencOsdHandle*/, &stRgnAttrSet);//獲取區(qū)域?qū)傩?/span>if (HI_SUCCESS != s32Ret){printf("HI_MPI_RGN_GetAttr failed! s32Ret: 0x%x.\n", s32Ret);return s32Ret;}s32Ret = HI_MPI_RGN_GetCanvasInfo(Handle/*VencOsdHandle*/, &stCanvasInfo);//獲取區(qū)域畫(huà)布信息if (HI_SUCCESS != s32Ret){printf("HI_MPI_RGN_GetCanvasInfo failed! s32Ret: 0x%x.\n", s32Ret);return s32Ret;}stBitmap.pData = (void*)stCanvasInfo.u32VirtAddr;//位圖數(shù)據(jù)stSize.u32Width = stCanvasInfo.stSize.u32Width;//位圖寬度stSize.u32Height = stCanvasInfo.stSize.u32Height;//位圖高度s32Ret = SAMPLE_RGN_UpdateCanvas(Type, &stBitmap, HI_TRUE , 0x0000, &stSize, stCanvasInfo.u32Stride,stRgnAttrSet.unAttr.stOverlayEx.enPixelFmt);if (HI_SUCCESS != s32Ret)//將要顯示的內(nèi)容丟到備份的內(nèi)存中，等待使用{printf("SAMPLE_RGN_UpdateCanvas failed! s32Ret: 0x%x.\n", s32Ret);return s32Ret;}s32Ret = HI_MPI_RGN_UpdateCanvas(Handle/*VencOsdHandle*/);//更新區(qū)域畫(huà)布信息if (HI_SUCCESS != s32Ret)//將備份內(nèi)存中的數(shù)據(jù)直接刷到畫(huà)布去顯示{printf("HI_MPI_RGN_UpdateCanvas failed! s32Ret: 0x%x.\n", s32Ret);return s32Ret;}return HI_SUCCESS; }(1)程序中會(huì)有一個(gè)RGB888向ARGB1555轉(zhuǎn)的過(guò)程。
(2)BMP圖片中存儲(chǔ)圖像的像素順序，和RGN的canvas里像素順序是不同的。
這部分內(nèi)容涉及到了bmp圖片的解析以及如何顯示，若是之前未了解過(guò)該方面的知識(shí)，可參考我的《BMP圖片顯示原理》
5、動(dòng)態(tài)刷新BMP
??將上圖中這些帶有數(shù)字的圖片不斷切換顯示，形成數(shù)字變化的效果。
總結(jié)：左下角的就是單bmp圖片OSD，靜態(tài)的；右下角是多BMP圖片組合，且動(dòng)態(tài)刷新顯示。
6、小結(jié)——整體函數(shù)調(diào)用層次
SAMPLE_RGN_CreateVideoRegionSAMPLE_RGN_CreateOverlayForVencHI_MPI_RGN_Create //創(chuàng)建一個(gè)區(qū)域HI_MPI_RGN_AttachToChn //將區(qū)域疊加到通道上SAMPLE_RGN_AddHI_MPI_RGN_GetAttr //獲取區(qū)域?qū)傩?/span>HI_MPI_RGN_GetCanvasInfo //獲取區(qū)域畫(huà)布信息SAMPLE_RGN_UpdateCanvas //將要顯示的內(nèi)容丟到備份的內(nèi)存中，等待使用SAMPLE_RGN_CreateSurfaceByCanvas //解析BMP數(shù)據(jù)，創(chuàng)建要顯示的內(nèi)容SAMPLE_RGN_LoadCanvasEx 加載數(shù)據(jù)SAMPLE_RGN_LoadBMPCanvas_Logo//獲取要顯示的logo數(shù)據(jù)GetBmpInfo //得到bmp圖片的信息mallocfseekfreadOSD_MAKECOLOR_U16 //RGB888向ARGB1555轉(zhuǎn)的過(guò)程 HI_MPI_RGN_UpdateCanvas //更新區(qū)域畫(huà)布信息SAMPLE_RGN_CreateOverlayForVencpthread_create(&osd_ThreadId, NULL, SAMPLE_RGN_AddVideoTimestamp, NULL);SAMPLE_RGN_AddVideoTimestampSAMPLE_RGN_AddHI_MPI_RGN_GetAttr //獲取區(qū)域?qū)傩?/span>HI_MPI_RGN_GetCanvasInfo //獲取區(qū)域畫(huà)布信息SAMPLE_RGN_UpdateCanvas //將要顯示的內(nèi)容丟到備份的內(nèi)存中，等待使用SAMPLE_RGN_CreateSurfaceByCanvas //解析BMP數(shù)據(jù)，創(chuàng)建要顯示的內(nèi)容SAMPLE_RGN_LoadCanvasEx //加載數(shù)據(jù)SAMPLE_RGN_LoadBMPCanvas_TimeSmap//通過(guò)動(dòng)態(tài)刷新bmp圖片顯示時(shí)間注：本文章參考了《朱老師物聯(lián)網(wǎng)大講堂》課程筆記，并結(jié)合了自己的實(shí)際開(kāi)發(fā)經(jīng)歷以及網(wǎng)上他人的技術(shù)文章，綜合整理得到。如有侵權(quán)，聯(lián)系刪除！水平有限，歡迎各位在評(píng)論區(qū)交流。
總結(jié)
以上是生活随笔為你收集整理的海思平台OSD的实现(1)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 深度学习图像视频压缩技术
- 下一篇： Cross-sell and Up-se