华为海思MPP媒体处理软件开发学习(基础)
1.系統(tǒng)概述
1.1概述
海思提供的媒體處理軟件平臺(Media Process Platform,簡稱 MPP),可支持應用軟件快速
開發(fā)。該平臺對應用軟件屏蔽了芯片相關的復雜的底層處理,并對應用軟件直接提供
MPI(MPP Program Interface)接口完成相應功能。該平臺支持應用軟件快速開發(fā)以下
功能:輸入視頻捕獲、H.265/H.264/JPEG 編碼、H.265/H.264/JPEG 解碼、視頻輸出顯
示、視頻圖像前處理(包括去噪、增強、銳化)、圖像拼接、圖像幾何矯正、智能、音
頻捕獲及輸出、音頻編解碼等功能。
1.2系統(tǒng)架構
硬件層
硬件層由 Hi35xx 芯片加上必要的外圍器件構成。外圍器件包括 Flash、DDR
(Double Data-Rate)、視頻 Sensor 或 AD、音頻 AD 等。
操作系統(tǒng)層
基于 Linux 或 Huawei LiteOS 的 OS 系統(tǒng)。
操作系統(tǒng)適配層
提供操作系統(tǒng)系統(tǒng)調用基礎函數(shù),屏蔽操作系統(tǒng)差異,支持媒體處理平臺運行在
不同的操作系統(tǒng)上,或相同操作系統(tǒng)不同版本。
媒體處理平臺
基于操作系統(tǒng)適配層,控制芯片完成相應的媒體處理功能。它對應用層屏蔽了硬
件處理細節(jié),并為應用層提供 API 接口完成相應功能。
其他驅動
除媒體處理平臺外,海思為 Hi35xx 芯片的其他相關硬件處理單元提供了相應的驅動,
包括 CIPHER、RTC 等驅動。
應用層
基于海思媒體處理平臺及其他驅動,由用戶開發(fā)的應用軟件系統(tǒng)
1.3海思媒體處理器平臺架構
VI 模塊捕獲視頻圖像,可對其做剪切、去噪等處理,并輸出多路不同分辨率的圖
像數(shù)據(jù)。
解碼模塊對編碼后的視頻碼流進行解碼,并將解析后的圖像數(shù)據(jù)送 VPSS 進行圖
像處理,再送 VO 顯示。可對 H.265/H.264/JPEG 格式的視頻碼流進行解碼。
VPSS 模塊接收 VI 和解碼模塊發(fā)送過來的圖像,可對圖像進行圖像增強、銳化等
處理,并實現(xiàn)同源輸出多路不同分辨率的圖像數(shù)據(jù)用于編碼、預覽或抓拍。
編碼模塊接收 VI 捕獲并經(jīng) VPSS 處理后輸出的圖像數(shù)據(jù),可疊加用戶通過 Region
模塊設置的 OSD 圖像,然后按不同協(xié)議進行編碼并輸出相應碼流。
VO 模塊接收 VPSS 處理后的輸出圖像,可進行播放控制等處理,最后按用戶配置
的輸出協(xié)議輸出給外圍視頻設備。
AVS 接收多路 VI 采集的圖像,進行拼接合成全景圖像。
AI 模塊捕獲音頻數(shù)據(jù),然后 AENC 模塊支持按多種音頻協(xié)議對其進行編碼,最后
輸出音頻碼流。
用戶從網(wǎng)絡或外圍存儲設備獲取的音頻碼流可直接送給 ADEC 模塊,ADEC 支持
解碼多種不同的音頻格式碼流,解碼后數(shù)據(jù)送給 AO 模塊即可播放聲音。
2.系統(tǒng)控制
2.1概述
系統(tǒng)控制根據(jù) Hi35xx 芯片特性,完成硬件各個部件的復位、基本初始化工作,同時負
責完成 MPP(Media Process Platform 媒體處理平臺)系統(tǒng)各個業(yè)務模塊的初始化、去
初始化以及管理 MPP 系統(tǒng)各個業(yè)務模塊的工作狀態(tài)、提供當前 MPP 系統(tǒng)的版本信
息、提供大塊物理內(nèi)存管理等功能。
應用程序啟動 MPP 業(yè)務前,必須完成 MPP 系統(tǒng)初始化工作。同理,應用程序退出
MPP 業(yè)務后,也要完成 MPP 系統(tǒng)去初始化工作,釋放資源。
2.2功能描述
2.2.1視頻緩沖池
所有的視頻輸入通道都可以從公共視頻緩存池中獲取視頻緩存塊用于保存采集的圖像,如圖 2-1 中所示 VI 從公共視頻緩存池 B 中獲取視頻緩存塊 Bm,緩存塊 Bm 經(jīng) VI發(fā)送給 VPSS,輸入緩存塊 Bm 經(jīng)過 VPSS 處理之后被釋放回公共視頻緩存池。假設VPSS 通道的工作模式是 USER,則 VPSS 通道 0 從公共視頻緩存池 B 中獲取緩存塊 Bi作為輸出圖像緩存 buffer 發(fā)送給 VENC,VPSS 通道 1 從公共視頻緩存池 B 中獲取緩存塊 Bk 作為輸出圖像緩存 buffer 發(fā)送給 VO,Bi 經(jīng) VENC 編碼完之后釋放回公共視頻緩存池,Bk 經(jīng) VO 顯示完之后釋放回公共視頻緩存池。
2.2.2系統(tǒng)綁定
MPP 提供系統(tǒng)綁定接口(HI_MPI_SYS_Bind),即通過數(shù)據(jù)接收者綁定數(shù)據(jù)源來建立
兩者之間的關聯(lián)關系(只允許數(shù)據(jù)接收者綁定數(shù)據(jù)源)。綁定后,數(shù)據(jù)源生成的數(shù)據(jù)將
自動發(fā)送給接收者。
2.2.3VI和VPSS的工作模式
VI 和 VPSS 各自的工作模式分為在線,離線,并行模式。
總結
以上是生活随笔為你收集整理的华为海思MPP媒体处理软件开发学习(基础)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 解决嵌入式开发过程中开发板与虚拟机的网络
- 下一篇: 关于华为海思Hi35XX系列开发的思考与