由于stagefright和openmax運行在兩個不同的進程上,所以他們之間的通訊要經過Binder進行處理,本小結不考慮音頻這一塊,假設視頻為MP4封裝的AVC編碼文件.

?先簡單的看一下stagefright是怎么工作的, stagefright使用event來進行驅動,event調度器和event運行在同一個線程中,播放器向隊列插入event來驅動整個解碼流程,event調度器的工作抽象流程如下:
1． 檢測隊列是否為空,為空則等待event的插入
2． 獲取隊列中的第一個event
3． 計算event所要求的delay time后進行延時操作
4． 將event從隊列中剔除后執行該event
event調度器通過不斷循環這樣的過程來進行調度,在具體代碼中還會根據特殊情況進而改變調度過程,目前event事件有如下幾種:
1． onVideoEvent
2． onStreamDone
3． onBufferingUpdate
4． onCheckAudioStatus
5． onPrepareAsyncEvent

stagefright的播放器類為AwesomePlayer,這個類主要有以下幾個成員(排除Audio部分):
1. mVideoSource(解碼視頻)
2. mVideoTrack(從多媒體文件中讀取視頻數據)
3. mVideoRenderer(對解碼好的視頻進行格式轉換,android使用的格式為RGB565)
4. mISurface(重繪圖層)
5. mQueue(event事件隊列)

stagefright運行時的抽象流程如下:

?

下面以一個mp4文件(avc編碼)來分析AwesomePlayer的抽象工作流程(排除Audio部分)
1) 設置mUri為xxxx.MP4的絕對路徑
2) 啟動mQueue,這會創建一個線程來運行threadEntry,并命名為TimedEventQueue,這個線程就是event調度器
3) 打開mUri所指定的文件,xxxx.MP4文件的頭部為(....ftypisom....),則會選擇MPEG4Extractor來作為分離器
4) 使用MPEG4Extractor對MP4進行音視頻軌道的分離,并返回MPEG4Source類型的視頻軌道給mVideoTrack
5) 根據mVideoTrack中的編碼類型來選擇解碼器,avc的編碼類型會選擇AVCDecoder (假設不使用OMX),并返回給mVideoSource,并設置mVideoSource中的mSource為mVideoTrack
6) 插入onVideoEvent到Queue中,開始解碼播放
7) 通過mVideoSource對象來讀取解析好的視頻buffer
8) 如果解析好的buffer還沒到AV時間戳同步的時刻,則推遲到下一輪操作
9) mVideoRenderer為空,則進行初始化,如果不使用OMX會將mVideoRenderer設置為AwesomeLocalRenderer
10) 通過mVideoRenderer對象將解析好的視頻buffer轉換成RGB565格式并發給display模塊進行圖像繪制
11) 將onVideoEvent重新插入event調度器來循環

OMX IL作為底層解碼部件的集合層,為上層多媒體框架提供了統一的接口,在Android2.2的stagefright中, stagefright使用的是opencore中的OMX IL實現,使用該OMX IL框架需要將mVideoSource設置為OMXCodec類,OMX IL層的對外接口主要有以下幾種:
1) stagefright使用OMX_MasterInit初始化OMX框架,加載component
2) stagefright使用OMX_MasterGetHandle匹配OMX中的component,匹配成功則返回OMX_HANDLETYPE用于OMXCodec與component之間進行通信
3) OMXCodec使用OMX_SendCommand來設置component的狀態,操作component的port
4) OMXCodec使用EventHandler通知OMXCodec的Command執行結果
5) OMXCodec使用OMX_GetParameter和OMX_SetParameter來獲取和設置component的屬性參數
6) OMXCodec使用OMX_UseBuffer設置compoment使用的buffer為OMXCodec分配的buffer
7) OMXCodec使用OMX_EmptyThisBuffer傳遞未解碼的buffer給component,用于解碼
8) OMXCodec使用OMX_FillThisBuffer傳遞空的bffer給component用于存儲解碼后的幀
9) compoment使用EmptyBufferDone通知OMXCodec已完成inputport buffer的讀取
10) compoment使用FillBufferDone通知OMXCodec已完成outputport buffer的填充
初始化流程如下:

?

?

OMX component的數據主要通過port來進行交互,port分為input和output , port通過和OMXCodec共享buffer來進行編解碼,如下圖:

?

?

?

buffer的處理主要由以下4個命令來進行驅動:
? OMXCodec使用OMX_EmptyThisBuffer傳遞未解碼的buffer給component,component收到該命令后會讀取input port buffer中的數據,將其組裝成幀進行解碼,讀取buffer中的數據完成后會調用EmptyBufferDone通知OMXCodec
? compoment使用EmptyBufferDone通知OMXCodec已完成inputport buffer的讀取, OMXCodec收到該命令后會通過mVideoTrack讀取新的視頻buffer到input port的buffer中,并調用OMX_EmptyThisBuffer通知component
? OMXCodec使用OMX_FillThisBuffer傳遞空的bffer給component用于存儲解碼后的幀,component收到該命令后將解碼好的幀數據復制到該buffer上,然后調用FillBufferDone通知OMXCodec
? compoment使用FillBufferDone通知OMXCodec已完成outputport buffer的填充, OMXCodec收到該命令后將解碼好的幀傳遞給mISurface進行圖像繪制,繪制完畢后使用OMX_FillThisBuffer通知component有空的buffer可填充
抽象圖如下:

?

OMX IL中的解碼分成了兩個部分,以AVC的解碼為例:
1) 使用AssemblePartialFrames將input port的buffer組裝成幀
2) 將幀傳遞給AvcDecoder_OMX進行解碼后輸出到output port的buffer中
如下圖:

?

?

假設input port buffer中有2個buffer,分別為buffer_1和buffer_2，并且這兩個buffer所攜帶的數據可構成1幀,則AssemblePartialFrames首先申請一塊內存區域tmp_buffer_1,將buffer_1的有效數據拷貝到tmp_buffer_1上,然后再申請一塊內存區域tmp_buffer_2，申請完后第一步將tmp_buffer_1的數據拷貝到自身的前半部,第二步將buffer_2的有效數據拷貝到后半部來組合成為1幀.
組合完成后將tmp_buffer_2和output port的buffer交給AvcDecoder_OMX進行解碼, AvcDecoder_OMX將解碼后的幀數據拷貝到output port buffer中.

轉載于:https://www.cnblogs.com/shakin/p/4729534.html

總結

以上是生活随笔為你收集整理的stagefright omx小结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。