原地址：http://www.jianshu.com/p/27279255f67e

音視頻播放器的工作的具體流程如下圖所示：

播放器工作流程

簡(jiǎn)單的來(lái)說(shuō)包括：解協(xié)議，解封裝，對(duì)音頻和視頻分別進(jìn)行解碼，音視頻同步播放這幾個(gè)部分，各部分詳細(xì)解釋請(qǐng)看后面參考資料。由于我們是分別解碼和播放音頻和視頻的，所以各自播放的節(jié)奏需要同步，否則會(huì)出現(xiàn)音畫(huà)不一致的情況。本文主要介紹一個(gè)簡(jiǎn)單的音視頻同步的方案。

準(zhǔn)備工作

實(shí)現(xiàn)FFMpeg音頻播放

實(shí)現(xiàn)FFMpeg視頻播放

相關(guān)知識(shí)

PTS和DTS
音視頻流中的每一幀都有時(shí)間相關(guān)的信息，其中PTS是播放時(shí)間，DTS是解碼時(shí)間。音頻的PTS和DTS是一致的，而某些視頻各種中可能會(huì)存在DTS和PTS不一致的幀，我們這里主要通過(guò)PTS來(lái)控制播放時(shí)間。對(duì)解碼后的AVFrame使用av_frame_get_best_effort_timestamp可以獲取PTS。

time_base
我們注意到PTS是一個(gè)整形數(shù)據(jù)，time_base是PTS的單位，PTS乘以time_base即可得到實(shí)際時(shí)間。只有AVStream中獲取的time_base才是對(duì)的，其他地方獲取的可能會(huì)有問(wèn)題。

音視頻同步策略
一般來(lái)說(shuō)有三種方式，音頻同步到視頻，視頻同步到音頻，音視頻同步到外部時(shí)間。一般各個(gè)參數(shù)設(shè)置正確音頻就能夠以正常的速度播放，所以把視頻同步到音頻在一般情況下，是一個(gè)簡(jiǎn)單有效的同步策略。本文主要采取這個(gè)方式同步音視頻，來(lái)展示相關(guān)的基本思路。

同步視頻到音頻

獲取解碼的視頻幀時(shí)間。 AVFrame vFrame； AVStream vStream； //...解析視頻獲取vStream，解碼視頻幀獲得vFrame... double timestamp = av_frame_get_best_effort_timestamp(&vFrame)*av_q2d(vStream->time_base);

獲取解碼的音頻幀時(shí)間。 AVFrame aFrame； AVStream aStream； //...將正在播放的音頻時(shí)間點(diǎn)記錄下來(lái)作為基準(zhǔn)... audioClock = aFrame.pkt_pts * av_q2d(aStream->time_base);

音視頻同步邏輯 /* no AV sync correction is done if below the minimum AV sync threshold */ #define AV_SYNC_THRESHOLD_MIN 0.04 /* AV sync correction is done if above the maximum AV sync threshold */ #define AV_SYNC_THRESHOLD_MAX 0.1 /* If a frame duration is longer than this, it will not be duplicated to compensate AV sync */ #define AV_SYNC_FRAMEDUP_THRESHOLD 0.1 /* no AV correction is done if too big error */ #define AV_NOSYNC_THRESHOLD 10.0 double timestamp; //判斷是否有有效的pts if(packet.pts == AV_NOPTS_VALUE) {timestamp = 0; } else {timestamp = av_frame_get_best_effort_timestamp(&vFrame)*av_q2d(vStream->time_base); } //計(jì)算幀率，平均每幀間隔時(shí)間 double frameRate = av_q2d(vStream->avg_frame_rate); frameRate += vFrame.repeat_pict * (frameRate * 0.5); if (timestamp == 0.0) {//按照默認(rèn)幀率播放usleep((unsigned long)(frameRate*1000)); }else {if (fabs(timestamp - audioClock) > AV_SYNC_THRESHOLD_MIN &&fabs(timestamp - audioClock) < AV_NOSYNC_THRESHOLD) {//如果視頻比音頻快，延遲差值播放，否則直接播放，這里沒(méi)有做丟幀處理if (timestamp > audioClock) {usleep((unsigned long)((timestamp - audioClock)*1000000));}} }

工程代碼

EasyPlayer

參考資料

視音頻編解碼技術(shù)零基礎(chǔ)學(xué)習(xí)方法

Tutorial 05: Synching Video

轉(zhuǎn)載于:https://www.cnblogs.com/qcjd/p/9324894.html

總結(jié)

以上是生活随笔為你收集整理的FFmpeg 音视频同步的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。