概要

電影文件有很多基本的組成部分。首先，文件本身被稱為容器Container，容器的類型決定了信息被存放在文件中的位置。AVI和Quicktime就是容器的例子。接著，你有一組流，例如，你經(jīng)常有的是一個音頻流和一個視頻流。（一個流只是一種想像出來的詞語，用來表示一連串的通過時間來串連的數(shù)據(jù)元素）。在流中的數(shù)據(jù)元素被稱為幀F(xiàn)rame。每個流是由不同的編碼 器來編碼生成的。編解碼器 描述了實(shí)際的數(shù)據(jù)是如何被編碼Coded和解碼DECoded的，因此它的名字叫做CODEC。Divx和 MP3就是編解碼器的例子。接著從流中被讀出來的叫做包Packets。包是一段數(shù)據(jù)，它包含了一段可以被解碼成方便我們最后在應(yīng)用程序中操作的原始幀的數(shù)據(jù)。根據(jù)我們的目的，每個包包含了完整的幀或者對于音頻來說是許多格式的完整幀。

基本上來說，處理視頻和音頻流是很容易的：

10 從video.avi文件中打開視頻流video_stream

20 從視頻流中讀取包到幀中

30 如果這個幀還不完整，跳到20

40 對這個幀進(jìn)行一些操作

50 跳回到20

在這個程序中使用ffmpeg來處理多種媒體是相當(dāng)容易的，雖然很多程序可能在對幀進(jìn)行操作的時候非常的復(fù)雜。因此在這篇指導(dǎo)中，我們將打開一個文件，讀取里面的視頻流，而且我們對幀的操作將是把這個幀寫到一個PPM文件中。

打開文件

首先，來看一下我們?nèi)绾未蜷_一個文件。通過ffmpeg，你必需先初始化這個庫。（注意在某些系統(tǒng)中必需用<ffmpeg/avcodec.h>和<ffmpeg/avformat.h>來替換）

#include <avcodec.h>

#include <avformat.h>

...

int main(int argc, charg *argv[]) {

av_register_all();

這里注冊了所有的文件格式和編解碼器的庫，所以它們將被自動的使用在被打開的合適格式的文件上。注意你只需要調(diào)用 av_register_all()一次，因此我們在主函數(shù)main()中來調(diào)用它。如果你喜歡，也可以只注冊特定的格式和編解碼器，但是通常你沒有必要這樣做。

現(xiàn)在我們可以真正的打開文件：

AVFormatContext *pFormatCtx;

// Open video file

if(av_open_input_file(&pFormatCtx, argv[1], NULL, 0, NULL)!=0)

return -1; // Couldn't open file

我們通過第一個參數(shù)來獲得文件名。這個函數(shù)讀取文件的頭部并且把信息保存到我們給的AVFormatContext結(jié)構(gòu)體中。最后三個參數(shù)用來指定特殊的文件格式，緩沖大小和格式參數(shù)，但如果把它們設(shè)置為空NULL或者0，libavformat將自動檢測這些參數(shù)。

這個函數(shù)只是檢測了文件的頭部，所以接著我們需要檢查在文件中的流的信息：

// Retrieve stream information

if(av_find_stream_info(pFormatCtx)<0)

return -1; // Couldn't find stream information

這個函數(shù)為pFormatCtx->streams填充上正確的信息。我們引進(jìn)一個手工調(diào)試的函數(shù)來看一下里面有什么：

// Dump information about file onto standard error

dump_format(pFormatCtx, 0, argv[1], 0);

現(xiàn)在pFormatCtx->streams僅僅是一組大小為pFormatCtx->nb_streams的指針，所以讓我們先跳過它直到我們找到一個視頻流。

int i;

AVCodecContext *pCodecCtx;

// Find the first video stream

videoStream=-1;

for(i=0; i<pFormatCtx->nb_streams; i++)

if(pFormatCtx->streams[i]->codec->codec_type==CODEC_TYPE_VIDEO) {

videoStream=i;

break;

}

if(videoStream==-1)

return -1; // Didn't find a video stream

// Get a pointer to the codec context for the video stream

pCodecCtx=pFormatCtx->streams[videoStream]->codec;

流中關(guān)于編解碼器的信息就是被我們叫做"codec context"（編解碼器上下文）的東西。這里面包含了流中所使用的關(guān)于編解碼器的所有信息，現(xiàn)在我們有了一個指向他的指針。但是我們必需要找到真正的編解碼器并且打開它：

AVCodec *pCodec;

// Find the decoder for the video stream

pCodec=avcodec_find_decoder(pCodecCtx->codec_id);

if(pCodec==NULL) {

fprintf(stderr, "Unsupported codec!/n");

return -1; // Codec not found

}

// Open codec

if(avcodec_open(pCodecCtx, pCodec)<0)

return -1; // Could not open codec

有些人可能會從舊的指導(dǎo)中記得有兩個關(guān)于這些代碼其它部分：添加CODEC_FLAG_TRUNCATED到 pCodecCtx->flags和添加一個hack來粗糙的修正幀率。這兩個修正已經(jīng)不在存在于ffplay.c中。因此，我必需假設(shè)它們不再必要。我們移除了那些代碼后還有一個需要指出的不同點(diǎn)：pCodecCtx->time_base現(xiàn)在已經(jīng)保存了幀率的信息。time_base是一個結(jié)構(gòu)體，它里面有一個分子和分母 (AVRational)。我們使用分?jǐn)?shù)的方式來表示幀率是因?yàn)楹芏嗑幗獯a器使用非整數(shù)的幀率（例如NTSC使用29.97fps）。

保存數(shù)據(jù)

現(xiàn)在我們需要找到一個地方來保存幀：

AVFrame *pFrame;

// Allocate video frame

pFrame=avcodec_alloc_frame();

因?yàn)槲覀儨?zhǔn)備輸出保存24位RGB色的PPM文件，我們必需把幀的格式從原來的轉(zhuǎn)換為RGB。FFMPEG將為我們做這些轉(zhuǎn)換。在大多數(shù)項(xiàng)目中（包括我們的這個）我們都想把原始的幀轉(zhuǎn)換成一個特定的格式。讓我們先為轉(zhuǎn)換來申請一幀的內(nèi)存。

// Allocate an AVFrame structure

pFrameRGB=avcodec_alloc_frame();

if(pFrameRGB==NULL)

return -1;

即使我們申請了一幀的內(nèi)存，當(dāng)轉(zhuǎn)換的時候，我們?nèi)匀恍枰粋€地方來放置原始的數(shù)據(jù)。我們使用avpicture_get_size來獲得我們需要的大小，然后手工申請內(nèi)存空間：

uint8_t *buffer;

int numBytes;

// Determine required buffer size and allocate buffer

numBytes=avpicture_get_size(PIX_FMT_RGB24, pCodecCtx->width,

pCodecCtx->height);

buffer=(uint8_t *)av_malloc(numBytes*sizeof(uint8_t));

av_malloc是ffmpeg的malloc，用來實(shí)現(xiàn)一個簡單的malloc的包裝，這樣來保證內(nèi)存地址是對齊的（4字節(jié)對齊或者2字節(jié)對齊）。它并不能保護(hù)你不被內(nèi)存泄漏，重復(fù)釋放或者其它malloc的問題所困擾。

現(xiàn)在我們使用avpicture_fill來把幀和我們新申請的內(nèi)存來結(jié)合。關(guān)于AVPicture的結(jié)成：AVPicture結(jié)構(gòu)體是AVFrame結(jié)構(gòu)體的子集――AVFrame結(jié)構(gòu)體的開始部分與AVPicture結(jié)構(gòu)體是一樣的。

// Assign appropriate parts of buffer to image planes in pFrameRGB

// Note that pFrameRGB is an AVFrame, but AVFrame is a superset

// of AVPicture

avpicture_fill((AVPicture *)pFrameRGB, buffer, PIX_FMT_RGB24,

pCodecCtx->width, pCodecCtx->height);

最后，我們已經(jīng)準(zhǔn)備好來從流中讀取數(shù)據(jù)了。

讀取數(shù)據(jù)

我們將要做的是通過讀取包來讀取整個視頻流，然后把它解碼成幀，最好后轉(zhuǎn)換格式并且保存。

int frameFinished;

AVPacket packet;

i=0;

while(av_read_frame(pFormatCtx, &packet)>=0) {

// Is this a packet from the video stream?

if(packet.stream_index==videoStream) {

// Decode video frame

avcodec_decode_video(pCodecCtx, pFrame, &frameFinished,

packet.data, packet.size);

// Did we get a video frame?

if(frameFinished) {

// Convert the image from its native format to RGB

img_convert((AVPicture *)pFrameRGB, PIX_FMT_RGB24,

(AVPicture*)pFrame, pCodecCtx->pix_fmt,

pCodecCtx->width, pCodecCtx->height);

// Save the frame to disk

if(++i<=5)

SaveFrame(pFrameRGB, pCodecCtx->width,

pCodecCtx->height, i);

}

}

// Free the packet that was allocated by av_read_frame

av_free_packet(&packet);

}

這個循環(huán)過程是比較簡單的：av_read_frame()讀取一個包并且把它保存到AVPacket結(jié)構(gòu)體中。注意我們僅僅申請了一個包的結(jié)構(gòu)體 ――ffmpeg為我們申請了內(nèi)部的數(shù)據(jù)的內(nèi)存并通過packet.data指針來指向它。這些數(shù)據(jù)可以在后面通過av_free_packet()來釋放。函數(shù)avcodec_decode_video()把包轉(zhuǎn)換為幀。然而當(dāng)解碼一個包的時候，我們可能沒有得到我們需要的關(guān)于幀的信息。因此，當(dāng)我們得到下一幀的時候，avcodec_decode_video()為我們設(shè)置了幀結(jié)束標(biāo)志frameFinished。最后，我們使用 img_convert()函數(shù)來把幀從原始格式（pCodecCtx->pix_fmt）轉(zhuǎn)換成為RGB格式。要記住，你可以把一個 AVFrame結(jié)構(gòu)體的指針轉(zhuǎn)換為AVPicture結(jié)構(gòu)體的指針。最后，我們把幀和高度寬度信息傳遞給我們的SaveFrame函數(shù)。

總結(jié)

以上是生活随笔為你收集整理的FFPLAY的原理（一）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。