视频编码案例
視頻編碼案例
目錄
1. FFmpeg視頻編碼流程
1. 函數說明
2. av_image_get_buffer_size
int av_image_get_buffer_size(enum AVPixelFormat pix_fmt, int width, int height, int align);3. av_image_alloc
4. av_image_fill_arrays
int av_image_fill_arrays(uint8_t *dst_data[4], int dst_linesize[4], const uint8_t *src, enum AVPixelFormat pix_fmt, int width, int height, int align);2. H.264碼率設置
1. 什么是視頻碼率
2. 設置視頻碼率的必要性
| 480P | 720X480 | 1800Kbps |
| 720P | 1280X720 | 3500Kbps |
| 1080P | 1920X1080 | 8500Kbps |
3. ?機設置碼率建議
| 極低碼率 | (寬X?X3)/4 | 30kbps | 60kbps | 120kbps | 250kbps | 500kbps | 1000kbps |
| 低碼率 | (寬X?X3)/2 | 60kbps | 120kbps | 250kbps | 500kbps | 1000kbps | 2000kbps |
| 中碼率 | (寬X?X3) | 120kbps | 250kbps | 500kbps | 1000kbps | 2000kbps | 4000kbps |
| ?碼率 | (寬X?X3)X2 | 250kbps | 500kbps | 1000kbps | 2000kbps | 4000kbps | 8000kbps |
| 極?碼率 | (寬X?X3)X4 | 500kbps | 1000kbps | 2000kbps | 4000kbps | 8000kbps | 16000kbps |
3. FFmpeg與H264編碼指南
鑒于x264的參數眾多，各種參數的配合復雜，為了使?者?便，x264建議如?特別需要可使?preset和tune設置。這套開發者推薦的參數較為合理，可在此基礎上在調整?些具體參數以符合??需要，?動設定的參數會覆蓋preset和tune?的參數。
使? ffmpeg -h encoder=libx264 命令查詢相關?持的參數
英?地址：https://trac.ffmpeg.org/wiki/Encode/H.264。內容有?定出?，但是可以借鑒學習。
x264是?個 H.264/MPEG4 AVC 編碼器，對于普通?戶通常有兩種碼率控制模式：CRF（Constant Rate Factor)和Two pass ABR。碼率控制是?種決定為每?個視頻幀分配多少?特數的?法，它將決定?件的??和質量的分配。
如果你在編譯和安裝libx264 ??需要幫助，請查看ffmpeg和x264編譯指南：
http://ffmpeg.org/trac/ffmpeg/wiki/CompilationGuide
參考：h264編碼參數
1. CRF（Constant Rate Factor)：
1. 選擇?個CRF值
2. 選擇?個preset和tune
1. preset
2. tune
tune是x264中重要性僅次于preset的選項，它是視覺優化的參數，tune可以理解為視頻偏好（或者視頻類型），tune不是?個單?的參數，?是由?組參數構成-tune來改變參數設置。當前的 tune包括：
如果你不確定使?哪個選項或者說你的輸?與所有的tune皆不匹配，你可以忽略–tune 選項。
你可以使?-tune來查看tune列表，也可以通過x264 --fullhelp來查看tune所采?的參數配置
3. profile
另外?個可選的參數是-profile:v，它可以將你的輸出限制到?個特定的 H.264 profile。?些?常?的或者要被淘汰的設備僅?持有限的選項，?如只?持baseline或者main。
所有的profile 包括：
想要說明H.264 high profile與H.264 main profile的區別就要講到H.264的技術發展了。JVT于2003年完成H.264基本部分標準制定?作，包含baseline profile、extended profile和main profile，分別包括不同的編碼?具。之后JVT?完成了H.264 FRExt（即：Fidelity Range Extensions）擴展部分（Amendment）的制定?作，包括high profile（HP）、high 10 profile（Hi10P）、high 4:2:2 profile（Hi422P）、high 4:4:4 profile（Hi444P）4個profile。
H.264 baseline profile、extended profile和main profile都是針對8位樣本數據、4:2:0格式的視頻序列，FRExt將其擴展到8～12位樣本數據，視頻格式可以為4:2:0、4:2:2、4:4:4，設?了highprofile（HP）、high 10 profile（Hi10P）、high 4:2:2 profile（Hi422P）、high 4:4:4 profile（Hi444P） 4個profile，這4個profile都以main profile為基礎。
在相同配置情況下，High profile（HP）可以?Main profile（MP）節省10%的碼流量，?MPEG-2MP節省60%的碼流量，具有更好的編碼性能。根據應?領域的不同：
擴展閱讀：H264編碼系列之profile & level控制
如果你想讓你的視頻最?化的和?標播放設備兼容(?如?版本的的ios或者所有的android 設備），那么你可以這做：
4. 問題與解答：
不能，但它可以更加精確地控制?標?件??。
與 veryslow相?，它以極?的編碼時間為代價換取了?概1%的視頻質量提升，這是?種收益遞減準則，veryslow 與 slower相?提升了3%；slower 與 slow相?提升了5%；slow 與 medium相?提升了5%~10%。
這是由于rgb->yuv的轉換，如果你轉換到yuv444,它依然是?損的。
不，x264沒有使?（?少現在沒有），有?些私有編碼器使?了GPU加快了編碼速度，但這并不意味著它們經過良好的優化。也有可能還不如x264，或許速度更慢。總的來說，ffmpeg到?前為?還不?持GPU。翻譯注釋：x264在2013版中已經開始?持基于opencl的顯卡加速，?于幀類型的判定。
你需要使?-pix_fmt yuv420p來是你的輸出?持QT 播放器。這是因為對于H.264視頻剪輯蘋果的Quicktime只?持 YUV420顏?空間。否則ffmpeg會根據你的視頻源輸出與Quick time 不兼容的視頻格式或者不是基于ffmpeg的視頻。
4. X264參數之zerolatency的分析
5. YUV編碼成H.264案例
/** * @projectName 08-02-encode_video * @brief 視頻編碼，從本地讀取YUV數據進行H264編碼 */ #include <stdio.h> #include <stdlib.h> #include <string.h>#include <libavcodec/avcodec.h> #include <libavutil/time.h> #include <libavutil/opt.h> #include <libavutil/imgutils.h>int64_t get_time() {return av_gettime_relative() / 1000; // 換算成毫秒 }static int encode(AVCodecContext *enc_ctx, AVFrame *frame, AVPacket *pkt,FILE *outfile) {int ret;/* send the frame to the encoder */if (frame)printf("Send frame %3"PRId64"\n", frame->pts);/* 通過查閱代碼，使用x264進行編碼時，具體緩存幀是在x264源碼進行，* 不會增加avframe對應buffer的reference*/ret = avcodec_send_frame(enc_ctx, frame);if (ret < 0) {fprintf(stderr, "Error sending a frame for encoding\n");return -1;}while (ret >= 0) {ret = avcodec_receive_packet(enc_ctx, pkt);if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {return 0;} else if (ret < 0) {fprintf(stderr, "Error encoding audio frame\n");return -1;}if (pkt->flags & AV_PKT_FLAG_KEY)printf("Write packet flags:%d pts:%3"PRId64" dts:%3"PRId64" (size:%5d)\n",pkt->flags, pkt->pts, pkt->dts, pkt->size);if (!pkt->flags)printf("Write packet flags:%d pts:%3"PRId64" dts:%3"PRId64" (size:%5d)\n",pkt->flags, pkt->pts, pkt->dts, pkt->size);fwrite(pkt->data, 1, pkt->size, outfile);}return 0; }/*** @brief 提取測試文件：ffmpeg -i test_1280x720.flv -t 5 -r 25 -pix_fmt yuv420p yuv420p_1280x720.yuv* 參數輸入: yuv420p_1280x720.yuv yuv420p_1280x720.h264 libx264* @param argc* @param argv* @return*/ int main(int argc, char **argv) {char *in_yuv_file = NULL;char *out_h264_file = NULL;FILE *infile = NULL;FILE *outfile = NULL;const char *codec_name = NULL;const AVCodec *codec = NULL;AVCodecContext *codec_ctx = NULL;AVFrame *frame = NULL;AVPacket *pkt = NULL;int ret = 0;if (argc < 4) {fprintf(stderr, "Usage: %s <input_file out_file codec_name >, argc:%d\n",argv[0], argc);return 0;}in_yuv_file = argv[1]; // 輸入YUV文件out_h264_file = argv[2];codec_name = argv[3];/* 查找指定的編碼器 */codec = avcodec_find_encoder_by_name(codec_name);if (!codec) {fprintf(stderr, "Codec '%s' not found\n", codec_name);exit(1);}codec_ctx = avcodec_alloc_context3(codec);if (!codec_ctx) {fprintf(stderr, "Could not allocate video codec context\n");exit(1);}/* 設置分辨率*/codec_ctx->width = 1280;codec_ctx->height = 720;/* 設置time base */codec_ctx->time_base = (AVRational) {1, 25};codec_ctx->framerate = (AVRational) {25, 1};/* 設置I幀間隔* 如果frame->pict_type設置為AV_PICTURE_TYPE_I, 則忽略gop_size的設置，一直當做I幀進行編碼*/codec_ctx->gop_size = 25; // I幀間隔codec_ctx->max_b_frames = 2; // 如果不想包含B幀則設置為0codec_ctx->pix_fmt = AV_PIX_FMT_YUV420P;//if (codec->id == AV_CODEC_ID_H264) {// 相關的參數可以參考libx264.c的 AVOption options// ultrafast all encode time:2270ms// medium all encode time:5815ms// veryslow all encode time:19836msret = av_opt_set(codec_ctx->priv_data, "preset", "medium", 0);if (ret != 0) {printf("av_opt_set preset failed\n");}ret = av_opt_set(codec_ctx->priv_data, "profile", "main", 0); // 默認是highif (ret != 0) {printf("av_opt_set profile failed\n");}ret = av_opt_set(codec_ctx->priv_data, "tune", "zerolatency", 0); // 直播是才使用該設置 // ret = av_opt_set(codec_ctx->priv_data, "tune","film",0); // 畫質filmif (ret != 0) {printf("av_opt_set tune failed\n");}}/** 設置編碼器參數*//* 設置bitrate */codec_ctx->bit_rate = 3000000; // codec_ctx->rc_max_rate = 3000000; // codec_ctx->rc_min_rate = 3000000; // codec_ctx->rc_buffer_size = 2000000; // codec_ctx->thread_count = 4; // 開了多線程后也會導致幀輸出延遲, 需要緩存thread_count幀后再編程。 // codec_ctx->thread_type = FF_THREAD_FRAME; // 并 設置為FF_THREAD_FRAME/* 對于H264 AV_CODEC_FLAG_GLOBAL_HEADER 設置則只包含I幀，此時sps pps需要從codec_ctx->extradata讀取* 不設置則每個I幀都帶 sps pps sei*/ // codec_ctx->flags |= AV_CODEC_FLAG_GLOBAL_HEADER; // 存本地文件時不要去設置/* 將codec_ctx和codec進行綁定 */ret = avcodec_open2(codec_ctx, codec, NULL);if (ret < 0) {fprintf(stderr, "Could not open codec: %s\n", av_err2str(ret));exit(1);}printf("thread_count: %d, thread_type:%d\n", codec_ctx->thread_count, codec_ctx->thread_type);// 打開輸入和輸出文件infile = fopen(in_yuv_file, "rb");if (!infile) {fprintf(stderr, "Could not open %s\n", in_yuv_file);exit(1);}outfile = fopen(out_h264_file, "wb");if (!outfile) {fprintf(stderr, "Could not open %s\n", out_h264_file);exit(1);}// 分配pkt和framepkt = av_packet_alloc();if (!pkt) {fprintf(stderr, "Could not allocate video frame\n");exit(1);}frame = av_frame_alloc();if (!frame) {fprintf(stderr, "Could not allocate video frame\n");exit(1);}// 為frame分配bufferframe->format = codec_ctx->pix_fmt;frame->width = codec_ctx->width;frame->height = codec_ctx->height;ret = av_frame_get_buffer(frame, 0);if (ret < 0) {fprintf(stderr, "Could not allocate the video frame data\n");exit(1);}// 計算出每一幀的數據 像素格式 * 寬 * 高// 1382400int frame_bytes = av_image_get_buffer_size(frame->format, frame->width,frame->height, 1);printf("frame_bytes %d\n", frame_bytes);uint8_t *yuv_buf = (uint8_t *) malloc(frame_bytes);if (!yuv_buf) {printf("yuv_buf malloc failed\n");return 1;}int64_t begin_time = get_time();int64_t end_time = begin_time;int64_t all_begin_time = get_time();int64_t all_end_time = all_begin_time;int64_t pts = 0;printf("start enode\n");for (;;) {memset(yuv_buf, 0, frame_bytes);size_t read_bytes = fread(yuv_buf, 1, frame_bytes, infile);if (read_bytes <= 0) {printf("read file finish\n");break;}/* 確保該frame可寫, 如果編碼器內部保持了內存參考計數，則需要重新拷貝一個備份目的是新寫入的數據和編碼器保存的數據不能產生沖突*/int frame_is_writable = 1;if (av_frame_is_writable(frame) == 0) { // 這里只是用來測試printf("the frame can't write, buf:%p\n", frame->buf[0]);if (frame->buf && frame->buf[0]) // 打印referenc-counted，必須保證傳入的是有效指針printf("ref_count1(frame) = %d\n", av_buffer_get_ref_count(frame->buf[0]));frame_is_writable = 0;}ret = av_frame_make_writable(frame);if (frame_is_writable == 0) { // 這里只是用來測試printf("av_frame_make_writable, buf:%p\n", frame->buf[0]);if (frame->buf && frame->buf[0]) // 打印referenc-counted，必須保證傳入的是有效指針printf("ref_count2(frame) = %d\n", av_buffer_get_ref_count(frame->buf[0]));}if (ret != 0) {printf("av_frame_make_writable failed, ret = %d\n", ret);break;}int need_size = av_image_fill_arrays(frame->data, frame->linesize, yuv_buf,frame->format,frame->width, frame->height, 1);if (need_size != frame_bytes) {printf("av_image_fill_arrays failed, need_size:%d, frame_bytes:%d\n",need_size, frame_bytes);break;}pts += 40;// 設置ptsframe->pts = pts; // 使用采樣率作為pts的單位，具體換算成秒 pts*1/采樣率begin_time = get_time();ret = encode(codec_ctx, frame, pkt, outfile);end_time = get_time();printf("encode time:%lldms\n", end_time - begin_time);if (ret < 0) {printf("encode failed\n");break;}}/* 沖刷編碼器 */encode(codec_ctx, NULL, pkt, outfile);all_end_time = get_time();printf("all encode time:%lldms\n", all_end_time - all_begin_time);// 關閉文件fclose(infile);fclose(outfile);// 釋放內存if (yuv_buf) {free(yuv_buf);}av_frame_free(&frame);av_packet_free(&pkt);avcodec_free_context(&codec_ctx);printf("main finish, please enter Enter and exit\n");getchar();return 0; }總結
- 上一篇： 音频编码案例
- 下一篇： H264和AAC合成FLV案例