学习FFMPEG,为Encode Filter做准备

旧城等待， 2022-06-10 02:58 133阅读 0赞

转载请注明出处:http://blog.csdn.net/horkychen  又是一篇早期写的资料。

为了实现一个Encode Filter,较为简单的方法是使用FFMPEG来完成，在我们的Windows CE上则要使用HW Codec来完成。任务要分成两个部分:

1.以FFMPEG实现一个程序，将JPEG文件转为YUY2 (Camera的Frame Data Format),然后转为H.264编码的Video.

JPEG Files -> YUY2 files -> H.264 Video

2.实现一个DMO,来完成Encoder的功能.

针对FFMPEG,没有概念，有一个网站可以参考:

FFMPEG技术  http://www.ffmpeg.com.cn

\[提供Windows SDK和中文文档。\]

下面是转自CSDN的一份文章.

[http://blog.csdn.net/wstarx/archive/2007/04/20/1572393.aspx][http_blog.csdn.net_wstarx_archive_2007_04_20_1572393.aspx]

FFMpeg框架代码阅读

**简介**

FFmpeg是一个集录制、转换、音/视频编码解码功能为一体的完整的开源解决方案。FFmpeg的开发是基于Linux操作系统，但是可以在大多数操作系统中编译和使用。FFmpeg支持MPEG、DivX、MPEG4、AC3、DV、FLV等40多种编码，AVI、MPEG、OGG、Matroska、ASF等90多种解码.

TCPMP, VLC, MPlayer等开源播放器都用到了FFmpeg。

FFmpeg主目录下主要有libavcodec、libavformat和libavutil等子目录。其中libavcodec用于存放各个encode/decode模块，libavformat用于存放muxer/demuxer模块，libavutil用于存放内存操作等常用模块。

以flash movie的flv文件格式为例， muxer/demuxer的flvenc.c和flvdec.c文件在libavformat目录下，encode/decode的mpegvideo.c和h263de.c在libavcodec目录下。

**muxer/demuxer与encoder/decoder定义与初始化**

muxer/demuxer和encoder/decoder在FFmpeg中的实现代码里，有许多相同的地方，而二者最大的差别是muxer和demuxer分别是不同的结构AVOutputFormat与AVInputFormat，而encoder和decoder都是用的AVCodec结构。

muxer/demuxer和encoder/decoder在FFmpeg中相同的地方有：

l         二者都是在main()开始的av\_register\_all()函数内初始化的。

l         二者都是以链表的形式保存在全局变量中的。

muxer/demuxer是分别保存在全局变量AVOutputFormat \*first\_oformat与AVInputFormat \*first\_iformat中的。

encoder/decoder都是保存在全局变量AVCodec \*first\_avcodec中的。

l         二者都用函数指针的方式作为开放的公共接口。

demuxer开放的接口有：

**int (\*read\_probe)(AVProbeData \*);**

**       int(\*read\_header)(struct AVFormatContext \*, AVFormatParameters \*ap);**

**int (\*read\_packet)(struct AVFormatContext \*, AVPacket \*pkt);**

**int (\*read\_close)(struct AVFormatContext \*);**

**int (\*read\_seek)(struct AVFormatContext \*, int stream\_index, int64\_t timestamp, int flags);**

muxer开放的接口有：

**int (\*write\_header)(struct AVFormatContext \*);**

**                   int (\*write\_packet)(struct AVFormatContext \*, AVPacket \*pkt);**

**                int (\*write\_trailer)(struct AVFormatContext \*);**

encoder/decoder的接口都是一样的，只不过二者分别只实现encoder和decoder函数：

**int (\*init)(AVCodecContext \*);**

**               int (\*encode)(AVCodecContext \*, uint8\_t \*buf, int buf\_size, void \*data);**

**               int (\*close)(AVCodecContext \*);**

**                 int (\*decode)(AVCodecContext \*, void \*outdata, int \*outdata\_size, uint8\_t \*buf, int buf\_size);**

仍以flv文件为例来说明muxer/demuxer的初始化。

在libavformat\\allformats.c文件的**av\_register\_all(void)**函数中，通过执行

**REGISTER\_MUXDEMUX(FLV, flv);**

将支持flv 格式的**flv\_muxer**与**flv\_demuxer**变量分别注册到全局变量**first\_oformat**与**first\_iformat**链表的最后位置。

其中**flv\_muxer**在libavformat\\flvenc.c中定义如下：

**AVOutputFormat flv\_muxer = \{**

**    "flv",**

**    "flv format",**

**    "video/x-flv",**

**    "flv",**

**    sizeof(FLVContext),**

**\#ifdef CONFIG\_LIBMP3LAME**

**    CODEC\_ID\_MP3,**

**\#else // CONFIG\_LIBMP3LAME**

**    CODEC\_ID\_NONE,**

**    CODEC\_ID\_FLV1,**

**    flv\_write\_header,**

**    flv\_write\_packet,**

**    flv\_write\_trailer,**

**    .codec\_tag= (const AVCodecTag\*\[\])\{flv\_video\_codec\_ids, flv\_audio\_codec\_ids, 0\},**

**\}**

**AVOutputFormat**结构的定义如下：

**typedef struct AVOutputFormat \{**

**    const char \*name;**

**    const char \*long\_name;**

**    const char \*mime\_type;**

**    const char \*extensions; /\*\*< comma separated filename extensions \*/**

**    /\*\* size of private data so that it can be allocated in the wrapper \*/**

**    int priv\_data\_size;**

**    /\* output support \*/**

**    enum CodecID audio\_codec; /\*\*< default audio codec \*/**

**    enum CodecID video\_codec; /\*\*< default video codec \*/**

**    int (\*write\_header)(struct AVFormatContext \*);**

**    int (\*write\_packet)(struct AVFormatContext \*, AVPacket \*pkt);**

**    int (\*write\_trailer)(struct AVFormatContext \*);**

**    /\*\* can use flags: AVFMT\_NOFILE, AVFMT\_NEEDNUMBER, AVFMT\_GLOBALHEADER \*/**

**    int flags;**

**    /\*\* currently only used to set pixel format if not YUV420P \*/**

**    int (\*set\_parameters)(struct AVFormatContext \*, AVFormatParameters \*);**

**    int (\*interleave\_packet)(struct AVFormatContext \*, AVPacket \*out, AVPacket \*in, int flush);**

** **

**    /\*\***

**     \* list of supported codec\_id-codec\_tag pairs, ordered by "better choice first"**

**     \* the arrays are all CODEC\_ID\_NONE terminated**

**     \*/**

**    const struct AVCodecTag \*\*codec\_tag;**

**    /\* private fields \*/**

**    struct AVOutputFormat \*next;**

**\} AVOutputFormat;**

由**AVOutputFormat**结构的定义可知，**flv\_muxer**变量初始化的第一、第二个成员分别为该muxer的名称与长名称，第三、第四个成员为所对应MIMIE Type和后缀名，第五个成员是所对应的私有结构的大小，第六、第七个成员为所对应的音频编码和视频编码类型ID，接下来就是三个重要的接口函数，该muxer的功能也就是通过调用这三个接口实现的。

**flv\_demuxer**在libavformat\\flvdec.c中定义如下, 与**flv\_muxer**类似，在这儿主要也是设置了5个接口函数，其中**flv\_probe**接口用途是测试传入的数据段是否是符合当前文件格式，这个接口在匹配当前demuxer的时候会用到。

**AVInputFormat flv\_demuxer = \{**

**    "flv",**

**    "flv format",**

**    0,**

**    flv\_probe,**

**    flv\_read\_header,**

**    flv\_read\_packet,**

**    flv\_read\_close,**

**    flv\_read\_seek,**

**    .extensions = "flv",**

**    .value = CODEC\_ID\_FLV1,**

**\};**

在上述**av\_register\_all(void)**函数中通过执行libavcodec\\allcodecs.c文件里的**avcodec\_register\_all(void)**函数来初始化全部的encoder/decoder。

因为不是每种编码方式都支持encode和decode，所以有以下三种注册方式：

**\#define REGISTER\_ENCODER(X,x) \\**

**                    if(ENABLE\_\#\#X\#\#\_ENCODER) register\_avcodec(&x\#\#\_encoder)**

**\#define REGISTER\_DECODER(X,x) \\**

**                  if(ENABLE\_\#\#X\#\#\_DECODER) register\_avcodec(&x\#\#\_decoder)**

**\#define REGISTER\_ENCDEC(X,x)**

** REGISTER\_ENCODER(X,x); REGISTER\_DECODER(X,x)**

如支持flv的**flv\_encoder**和**flv\_decoder**变量就分别是在libavcodec\\mpegvideo.c和libavcodec\\h263de.c中创建的。

**当前muxer/demuxer的匹配**

在FFmpeg的文件转换过程中，首先要做的就是根据传入文件和传出文件的后缀名匹配合适的demuxer和muxer。

匹配上的demuxer和muxer都保存在如下所示，定义在ffmpeg.c里的全局变量**file\_iformat**和**file\_oformat**中：

**static AVInputFormat \*file\_iformat;**

**static AVOutputFormat \*file\_oformat;**

1.         demuxer匹配

在libavformat\\utils.c中的**static AVInputFormat \*av\_probe\_input\_format2(AVProbeData \*pd, int is\_opened, int \*score\_max)**函数用途是根据传入的probe data数据，依次调用每个demuxer的read\_probe接口，来进行该demuxer是否和传入的文件内容匹配的判断。其调用顺序如下：

**void parse\_options(int argc, char \*\*argv, const OptionDef \*options)**

**static void opt\_input\_file(const char \*filename)**

**int av\_open\_input\_file(…… )**

**                                     AVInputFormat \*av\_probe\_input\_format(AVProbeData \*pd, int is\_opened)**

**static AVInputFormat \*av\_probe\_input\_format2(……)**

**opt\_input\_file**函数是在保存在**const OptionDef options\[\]**数组中，用于**void parse\_options(int argc, char \*\*argv, const OptionDef \*options)**中解析argv里的“-i” 参数，也就是输入文件名时调用的。

2.         muxer匹配

与demuxer的匹配不同，muxer的匹配是调用**guess\_format**函数，根据**main( )** 函数的argv里的输出文件后缀名来进行的。

**void parse\_options(int argc, char \*\*argv, const OptionDef \*options)**

**void parse\_arg\_file(const char \*filename)**

**static void opt\_output\_file(const char \*filename)**

**AVOutputFormat \*guess\_format(const char \*short\_name, const char \*filename,**

**                             const char \*mime\_type)**

**当前encoder/decoder的匹配**

在**main( )**函数中除了解析传入参数并初始化demuxer与muxer的**parse\_options( )**函数以外，其他的功能都是在**av\_encode( )**函数里完成的。

在libavcodec\\utils.c中有如下二个函数。

**AVCodec \*avcodec\_find\_encoder(enum CodecID id)**

**                   AVCodec \*avcodec\_find\_decoder(enum CodecID id)**

他们的功能就是根据传入的CodecID，找到匹配的encoder和decoder。

在**av\_encode( )**函数的开头，首先初始化各个**AVInputStream**和**AVOutputStream**，然后分别调用上述二个函数，并将匹配上的encoder与decoder分别保存在**AVInputStream->AVStream \*st->AVCodecContext \*codec->struct AVCodec \*codec**与**AVOutputStream->AVStream \*st->AVCodecContext \*codec->struct AVCodec \*codec**变量中。

**其他主要数据结构**

1.        AVFormatContext

**AVFormatContext**是FFMpeg格式转换过程中实现输入和输出功能、保存相关数据的主要结构。每一个输入和输出文件，都在如下定义的指针数组全局变量中有对应的实体。

**static AVFormatContext \*output\_files\[MAX\_FILES\];**

**static AVFormatContext \*input\_files\[MAX\_FILES\];**

对于输入和输出，因为共用的是同一个结构体，所以需要分别对该结构中如下定义的**iformat**或**oformat**成员赋值。

**struct AVInputFormat \*iformat;**

**    struct AVOutputFormat \*oformat;**

对一个**AVFormatContext**来说，二个成员不能同时有值，即一个**AVFormatContext**不能同时含有demuxer和muxer。

在**main( )**函数开头的**parse\_options( )**函数中找到了匹配的muxer和demuxer之后，根据传入的argv参数，初始化每个输入和输出的**AVFormatContext**结构，并保存在相应的**output\_files**和**input\_files**指针数组中。

在**av\_encode( )**函数中，**output\_files**和**input\_files**是作为函数参数传入后，在其他地方就没有用到了。

2.         AVCodecContext

保存**AVCodec**指针和与codec相关的数据，如video的width、height，audio的sample rate等。**AVCodecContext**中的**codec\_type，codec\_id**二个变量对于encoder/decoder的匹配来说，最为重要。

**enum CodecType codec\_type; /\* see CODEC\_TYPE\_xxx \*/**

**                enum CodecID codec\_id; /\* see CODEC\_ID\_xxx \*/**

** **

如上所示，**codec\_type**保存的是**CODEC\_TYPE\_VIDEO**，**CODEC\_TYPE\_AUDIO**等媒体类型，

**codec\_id**保存的是**CODEC\_ID\_FLV1**，**CODEC\_ID\_VP6F**等编码方式。

以支持flv格式为例，在前述的**av\_open\_input\_file(…… )** 函数中，匹配到正确的**AVInputFormat** demuxer后，通过**av\_open\_input\_stream( )**函数中调用**AVInputFormat**的**read\_header**接口来执行flvdec.c中的**flv\_read\_header( )**函数。在**flv\_read\_header( )**函数内，根据文件头中的数据，创建相应的视频或音频**AVStream**，并设置**AVStream**中**AVCodecContext**的正确的**codec\_type**值。**codec\_id**值是在解码过程中**flv\_read\_packet( )**函数执行时根据每一个packet头中的数据来设置的。

3.         AVStream

**AVStream**结构保存与数据流相关的编解码器，数据段等信息。比较重要的有如下二个成员：

**AVCodecContext \*codec; /\*\*< codec context \*/**

**void \*priv\_data;**

其中**codec**指针保存的就是上节所述的encoder或decoder结构。**priv\_data**指针保存的是和具体编解码流相关的数据，如下代码所示，在ASF的解码过程中，**priv\_data**保存的就是**ASFStream**结构的数据。

**AVStream \*st;**

**ASFStream \*asf\_st;   **

**     … …**

**st->priv\_data = asf\_st;**

4.         AVInputStream/ AVOutputStream

根据输入和输出流的不同，前述的**AVStream**结构都是封装在**AVInputStream**和 **AVOutputStream**结构中，在**av\_encode( )**函数中使用。

**AVInputStream**中还保存的有与时间有关的信息。

**AVOutputStream**中还保存有与音视频同步等相关的信息。

5.         AVPacket

**AVPacket**结构定义如下，其是用于保存读取的packet数据。

**typedef struct AVPacket \{**

**    int64\_t pts;            ///< presentation time stamp in time\_base units**

**    int64\_t dts;            ///< decompression time stamp in time\_base units**

**    uint8\_t \*data;**

**    int   size;**

**    int   stream\_index;**

**    int   flags;**

**    int   duration;        ///< presentation duration in time\_base units (0 if not available)**

**    void (\*destruct)(struct AVPacket \*);**

**    void \*priv;**

**    int64\_t pos;           ///< byte position in stream, -1 if unknown**

**\} AVPacket;**

在**av\_encode( )**函数中，调用**AVInputFormat**的**(\*read\_packet)(struct AVFormatContext \*, AVPacket \*pkt);**接口，读取输入文件的一帧数据保存在当前输入**AVFormatContext**的**AVPacket**成员中。

**av\_encode函数主要流程**

**av\_encode( )**函数是FFMpeg中最重要的函数，编解码和输出等大部分功能都在此函数内完成，因此有必要详细描述一下这个函数的主要流程。

1.         input streams initializing

2.         output streams initializing

3.         encoders and decoders initializing

4.         set meta data information from input file if required.

5.         write output files header

6.         loop of handling each frame

a.       read frame from input file:

b.       decode frame data

c.       encode new frame data

d.       write new frame to output file

7.         write output files trailer

8.         close each encoder and decoder

下载ffmpeg SDK和ffmpeg源代码,将ffmpeg之中/libavcodec中api\_example.c改动了一下，使之可以将YUV数据转为MPEG1 Video。 首先，将JPEG文件很容易转为YUV420数据,命令为:

ffmpeg -y -s 320x240 -i .\\input\\0.jpg .\\output\\0.yuv (我将JPEG都已裁成320x240大小)

然后建立VS2005的工程，两点需要注意:

1. 一定要使用C语言模式编译 (否则会链接失败!)  
   2. 将avcodec.dll, avutil.dll, pthreadGC2.dll拷入程序目录

完整的工程放在Skydrive/Codes/encode.zip中，测试的文件在Skydrive/Test\_Files/output.zip,使用方法是

encode c:\\output\\ c:\\output\\test.mpg

下面是其主要流程:

![1340719843_4387.png][]

6410的MFC有着类似的架构，所以可以先尝试在Windows CE上编译类似的程序来熟悉它的流程!

![1340719937_8059.png][]

\*另外在FFMPEG工程组的网站上，也提供了一组YUV相关的工具，我下载了放到Skydrive/Tools/yuvtools\_v2.zip,其中有一个YUV转SEQ的程序，现在看来对生成Video而言并不是十分必要!

[http_blog.csdn.net_wstarx_archive_2007_04_20_1572393.aspx]: http://blog.csdn.net/wstarx/archive/2007/04/20/1572393.aspx
[1340719843_4387.png]: https://img-my.csdn.net/uploads/201206/26/1340719843_4387.png
[1340719937_8059.png]: https://img-my.csdn.net/uploads/201206/26/1340719937_8059.png