ffmpeg码流分析

痛定思痛。 2022-08-27 11:44 189阅读 0赞

#### FFMPEG基本概念： ####

ffmpeg是一个开源的编解码框架，它提供了一个音视频录制，解码和编码库。FFMPEG是在linux下开发的，但也有windows下的编译版本。   
ffmpeg项目由以下几部分组成:   
ffmpeg 视频文件转换命令行工具,也支持经过实时电视卡抓取和编码成视频文件.   
ffserver 基于HTTP(RTSP正在开发中)用于实时广播的多媒体服务器.也支持时间平移   
ffplay 用 SDL和FFmpeg库开发的一个简单的媒体播放器   
libavcodec 一个包含了所有FFmpeg音视频编解码器的库.为了保证最优性能和高可复用性,大多数编解码器从头开发的.   
libavformat 一个包含了所有的普通音视格式的解析器和产生器的库.

#### FFMPEG和VLC关系： ####

在网上很多人都在问FFMPEG和VLC之间是什么关系，网上有位同学的回答最为精辟：“VLC VS FFmpeg == 汽车 VS 发动机”   
FFMPEG和libav的关系：   
libav是FFMPEG的开发人员中独立出来一部分后创建的一个新的工程。当时是因为在ffmpeg的开发邮件列表中经常会有不同的意见，并且产生争论之后独立出来。同时libav开发组将ffmpeg原有的图标变为自己的，同时ffmpeg重新开发了图标：

*Today FFmpeg has received the first legal threat in its existence. Its from a previous root admin of FFmpeg, who now is root admin of the Libav fork of FFmpeg. He claims copyright on the zigzag part of our logo. It has to be noted that he said 4 years ago Credit to whoever came up with the zigzag idea*

*Update May 31/June 1:We have replaced the logo with a better looking one drawn by Hervé Flores.*

#### FFMPEG编译： ####

FFMPEG的源码可以从发下网站中获取：[http://www.ffmpeg.org/。][http_www.ffmpeg.org]   
编译选项可以通过源码中的configure来配置。   
如果要配置外包的包如libfaac,libx264等,可以通过--extra-cflags来指定头文件的文件夹。可以通过--extra-cflags来指定第三方的库文件的位置。如果要编译动态库则可用--enable-shared配置选项来实现。   
如果想编译ffplay必须先安装SDL库。否则无法编译出ffplay。   
而对于SDL库的编译则同其它linux下的安装文件一样。   
而对于第三方库的安装网上到处都有说明。

[http://www.cnblogs.com/MaxIE/archive/2007/02/03/638863.html][http_www.cnblogs.com_MaxIE_archive_2007_02_03_638863.html]

这里有一篇文章可以参考。

ffmpeg源码分析之数据流

本文主要介绍ffmpeg的数据流，在ffmpeg中主要分有三个主要用途用于媒体流的解码播放，媒体流的转换（解码之后再编码）和媒体流录制。

#### 媒体流的解码播放 ####

在ffmpeg中媒体流的解码播放流程如下图：

[![decode][]][decode 1]其主要流程为从媒体文件中读取出媒体流，然后送入媒体格式解码器（ｄｅｍｕｘｅｒ）中去除多余的外衣－－媒体格式。然后送入ｆｆｍｐｅｇ的ｃｏｄｅｃ的ｄｅｃｏｄｅ中进行解码，最终生成显示需要的ＹＵＶ格式的图片，然后再送入类似ＳＤＬ中进行渲染。ffmpeg中媒体流的解码播放流程相对比较来说其最大的难点在于ｐｔｓ的同步，在ｆｆｍｐｅｇ的ｆｆｐｌａｙ中有很好的例子。例子中是启动了多个线程来进行同步的。

#### 媒体流的转换 ####

所谓媒体流的转换分以下几种情况：

一种是格式转换，也相当于我们平时的换衣服一样，只是换个样式，换一种组织样式以适应不同场合的需要。

一种是媒体编码类型的转换，例如将ｃｏｄｅｃ从ｍｐｅｇ４ ｔｏ Ｈ２６４相当于不同的人来买同一个衣服，虽然外表（格式）看起来一样但穿衣服的人已经发生了变化。

一种是媒体编码类型和格式同时转换，例如将格式为ｆｌｖ的转换为ｍｐｅｇ４，同时将ｃｏｄｅｃ从ｍｐｅｇ４ ｔｏ Ｈ２６４相当于不同的人穿了不同的衣服。

其流程如下图：

[![data stream][]][data stream 1]其数据流前半部分同解码流程一样，后半部分则和解码的流程相反。当解析出ＹＵＶ图片之后，然后编码成另外一种ｃｏｄｅｃ，之后再将ｃｏｄｅｃ的数据加上一个外壳形成一个媒体文件然后通过ｂｙｔｅＩｏｃｏｎｔｅｘｔ写入目标文件。

#### 媒体流录制 ####

媒体流的录制过程相当于媒体流转换的后半部分流程从ＹＵＶ文件到ｍｅｄｉａ文件。其流程为：

[![recode][]][recode 1]

#### ＦＦＭＰＥＧ中的ｄｅｃｏｄｅｒ的组织形式： ####

ＦＦＭＰＥＧ中ｃｏｄｅｃ的数据结构如下：

###### typedef struct AVCodec \{ ######

######      const char \*name; ######

######     enum AVMediaType type; ######

######     enum CodecID id; ######

######     int priv\_data\_size; ######

######     int (\*init)(AVCodecContext \*); ######

######     int (\*encode)(AVCodecContext \*, uint8\_t \*buf, int buf\_size, void \*data); ######

######     int (\*close)(AVCodecContext \*); ######

######     int (\*decode)(AVCodecContext \*, void \*outdata, int \*outdata\_size, AVPacket \*avpkt); ######

######     int capabilities; ######

######     struct AVCodec \*next; ######

######     void (\*flush)(AVCodecContext \*); ######

######     const AVRational \*supported\_framerates; ######

######     const enum PixelFormat \*pix\_fmts;       ######

######     const char \*long\_name; ######

######     const int \*supported\_samplerates;       ######

######     const enum SampleFormat \*sample\_fmts;   ######

######     const int64\_t \*channel\_layouts;         ######

###### \} AVCodec; ######

这个数据结构分别用于ｄｅｃｏｄｅｒ和ｅｎｃｏｄｅｒ，当被ｄｅｃｏｄｅｒ所用时函数指针ｅｎｃｏｄｅ为NULL，而当用于ｅｎｃｏｄｅ时其ｄｅｃｏｄｅ为NULL，在ｆｆｍｐｅｇ中通过向全局变量

static AVCodec \*first\_avcodec；

中添加新的ｃｏｄｅｃ变量。在查找的过程也是通过遍历这个链表然后通过ｎａｍｅ来匹配相应的ｃｏｄｅｃ这个过程将会在以后的文章中详细描述。在ｆｆｍｐｅｇ中ｆｏｒｍａｔｅ的组织结构和ｃｏｄｅｃ类似。

[http_www.ffmpeg.org]: http://www.ffmpeg.org/%E3%80%82
[http_www.cnblogs.com_MaxIE_archive_2007_02_03_638863.html]: http://www.cnblogs.com/MaxIE/archive/2007/02/03/638863.html
[http_www.cnblogs.com_qingquan]: http://www.cnblogs.com/qingquan/
[decode]: /images/20220824/19a7213998654135a1093590b03c597a.png
[decode 1]: http://images.cnblogs.com/cnblogs_com/qingquan/201108/201108292205144609.jpg
[data stream]: /images/20220824/703edd8d2a944c8da3271a6cee9662df.png
[data stream 1]: http://images.cnblogs.com/cnblogs_com/qingquan/201108/20110829220516870.jpg
[recode]: /images/20220824/1924e776aa6049488ac88a31957991aa.png
[recode 1]: http://images.cnblogs.com/cnblogs_com/qingquan/201108/201108292205213.jpg