FLV封装格式介绍及解析

朱雀 2021-09-24 07:48 470阅读 0赞

# **FLV封装格式** #

FLV(Flash Video)是Adobe公司推出的一种流媒体格式，由于其封装后的音视频文件体积小、封装简单等特点，非常适合于互联网上使用。目前主流的视频网站基本都支持FLV。采用FLV格式封装的文件后缀为.flv。

FLV封装格式是由一个文件头(flie header)和 文件体(file Body)组成。其中，FLV body由一对对的(Previous Tag Size字段 + tag)组成。Previous Tag Size字段 排列在Tag之前，占用4个字节。Previous Tag Size记录了前面一个Tag的大小，用于逆向读取处理。FLV header后的第一个Pervious Tag Size的值为0。Tag一般可以分为3种类型：脚本(帧)数据类型、音频数据类型、视频数据。FLV数据以大端序进行存储，在解析时需要注意。一个标准FLV文件结构如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70][]

FLV文件的详细内容结构如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 1][]

FLV文件详细内容结构

## **FLV header** ##

注：在下面的数据type中，UI表示无符号整形，后面跟的数字表示其长度是多少位。比如UI8，表示无法整形，长度一个字节。UI24是三个字节,UI\[8\*n\]表示多个字节。UB表示位域，UB5表示一个字节的5位。可以参考c中的位域结构体。

FLV头占9个字节，用来标识文件为FLV类型，以及后续存储的音视频流。一个FLV文件，每种类型的tag都属于一个流，也就是一个flv文件最多只有一个音频流，一个视频流，不存在多个独立的音视频流在一个文件的情况。FLV头的结构如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 2][]

## **FLV Body** ##

FLV Header之后，就是FLV File Body.FLV File Body是由一连串的back-pointers + tags构成。Back-pointer表示Previous Tag Size(前一个tag的字节数据长度)，占4个字节。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 3][]

## **FLV Tag** ##

每一个Tag也是由两部分组成:tag header 和 tag data。Tag Header里存放的是当前tag的类型、数据区(tag data)的长度等信息。tag header一般占11个字节的内存空间。FLV tag结构如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 4][]  
FLV Tag的类型可以是视频、音频和Script(脚本类型)，下面分别介绍这三种Tag类型

### **Script Tag Data结构(脚本类型、帧类型)** ###

该类型Tag又被称为MetaData Tag,存放一些关于FLV视频和音频的元信息，比如：duration、width、height等。通常该类型Tag会作为FLV文件的第一个tag，并且只有一个，跟在File Header后。该类型Tag DaTa的结构如下所示:

![20200524104530960.png][]

**第一个AMF****包：**  
第1个字节表示AMF包类型，一般总是0x02，表示字符串。第2-3个字节为UI16类型值，标识字符串的长度，一般总是0x000A（“onMetaData”长度）。后面字节为具体的字符串，一般总为“onMetaData”（6F,6E,4D,65,74,61,44,61,74,61）。

**第二个AMF包：**  
第1个字节表示AMF包类型，一般总是0x08，表示数组。第2-5个字节为UI32类型值，表示数组元素的个数。后面即为各数组元素的封装，数组元素为元素名称和值组成的对。常见的数组元素如下表所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 5][]

### **Audio Tag Data结构(音频类型)** ###

音频Tag Data区域开始的第一个字节包含了音频数据的参数信息，从第二个字节开始为音频流数据。结构如下：

![20200524104530931.jpeg][]

Audio Tag Data结构

第一个字节为音频的信息，格式如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 6][]

格式 3，linear PCM，存储原始 PCM 采样点。如果采样位深为 8，采样点数据为无符号型。如果采样位深为 16，采样点数据为小端存储的带符号型。如果是立体声，左右声道采样点交织存放：左\-右\-左\-右\-...

格式 0 与格式 3 的不同之处只有一点：格式 0 存储 16 位采样数据，采用的大小端顺序是创建 FLV 文件的平台所使用的大小端顺序。因此，不应使用格式 0，而应使用格式 3。

格式 4 (Nellymoser 16-kHz mono) 和格式 5 (Nellymoser 8 kHz mono)，是两种特殊情况, 因为采样率字段无法表示 8 kHz 和 16 kHz。当采样格式是格式 4 或格式 5 时，Flash 播放器会忽略采样率和声音类型两个字段。对于其他采样率的 Nellymoser 格式, 即格式 6，则正常使用采样率和声音类型两个字段。

格式 10，AAC，声音类型应为 1 (立体声) 且采样率应为 3 (44 kHz)。这并不表示 FLV 中的 AAC 音频总是立体声、44 kHz的数据。实际上，Flash 播放器会忽略这两个值，而从已编码的 AAC 位流中提取出声道数和采样率信息。

格式 11，Speex，音频以 16 kHz采样率压缩为单声道，采样率字段值应为 0，采样位深字段值应为 1，声音类型字段值应为 0。

格式 7，8，14 和 15 保留。

第二个字节开始为音频数据。

![20200524105536790.png][]

### **Video Tag Data结构(视频类型)** ###

视频Tag Data开始的第一个字节包含视频数据的参数信息，从第二个字节开始为视频流数据。结构如下：

![20200524104530932.jpeg][]

video Tag Data结构

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 7][]

第二个字节开始为视频数据

![20200524104530949.png][]

**AVC VIDEO PACKET**

关于下面这块内容有兴趣的话可以结合h264结构来看，不感兴趣的话可以直接跳过。

AVC VIDEO PACKET的结构:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 8][]

关于CTS：这是一个比较难以理解的概念，需要和pts，dts配合一起理解。

首先，pts（presentation time stamps），dts(decoder timestamps)，cts(CompositionTime)的概念：

pts：显示时间，也就是接收方在显示器显示这帧的时间。单位为1/90000 秒。

dts：解码时间，也就是rtp包中传输的时间戳，表明解码的顺序。单位单位为1/90000 秒。——根据后面的理解，pts就是标准中的CompositionTime

cts偏移：cts = (pts - dts) / 90 。cts的单位是毫秒。

pts和dts的时间不一样，应该只出现在含有B帧的情况下，也就是profile main以上。baseline是没有这个问题的，baseline的pts和dts一直相同，所以cts一直为0。

AVC VIDEO PACKET中Data的结构:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 9][]

# 参考 #

[https://www.jianshu.com/p/419f99be3989][https_www.jianshu.com_p_419f99be3989]

[https://www.cnblogs.com/leisure\_chn/p/10662941.html][https_www.cnblogs.com_leisure_chn_p_10662941.html]

[https://blog.csdn.net/leixiaohua1020/article/details/17934487][https_blog.csdn.net_leixiaohua1020_article_details_17934487]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70]: /images/20210923/084bdf470ca14210bbc2d419925f89cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 1]: /images/20210923/0724b82868d24d13be6a8a5e2f711d91.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 2]: /images/20210923/480ec5a5640e40b89cf131399c996229.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 3]: /images/20210923/dd92dd9cef9d447c89a3ba6d9503bcab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 4]: /images/20210923/2bb6f6ac999f412f80446f0ad42af00b.png
[20200524104530960.png]: /images/20210923/36d216c0dee54b958f11e3b4f814dd0c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 5]: /images/20210923/1aeff53e8b4b4bac95d306a0a81c55e7.png
[20200524104530931.jpeg]: /images/20210923/4a008b272cff4498a694c455e0dff532.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 6]: /images/20210923/d6a3ddb46a8d43d29e4088a308c0428b.png
[20200524105536790.png]: /images/20210923/f5cdc3fc0d6649bf8e53e13936b4dbc9.png
[20200524104530932.jpeg]: /images/20210923/e28043cec6274e7f8a487a4ef07d9340.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 7]: /images/20210923/5d78271bd04a4a5e986ad14e3f014fc4.png
[20200524104530949.png]: /images/20210923/b6db53403dff40e5bb94ff4be7d8ae9d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 8]: /images/20210923/096ced12623d4a7a9b6232f68d8a5b3f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3l1bmZlaTEyMw_size_16_color_FFFFFF_t_70 9]: /images/20210923/8258001d45a24518956088301e77d7a5.png
[https_www.jianshu.com_p_419f99be3989]: https://www.jianshu.com/p/419f99be3989
[https_www.cnblogs.com_leisure_chn_p_10662941.html]: https://www.cnblogs.com/leisure_chn/p/10662941.html
[https_blog.csdn.net_leixiaohua1020_article_details_17934487]: https://blog.csdn.net/leixiaohua1020/article/details/17934487