h264 aac 封装 flv

向右看齐 2022-06-03 22:42 207阅读 0赞

[http://blog.csdn.net/lssaint/article/details/78590557][http_blog.csdn.net_lssaint_article_details_78590557]

# Part 1flvtag组成 #

FLV 文件结构由 FLVheader和FLVBody组成。（注意flv文件是大端格式的）  
FLV头组成（以c为例子，一字节对齐）：  
FLVBody是由若干个Tag组成的；  
Tag=Tag头(11字节)+数据

\[cpp\] [view plain][] [copy][view plain]

1.  **typedef****struct** \_FLV\_HEADER 
2.  \{ 
3.  **char** FLV\[3\];//=\{0x46,0x4c,0x56\};
4.  **char** Ver; //版本号
5.  **char** StreamInfo;// 有视频又有音频就是0x01 | 0x04（0x05）
6.  **int** HeaderLen; /\*\*\*\*\*头的长度\*\*\*\*\*/
7.  \} FLV\_HEADER;

# Part2 h264 #

H264是一个个NALU单元组成的，每个单元以00 00 01 或者 00 00 00 01分隔开来，每2个00 00 00 01之间就是一个NALU单元。我们实际上就是将一个个NALU单元封装进FLV文件。  
每个NALU单元开头第一个byte的低5bits表示着该单元的类型，即NAL nal\_unit\_type：

\[cpp\] [view plain][] [copy][view plain]

1.  \#define NALU\_TYPE\_SLICE 1
2.  \#define NALU\_TYPE\_DPA 2
3.  \#define NALU\_TYPE\_DPB 3
4.  \#define NALU\_TYPE\_DPC 4
5.  \#define NALU\_TYPE\_IDR 5 /\*\*关键帧\*\*\*/
6.  \#define NALU\_TYPE\_SEI 6 /\*\*\*\*\*曾强帧\*\*\*\*\*\*/ 
7.  \#define NALU\_TYPE\_SPS 7
8.  \#define NALU\_TYPE\_PPS 8
9.  \#define NALU\_TYPE\_AUD 9
10. \#define NALU\_TYPE\_EOSEQ 10
11. \#define NALU\_TYPE\_EOSTREAM 11
12. \#define NALU\_TYPE\_FILL 12

每个NALU第一个byte & 0x1f 就可以得出它的类型，比如上图第一个NALU：67 & 0x1f = 7，则此单元是SPS，第三个：68 & 0x1f = 8，则此单元是PPS。

# Part3 h264 封装flv #

我们现在开始把H264，AAC封装为FLV文件。  
首先定义一个函数(功能反向拷贝)：

\[cpp\] [view plain][] [copy][view plain]

1.  **void** ReverseMemcpy(**void**\* dest,**size\_t** destLen, **const****void**\* src, **size\_t** n) 
2.  \{ 
3.  **char**\* d= (**char**\*) dest; 
4.  **const****char**\* s= (**const****char**\*)src; 
5.   s=s+n-1; 
6.  **while**(n--&&destLen--) 
7.   \{ 
8.   \*d++=\*s--; 
9.   \} 
10. **return** dest; 
11. \}

1.写入FLV头。  
2.写入FLV脚本Tag；  
3.由于分装的是H264，AAC所以所写入一个视频配置信息，和一个音频配置信息  
3.写入视频Tag.由于是H264,Tag的数据就需要按照AVC格式封装。Tag数据区有两种，一种是视频(0x17),一种是音频（0x27）。  
AVC格式：AVCPacketType(1字节)+CompositionTime（3字节）  
如果AVCPacketType=0x00,这格式为AVCPacketType(1字节)+CompositionTime（3字节）+AVCDecoderConfigurationRecord。  
如果AVCPacketType=0x01,这格式为AVCPacketType(1字节)+CompositionTime（3字节）+ 4个bytes的NALU单元长度 + N个bytes的NALU数据。  
AVCDecoderConfigurationRecord结构信息

\[cpp\] [view plain][] [copy][view plain]

1.  **typedef****struct** \_AVC\_DEC\_CON\_REC 
2.  \{ 
3.  **char** cfgVersion;//configurationVersion //0x01
4.  **char** avcProfile;//AVCProfileIndication //sps\[1\]
5.  **char** profileCompatibility;//profile\_Compatibility //sps\[2\]
6.  **char** avcLevel;//AVCLevelIndication //sps\[3\]
7.  //lengthSizeMinusOne:indicates the length in bytes of the NALUnitLength field in an AVC video
8.  **char** reserved6\_lengthSizeMinusOne2;//
9.  **char** reserved3\_numOfSPS5;//个数
10. **long** spsLength;//sequenceParameterSetLength
11. **void** \*sps; 
12. **char** numOfPPS;//个数
13. **long** ppsLength; 
14. **void** \*pps; 
15. \}AVC\_DEC\_CON\_REC; 
16. 
17. **char** \*pH264Data=....;//h264数据。
18. **int** H264DataLen=....;//h264数据长度
19. FLV\_TAG\_HEADER tagHeader; 
20. **char** AVCPacket\[4\]=\{0x00,0x00,0x00,0x00\} 
21. memset(tagHeader,0,**sizeof**(FLV\_TAG\_HEADER)); 
22. **int** Index=0;//分隔符长度
23. **if**(\*pH264Data==0x00&&(\*pH264Data+1)==0x00&&(\*pH264Data+2)==0x01) 
24. \{ 
25.  Index=3; 
26. \}**else****if**(\*pH264Data==0x00&&(\*pH264Data+1)==0x00&&(\*pH264Data+2)==0x00&&(\*pH264Data+4)==0x01) 
27. \{ 
28.  Index=4; 
29. \}**else**\{ 
30.  Err//错误不是h264数据
31. \} 
32. **if**(\*(pH264Data+Index)&0x1f==0x07)//sps帧，此h264数据还有一帧，pps。
33. \{ 
34. **int** PreTagLen=.....//前一个Tag长度
35.  ReverseMemcpy(&tagHeader.PreTagLen,4,&PreTagLen,4);//大端字节序；
36.  tagHeader.TagType=0x09;//视频类型
37. //AVCPacket应全为0x00.
38. 
39. \}

# part 4.音频AAC封装flv。 #

AAC音频格式有ADIF和ADTS：ADIF：Audio Data Interchange Format 音频数据交换格式。这种格式的特征是可以确定的找到这个音频数据的开始，不需进行在音频数据流中间开始的解码，即它的解码必须在明确定义的开始处进行。故这种格式常用在磁盘文件中。ADTS：Audio Data Transport Stream 音频数据传输流。这种格式的特征是它是一个有同步字的比特流，解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。简单说，ADTS可以在任意帧解码，也就是说它每一帧都有头信息。ADIF只有一个统一的头，所以必须得到所有的数据后解码。且这两种的header的格式也是不同的，目前一般编码后的和抽取出的都是ADTS格式的音频流。语音系统对实时性要求较高，基本是这样一个流程，采集音频数据，本地编码，数据上传，服务器处理，数据下发，本地解码ADTS是帧序列，本身具备流特征，在音频流的传输与处理方面更加合适。  
因此我们在音频编码时常选择ADTS的，以下是我们常用的配置

\[cpp\] [view plain][] [copy][view plain]

1.   m\_hAacEncoder= faacEncOpen(capability.nSamplesPerSec,capability.nChannels, 
2.  &m\_nAacInputSamples, &m\_nAacMaxOutputBytes); 
3.   m\_nAacnMaxInputBytes=m\_nAacInputSamples\*capability.wBitsPerSample/8; 
4.   m\_pAacConfig = faacEncGetCurrentConfiguration(m\_hAacEncoder);//获取配置结构指针
5.   m\_pAacConfig->inputFormat = FAAC\_INPUT\_16BIT;//16精度
6.  m\_pAacConfig->outputFormat=1; // 设置为 ADTS 
7.  m\_pAacConfig->useTns=**true**; 
8.  m\_pAacConfig->useLfe=**false**; 
9.  m\_pAacConfig->aacObjectType=LOW; 
10. m\_pAacConfig->shortctl=SHORTCTL\_NORMAL; 
11. m\_pAacConfig->quantqual=100; 
12. m\_pAacConfig->bandWidth=0; 
13. m\_pAacConfig->bitRate=capability.nAvgBytesPerSec;

对于flv的aac音频和视频一样需要在第一帧写入配置信息。

\[cpp\] [view plain][] [copy][view plain]

1.  flv\_packet flvpacket=GetErrPacket(); 
2.  **int** TagDataLen=1000; 
3.  **char** \*pTagBuffer=(**char** \*)::malloc(TagDataLen); 
4.   memset(pTagBuffer,0,TagDataLen); 
5.   KKMEDIA::FLV\_TAG\_HEADER Tag\_Head; 
6.   memset(&Tag\_Head,0,**sizeof**(Tag\_Head)); 
7.   FlvMemcpy(&Tag\_Head.PreTagLen,4,&m\_nPreTagLen,4); 
8.   memset(&Tag\_Head.Timestamp,0,3); 
9.   Tag\_Head.TagType=0x08;///音频
10. **int** datalen=0; 
11.  memcpy(pTagBuffer,&Tag\_Head,**sizeof**(KKMEDIA::FLV\_TAG\_HEADER)); 
12.  datalen+=**sizeof**(KKMEDIA::FLV\_TAG\_HEADER); 
13. //前4bits表示音频格式（全部格式请看官方文档）：
14. //1 -- ADPCM
15. //2 -- MP3
16. //4 -- Nellymoser 16-kHz mono
17. //5 -- Nellymoser 8-kHz mono
18. //10 -- AAC
19. //面两个bits表示samplerate：
20. //·0 -- 5.5KHz
21. //·1 -- 11kHz
22. //·2 -- 22kHz
23. //·3 -- 44kHz 1100=0x0C
24. //下面1bit表示采样长度：
25. //·0 -- snd8Bit
26. //·1 -- snd16Bit
27. //下面1bit表示类型：
28. //·0 -- sndMomo
29. //·1 -- sndStereo 
30. **char** TagAudio=0xAF; //1010,11,1,1
31. //TagAudio &=0x0C;//3
32. //TagAudio &=0x02;//1
33. //TagAudio &=0x01;//sndStereo
34.  memcpy(pTagBuffer+datalen,&TagAudio,1); 
35.  datalen++; 
36. **char** AACPacketType=0x00;//012->
37.  memcpy(pTagBuffer+datalen,&AACPacketType,1); 
38.  datalen++; 
39. ///两个字节
40. **char** AudioSpecificConfig\[2\]=\{0x12,0x90\};///32000hz
41.  memcpy(pTagBuffer+datalen,&AudioSpecificConfig,2); 
42.  datalen+=2; 
43.  m\_nPreTagLen=datalen-4;///（tag长度值）
44.  TagDataLen=datalen-15;//(11+4(tag长度值+tag的头)
45. //Tag 数据区长度
46.  FlvMemcpy(pTagBuffer+5,3,&TagDataLen,3); 
47.  flvpacket.buf =(unsigned **char**\*)pTagBuffer; 
48.  flvpacket.bufLen=datalen; 
49.  flvpacket.taglen=m\_nPreTagLen; 
50. **return** flvpacket;

关于上面的代码中AudioSpecificConfig的值是怎样计算来的，可以直接中aac编码库中获取，或者采用公式计算出来,请看一下代码。

\[cpp\] [view plain][] [copy][view plain]

1.  ///索引表
2.  **static** unsigned **const** samplingFrequencyTable\[16\] = \{ 
3.   96000, 88200, 64000, 48000, 
4.   44100, 32000, 24000, 22050, 
5.   16000, 12000, 11025, 8000, 
6.   7350, 0, 0, 0 
7.  \}; 
8.  **int** profile=1; 
9.  **int** samplingFrequencyIndex=0; 
10. **for**(**int** i=0;i<16;i++) 
11. \{ 
12. **if**(samplingFrequencyTable\[i\]==32000) 
13.  \{ 
14.  samplingFrequencyIndex =i; 
15. **break**; 
16.  \} 
17. \} 
18. **char** channelConfiguration =0x02;//(立体声)
19. UINT8 audioConfig\[2\] = \{0\}; 
20. UINT8 **const** audioObjectType = profile + 1; ///其中profile=1;
21. audioConfig\[0\] = (audioObjectType<<3) | (samplingFrequencyIndex>>1); 
22. audioConfig\[1\] = (samplingFrequencyIndex<<7) | (channelConfiguration<<3); 
23. printf("%02x%02x", audioConfig\[0\], audioConfig\[1\]);

最后就写入aac帧数据了，请看以下代码：

\[cpp\] [view plain][] [copy][view plain]

1.  flv\_packet flvpacket=GetErrPacket(); 
2.  **int** TagDataLen=1000+srcLen; 
3.  **char** \*pTagBuffer=(**char** \*)::malloc(TagDataLen); 
4.   memset(pTagBuffer,0,TagDataLen); 
5.   KKMEDIA::FLV\_TAG\_HEADER Tag\_Head; 
6.   memset(&Tag\_Head,0,**sizeof**(Tag\_Head)); 
7.  //FlvMemcpy等同于ReverseMemcpy
8.   FlvMemcpy(&Tag\_Head.PreTagLen,4,&m\_nPreTagLen,4); 
9.   FlvMemcpy(&Tag\_Head.Timestamp,3,&pts,3); 
10. 
11. 
12.  Tag\_Head.TagType=0x08;///音频
13. **int** datalen=0; 
14.  memcpy(pTagBuffer,&Tag\_Head,**sizeof**(KKMEDIA::FLV\_TAG\_HEADER)); 
15.  datalen+=**sizeof**(KKMEDIA::FLV\_TAG\_HEADER); 
16. **char** TagAudio=0xAF; 
17.  memcpy(pTagBuffer+datalen,&TagAudio,1); 
18.  datalen++; 
19. 
20. 
21. **char** AACPacketType=0x01; 
22.  memcpy(pTagBuffer+datalen,&AACPacketType,1); 
23.  datalen++; 
24. 
25. //src aac数据指针(不包含ADTS头长度)，srcLenAAC数据长度
26.  memcpy(pTagBuffer+datalen,src,srcLen); 
27.  datalen+=srcLen; 
28. 
29. 
30.  m\_nPreTagLen=datalen-4;///（tag长度值）
31.  TagDataLen=datalen-15;//(11+4(tag长度值+tag的头)
32. 
33. 
34. //Tag 数据区长度
35.  FlvMemcpy(pTagBuffer+5,3,&TagDataLen,3); 
36.  flvpacket.buf =(unsigned **char**\*)pTagBuffer; 
37.  flvpacket.bufLen=datalen; 
38.  flvpacket.taglen=m\_nPreTagLen; 
39. **return** flvpacket;

注意在使用ADTS头输出的AAC编码数据，在打包flv格式时，需要跳过其adts头长度（7字节）。  
例如：

\[cpp\] [view plain][] [copy][view plain]

1.  AudioPacket((**const** unsigned **char** \*)(pDataNALU+7),PktSize-7,Pts);

[http_blog.csdn.net_lssaint_article_details_78590557]: http://blog.csdn.net/lssaint/article/details/78590557
[view plain]: http://blog.csdn.net/lssaint/article/details/78590557#

发表评论取消回复

表情：

评论列表（有 0 条评论，207人围观）

还没有评论，来说两句吧...

相关阅读

相关 H264和AAC合成FLV案例

H264和AAC合成FLV案例 -------------------- 目录 1. FFmpeg合成流程 2. FFmpeg函数：avformat\_wri

偏执的太偏执、/ 2022年11月18日 01:45/ 0 赞/ 190 阅读

相关使用librtmp进行H264与AAC直播

libx264版本是128 libfaac版本是1.28 1、帧的划分 1.1 H.264帧对于H.264而言每帧的界定符为00 00 00 01或者00

喜欢ヅ旅行/ 2022年08月13日 16:52/ 0 赞/ 133 阅读

相关 RTMP中FLV流到标准h264、aac的转换

这段时间，工作上的需要，在[RTMP][]上做了flv流到标准h264、AAC的转换，服务器是开源项目CRTMPSERVER，客户端flex编写，视频编码h264，音频编码AA

快来打我*/ 2022年08月13日 13:56/ 0 赞/ 141 阅读

相关通过LIBRTMP发送H264和AAC

http://blog.csdn.net/jbl5501328/article/details/65628516 http://www.360doc.com/con

迈不过友情╰/ 2022年06月13日 13:18/ 0 赞/ 158 阅读

相关文件格式 - flv、ts、h264

![Center][] ![Center 1][] ![Center 2][] [Center]: /images/20220613/0

朴灿烈づ我的快乐病毒、/ 2022年06月13日 11:43/ 0 赞/ 240 阅读

相关 h264 aac 封装 flv

[http://blog.csdn.net/lssaint/article/details/78590557][http_blog.csdn.net_lssaint_artic

向右看齐/ 2022年06月03日 22:42/ 0 赞/ 208 阅读

相关将h264和aac码流合成flv文件

[https://www.cnblogs.com/lidabo/p/9020453.html][https_www.cnblogs.com_lidabo_p_9020453.h

深藏阁楼爱情的钟/ 2022年05月24日 09:22/ 0 赞/ 284 阅读

相关将h.264视频流封装成flv格式文件（一.flv格式）

flv文件的格式其实网上资料还是不少，但是怎么封装成flv却不多。看了不少资料，找到了一个觉得还比较靠谱的： [http://www.cnblogs.com/chef/arch

Bertha 。/ 2022年03月31日 02:27/ 0 赞/ 520 阅读

相关将H.264封装为FLV格式

本文将介绍如何将H.264封装成flv格式。在看本文之间，建议先看一看下面两篇文章： [H.264码流结构][H.264] [FLV格式详解][FLV] 首先说一说构

待我称王封你为后i/ 2022年03月02日 03:22/ 0 赞/ 334 阅读

相关分析 H.265 + AAC 的 FLV 文件

常见的 FLV 文件里封装的是 H.264 和 AAC 数据。对于 H.265(HEVC)，FLV 支不支持呢，答案是官方版本不支持。想用 FLV 封装 H.265 数据，那该

约定不等于承诺〃/ 2022年02月01日 23:25/ 0 赞/ 309 阅读