H.264采集、编码、传输的流程

拼搏现实的明天。 2022-08-26 11:13 162阅读 0赞

### 转载自[H.264采集、编码、传输的流程  ][H.264] ###

![H.264采集、编码、传输的流程 - imeradio - 狂奔的蜗牛][H.264_ - imeradio -]

1 采集到的原始数据放入buf中  
2 转化为yuv格式放入yuv  
conv.RGB24\_to\_YV12(buf, yuv,IMAGE\_WIDTH, IMAGE\_HEIGHT) ;  
3 调用编码器进行编码  
3.1 从yuv中读取数据到m\_pic  
read\_frame\_yuv( &m\_Pic, m\_pOpt->hin, i\_Frame + m\_pOpt->i\_seek )  
m\_pOpt->hin即为yuv  
3.2 将m\_pic编码成nal格式数据  
x264\_encoder\_encode( m\_pEnc, &nal, &i\_nal, pic, &pic\_out )  
m\_pEnc为编码器句柄  
nal为一个数组（一帧可能被编码成多个nal）  
3.3 将多个nal格式的数据读到一个m\_pdata  
x264\_nal\_encode( m\_pData, &i\_data, 1, &nal\[i\] )  
1、加上startcode  
2、写入nal头部  
3、拷贝payload部分  
3.4 将m\_pdata中数据拷入hout中  
write\_nalu\_bsf( hout, m\_pData, i\_size ,i\_file,dec\_out)  
dec\_out为一块公共数据区域，存放一帧的解码结果，也就是说其中可能包含几个nal的数据  
4 调用解码器解码  
pdecoder->Decode\_frame((char \*)VideoCodeDest,inLen,(char \*)VideoRGB);  
VideoCodeDest为一块公共数据区域，存放一帧的解码结果，也就是说其中可能包含几个nal的数据  
输出放到VideoRGB  
4.1 取出一个nal的数据去解码  
nalLen=GetNextNal(inLen);  
通过识别startcode取出一个nal的数据，存放在buf中  
  
consumed\_bytes=avcodec\_decode\_video(avc, picture, &got\_picture,(unsigned char\*)Buf, nalLen);  
avc为编码器句柄  
picture存放解码结果  
got\_picture：没有帧可以被解码则为0  
  
  
= 有个关键问题  
当一帧的原始图像被编码成几个nal：  
1.在test264的例子中看到，这几个nal被一块处理，可能会共同写入到结果缓冲区中  
2.那么是否这几个nal被解码的结果都是consumed\_bytes>0？  
3.我的猜想是几个nal的解码结果只有其中一个consumed\_bytes>0，其余只会提供参考信息给解码器。  
4.是要将nal以流形式还是包形式传输？  
第一帧编解码结果：  
\+ nal\[0\] \{i\_ref\_idc=0 i\_type=6 i\_payload=368 ...\} x264\_nal\_t 没有帧被解码  
\+ nal\[1\] \{i\_ref\_idc=3 i\_type=7 i\_payload=19 ...\} x264\_nal\_t 没有帧被解码  
\+ nal\[2\] \{i\_ref\_idc=3 i\_type=8 i\_payload=3 ...\} x264\_nal\_t 没有帧被解码  
\+ nal\[3\] \{i\_ref\_idc=3 i\_type=5 i\_payload=2388 ...\} x264\_nal\_t 被解码  
第二帧编解码结果：  
\+ nal\[0\] \{i\_ref\_idc=2 i\_type=1 i\_payload=1278 ...\} x264\_nal\_t 被解码  
第n帧编解码结果：  
\+ nal\[0\] \{i\_ref\_idc=3 i\_type=7 i\_payload=19 ...\} x264\_nal\_t 被解码  
\+ nal\[1\] \{i\_ref\_idc=3 i\_type=8 i\_payload=3 ...\} x264\_nal\_t 被解码  
\+ nal\[2\] \{i\_ref\_idc=3 i\_type=5 i\_payload=2342 ...\} x264\_nal\_t 被解码  
  
  
优先级i\_ref\_idc为：  
enum nal\_priority\_e  
\{  
NAL\_PRIORITY\_DISPOSABLE = 0,  
NAL\_PRIORITY\_LOW = 1,  
NAL\_PRIORITY\_HIGH = 2,  
NAL\_PRIORITY\_HIGHEST = 3,  
\};  
nal类型i\_type为：  
enum nal\_unit\_type\_e  
\{  
NAL\_UNKNOWN = 0,  
NAL\_SLICE = 1,  
NAL\_SLICE\_DPA = 2,  
NAL\_SLICE\_DPB = 3,  
NAL\_SLICE\_DPC = 4,  
NAL\_SLICE\_IDR = 5,  
NAL\_SEI = 6,  
NAL\_SPS = 7,  
NAL\_PPS = 8,  
NAL\_AUD = 9,  
  
\};

[H.264]: http://www.360doc.com/content/11/0919/11/7720467_149449769.shtml#
[H.264_ - imeradio -]: http://image37.360doc.com/DownloadImg/2011/09/1911/17756891_1.jpg