视频编解码---x264用于编码，ffmpeg用于解码

今天药忘吃喽~ 2022-06-03 00:12 250阅读 0赞

项目要用到视频编解码，最近半个月都在搞，说实话真是走了很多弯路，浪费了很多时间。将自己的最终成果记录于此，期望会给其他人提供些许帮助。

参考教程：

[http://ffmpeg.org/trac/ffmpeg/wiki/UbuntuCompilationGuide][http_ffmpeg.org_trac_ffmpeg_wiki_UbuntuCompilationGuide]安装ffmpeg和x264，官方权威教程（注意不要用命令行安装，会少很多库的。编译安装最保险）

[http://blog.csdn.net/zgyulongfei/article/details/7526249][http_blog.csdn.net_zgyulongfei_article_details_7526249]采集与编码的教程

[http://www.cnblogs.com/fojian/archive/2012/09/01/2666627.html][http_www.cnblogs.com_fojian_archive_2012_09_01_2666627.html]编码的好文章

[http://my.oschina.net/u/555701/blog/56616?p=2\#comments-][http_my.oschina.net_u_555701_blog_56616_p_2_comments-]解码的好文章

整体过程流程如下：

![1354971978_1496.png][]

显而易见，整个过程分为三个部分：采集、编码、解码。

1.        采集视频

我是利用USB摄像头采集视频的，我的摄像头只支持YUV422格式的图像采集，因为x264编码库只能编码YUV420P(planar)格式，因此在采集到yuv422格式的图像数据后要变换成yuv420p格式。

采集视频使用官方的那个采集程序，稍加修改即可，具体点说就是修改

static void  process\_image (const char \* p) ;函数

参数p指向一帧采集图像的yuv数据。

关于YUV格式和RGB格式，网上有很多教程。

在这儿，我讲一下自己的理解。

假设有一幅4\*4分辨率的图片，如下：

每个像素是由YUV数据构成，假设如下：

YUV422图像是这样的，每个像素采集Y，UV每隔两个像素采集一次：

![1354970078_1203.png][]

Packed格式的YUV420是这样的，每个像素采集Y，UV隔行采集，每行是每两个像素采集一次：

![1354970116_4591.png][]

以上几种格式存储就是按照从左到右，从上到下顺序存储的。

我想要得到是planar格式的YUV420，即在一段连续的内存中，先存储所有的Y，接着是所有的U，最后是所有的V。

修改后的 process\_image函数如下：

\[cpp\]  [view plain][]  [copy][view plain]

1. static void  
2. process\_image                   (const char \*           p)  
3. \{  
4.         //fputc ('.', stdout);  
5.     //convert yuv422 to yuv420p  
6.             char \*y=yuv420p;  
7.             char \*u=&yuv420p\[IMAGE\_WIDTH\*IMAGE\_HEIGHT\];  
8.             char \*v=&yuv420p\[IMAGE\_WIDTH\*IMAGE\_HEIGHT+IMAGE\_WIDTH\*IMAGE\_HEIGHT/4\];  
9.   
10.             int i=0,j=0,l=0;  
11.             for(j=0;j<IMAGE\_HEIGHT;j++)  
12.                 for(i=0;i<IMAGE\_WIDTH\*2;i++,l++)\{  
13.   
14.                     if(j%2==0)\{ //even line to sample U-Chriminance  
15.                         if(l==1)\{ //sample U-Chriminance  
16.                             \*u=p\[j\*IMAGE\_WIDTH\*2+i\];  
17.                             u++;  
18.                          \}  
19.                          else if(l==3)\{ //abandon V-Chroma  
20.                             l=-1;  
21.                             continue;  
22.   
23.                          \}  
24.                          else\{  
25.                             \*y=p\[j\*IMAGE\_WIDTH\*2+i\];  
26.                             ++y;  
27.                          \}  
28.                     \}  
29.   
30.                     else if(j%2==1)\{ //odd lines to sample  V-Chroma  
31.                         if(l==1)\{  
32.                             continue;  
33.                         \}  
34.                         else if(l==3)\{  
35.                             l=-1;  
36.                             \*v=p\[j\*IMAGE\_WIDTH\*2+i\];  
37.                             ++v;  
38.                         \}  
39.                         else \{  
40.                             \*y=p\[j\*IMAGE\_WIDTH\*2+i\];  
41.                             ++y;  
42.                         \}  
43.   
44.                     \}  
45.   
46.                 \}  
47.   
48.             fwrite(yuv420p,IMAGE\_WIDTH\*IMAGE\_HEIGHT\*3>>1,1,fp\_yuv420p);  
49.   
50.             fflush (stdout);  
51.           
52. \}

**2.编码**

采用x264编码库编码yuv420p文件。

程序如下：

\[cpp\]  [view plain][]  [copy][view plain]

1. \#include <stdint.h>  
2. \#include <x264.h>  
3. \#include <stdio.h>  
4. \#include <unistd.h>  
5. \#include <fcntl.h>  
6. \#include <stdlib.h>  
7. \#include <string.h>  
8.   
9. \#define DEBUG 0  
10.   
11. \#define CLEAR(x) (memset((&x),0,sizeof(x)))  
12. \#define IMAGE\_WIDTH   320  
13. \#define IMAGE\_HEIGHT  240  
14. \#define ENCODER\_PRESET "veryfast"  
15. \#define ENCODER\_TUNE   "zerolatency"  
16. \#define ENCODER\_PROFILE  "baseline"  
17. \#define ENCODER\_COLORSPACE X264\_CSP\_I420  
18.   
19. typedef struct my\_x264\_encoder\{  
20.     x264\_param\_t  \* x264\_parameter;  
21.     char parameter\_preset\[20\];  
22.     char parameter\_tune\[20\];  
23.     char parameter\_profile\[20\];  
24.     x264\_t  \* x264\_encoder;  
25.     x264\_picture\_t \* yuv420p\_picture;  
26.     long colorspace;  
27.     unsigned char \*yuv;  
28.     x264\_nal\_t \* nal;  
29. \} my\_x264\_encoder;  
30.   
31. char \*read\_filename="yuv420p.yuv";  
32. char \*write\_filename="encode.h264";  
33.   
34. int  
35. main(int argc ,char \*\*argv)\{  
36.     int ret;  
37.     int fd\_read,fd\_write;  
38.     my\_x264\_encoder \* encoder=(my\_x264\_encoder \*)malloc(sizeof(my\_x264\_encoder));  
39.     if(!encoder)\{  
40.         printf("cannot malloc my\_x264\_encoder !\\n");  
41.         exit(EXIT\_FAILURE);  
42.     \}  
43.     CLEAR(\*encoder);  
44.   
45.   
46.     /\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\* 
47.      \* Advanced parameter handling functions 
48.      \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*/  
49.   
50.     /\* These functions expose the full power of x264's preset-tune-profile system for 
51.      \* easy adjustment of large numbers //free(encoder->yuv420p\_picture);of internal parameters. 
52.      \* 
53.      \* In order to replicate x264CLI's option handling, these functions MUST be called 
54.      \* in the following order: 
55.      \* 1) x264\_param\_default\_preset 
56.      \* 2) Custom user options (via param\_parse or directly assigned variables) 
57.      \* 3) x264\_param\_apply\_fastfirstpass 
58.      \* 4) x264\_param\_apply\_profile 
59.      \* 
60.      \* Additionally, x264CLI does not apply step 3 if the preset chosen is "placebo" 
61.      \* or --slow-firstpass is set. \*/  
62.     strcpy(encoder->parameter\_preset,ENCODER\_PRESET);  
63.     strcpy(encoder->parameter\_tune,ENCODER\_TUNE);  
64.   
65.     encoder->x264\_parameter=(x264\_param\_t \*)malloc(sizeof(x264\_param\_t));  
66.     if(!encoder->x264\_parameter)\{  
67.         printf("malloc x264\_parameter error!\\n");  
68.         exit(EXIT\_FAILURE);  
69.     \}  
70.     CLEAR(\*(encoder->x264\_parameter));  
71.     x264\_param\_default(encoder->x264\_parameter);  
72.   
73.     if((ret=x264\_param\_default\_preset(encoder->x264\_parameter,encoder->parameter\_preset,encoder->parameter\_tune))<0)\{  
74.         printf("x264\_param\_default\_preset error!\\n");  
75.         exit(EXIT\_FAILURE);  
76.     \}  
77.   
78.     encoder->x264\_parameter->i\_fps\_den         =1;  
79.     encoder->x264\_parameter->i\_fps\_num         =25;  
80.     encoder->x264\_parameter->i\_width       =IMAGE\_WIDTH;  
81.     encoder->x264\_parameter->i\_height      =IMAGE\_HEIGHT;  
82.     encoder->x264\_parameter->i\_threads         =1;  
83.     encoder->x264\_parameter->i\_keyint\_max    =25;  
84.     encoder->x264\_parameter->b\_intra\_refresh =1;  
85.     encoder->x264\_parameter->b\_annexb      =1;  
86.   
87.     strcpy(encoder->parameter\_profile,ENCODER\_PROFILE);  
88.     if((ret=x264\_param\_apply\_profile(encoder->x264\_parameter,encoder->parameter\_profile))<0)\{  
89.         printf("x264\_param\_apply\_profile error!\\n");  
90.         exit(EXIT\_FAILURE);  
91.     \}  
92.   
93. \#if DEBUG  
94.     printf("Line --------%d\\n",\_\_LINE\_\_);  
95. \#endif  
96.   
97.     encoder->x264\_encoder=x264\_encoder\_open(encoder->x264\_parameter);  
98.   
99.     encoder->colorspace=ENCODER\_COLORSPACE;  
100.   
101. \#if DEBUG  
102.     printf("Line --------%d\\n",\_\_LINE\_\_);  
103. \#endif  
104.   
105.     encoder->yuv420p\_picture=(x264\_picture\_t \*)malloc(sizeof(x264\_picture\_t ));  
106.     if(!encoder->yuv420p\_picture)\{  
107.         printf("malloc encoder->yuv420p\_picture error!\\n");  
108.         exit(EXIT\_FAILURE);  
109.     \}  
110.     if((ret=x264\_picture\_alloc(encoder->yuv420p\_picture,encoder->colorspace,IMAGE\_WIDTH,IMAGE\_HEIGHT))<0)\{  
111.         printf("ret=%d\\n",ret);  
112.         printf("x264\_picture\_alloc error!\\n");  
113.         exit(EXIT\_FAILURE);  
114.     \}  
115.   
116.     encoder->yuv420p\_picture->img.i\_csp=encoder->colorspace;  
117.     encoder->yuv420p\_picture->img.i\_plane=3;  
118.     encoder->yuv420p\_picture->i\_type=X264\_TYPE\_AUTO;  
119.   
120.   
121.   
122. \#if DEBUG  
123.     printf("Line --------%d\\n",\_\_LINE\_\_);  
124. \#endif  
125.   
126.     encoder->yuv=(uint8\_t \*)malloc(IMAGE\_WIDTH\*IMAGE\_HEIGHT\*3/2);  
127.     if(!encoder->yuv)\{  
128.         printf("malloc yuv error!\\n");  
129.         exit(EXIT\_FAILURE);  
130.     \}  
131.     CLEAR(\*(encoder->yuv));  
132.   
133. \#if DEBUG  
134.     printf("Line --------%d\\n",\_\_LINE\_\_);  
135. \#endif  
136.   
137.     encoder->yuv420p\_picture->img.plane\[0\]=encoder->yuv;  
138.     encoder->yuv420p\_picture->img.plane\[1\]=encoder->yuv+IMAGE\_WIDTH\*IMAGE\_HEIGHT;  
139.     encoder->yuv420p\_picture->img.plane\[2\]=encoder->yuv+IMAGE\_WIDTH\*IMAGE\_HEIGHT+IMAGE\_WIDTH\*IMAGE\_HEIGHT/4;  
140.   
141.     if((fd\_read=open(read\_filename,O\_RDONLY))<0)\{  
142.         printf("cannot open input file!\\n");  
143.         exit(EXIT\_FAILURE);  
144.     \}  
145.   
146.     if((fd\_write=open(write\_filename,O\_WRONLY | O\_APPEND | O\_CREAT,0777))<0)\{  
147.         printf("cannot open output file!\\n");  
148.         exit(EXIT\_FAILURE);  
149.     \}  
150.   
151. \#if DEBUG  
152.     printf("Line --------%d\\n",\_\_LINE\_\_);  
153. \#endif  
154.     int n\_nal;  
155.     x264\_picture\_t pic\_out;  
156.     x264\_nal\_t \*my\_nal;  
157.     encoder->nal=(x264\_nal\_t \*)malloc(sizeof(x264\_nal\_t ));  
158.     if(!encoder->nal)\{  
159.         printf("malloc x264\_nal\_t error!\\n");  
160.         exit(EXIT\_FAILURE);  
161.     \}  
162.     CLEAR(\*(encoder->nal));  
163.   
164.     while(read(fd\_read,encoder->yuv,IMAGE\_WIDTH\*IMAGE\_HEIGHT\*3/2)>0)\{  
165.         encoder->yuv420p\_picture->i\_pts++;  
166.         if((ret=x264\_encoder\_encode(encoder->x264\_encoder,&encoder->nal,&n\_nal,encoder->yuv420p\_picture,&pic\_out))<0)\{  
167.             printf("x264\_encoder\_encode error!\\n");  
168.             exit(EXIT\_FAILURE);  
169.         \}  
170.   
171.         unsigned int length=0;  
172.         for(my\_nal=encoder->nal;my\_nal<encoder->nal+n\_nal;++my\_nal)\{  
173.             write(fd\_write,my\_nal->p\_payload,my\_nal->i\_payload);  
174.             length+=my\_nal->i\_payload;  
175.         \}  
176.         printf("length=%d\\n",length);  
177.     \}  
178.   
179.     /\*clean\_up functions\*/  
180.     //x264\_picture\_clean(encoder->yuv420p\_picture);  
181.     //free(encoder->nal);//???? confused conflict with x264\_encoder\_close(encoder->x264\_encoder);  
182.   
183.     free(encoder->yuv);  
184.     free(encoder->yuv420p\_picture);  
185.     free(encoder->x264\_parameter);  
186.     x264\_encoder\_close(encoder->x264\_encoder);  
187.     free(encoder);  
188.     close(fd\_read);  
189.     close(fd\_write);  
190.   
191.     return 0;  
192. \}

3.        解码

利用ffmpeg进行解码

程序如下：

\[cpp\]  [view plain][]  [copy][view plain]

1. \#include <stdio.h>  
2. \#include <string.h>  
3. \#include <stdlib.h>  
4. \#include <fcntl.h>  
5. \#include <unistd.h>  
6. \#include <libavcodec/avcodec.h>  
7. \#include <libavformat/avformat.h>  
8. \#include <libavutil/mathematics.h>  
9.   
10. \#define DECODED\_OUTPUT\_FORMAT  AV\_PIX\_FMT\_YUV420P  
11. \#define INPUT\_FILE\_NAME "encode.h264"  
12. \#define OUTPUT\_FILE\_NAME "decode.yuv"  
13. \#define IMAGE\_WIDTH  320  
14. \#define IMAGE\_HEIGHT 240  
15.   
16. void  
17. error\_handle(const char \*errorInfo )\{  
18.     printf("%s error!\\n",errorInfo);  
19.     exit(EXIT\_FAILURE);  
20. \}  
21.   
22.   
23. int  
24. main(int argc,char \*\* argv)\{  
25.     int  write\_fd,ret,videoStream;  
26.     AVFormatContext \* formatContext=NULL;  
27.     AVCodec \* codec;  
28.     AVCodecContext \* codecContext;  
29.     AVFrame \* decodedFrame;  
30.     AVPacket packet;  
31.     uint8\_t \*decodedBuffer;  
32.     unsigned int decodedBufferSize;  
33.     int finishedFrame;  
34.   
35.   
36.     av\_register\_all();  
37.   
38.   
39.     write\_fd=open(OUTPUT\_FILE\_NAME,O\_RDWR | O\_CREAT,0666);  
40.     if(write\_fd<0)\{  
41.         perror("open");  
42.         exit(1);  
43.     \}  
44.   
45.     ret=avformat\_open\_input(&formatContext, INPUT\_FILE\_NAME, NULL,NULL);  
46.     if(ret<0)  
47.         error\_handle("avformat\_open\_input error");  
48.   
49.     ret=avformat\_find\_stream\_info(formatContext,NULL);  
50.     if(ret<0)  
51.         error\_handle("av\_find\_stream\_info");  
52.   
53.   
54.     videoStream=0;  
55.     codecContext=formatContext->streams\[videoStream\]->codec;  
56.   
57.     codec=avcodec\_find\_decoder(AV\_CODEC\_ID\_H264);  
58.     if(codec==NULL)  
59.         error\_handle("avcodec\_find\_decoder error!\\n");  
60.   
61.     ret=avcodec\_open2(codecContext,codec,NULL);  
62.     if(ret<0)  
63.         error\_handle("avcodec\_open2");  
64.   
65.     decodedFrame=avcodec\_alloc\_frame();  
66.     if(!decodedFrame)  
67.         error\_handle("avcodec\_alloc\_frame!");  
68.   
69.     decodedBufferSize=avpicture\_get\_size(DECODED\_OUTPUT\_FORMAT,IMAGE\_WIDTH,IMAGE\_HEIGHT);  
70.     decodedBuffer=(uint8\_t \*)malloc(decodedBufferSize);  
71.     if(!decodedBuffer)  
72.         error\_handle("malloc decodedBuffer error!");  
73.   
74.     av\_init\_packet(&packet);  
75.     while(av\_read\_frame(formatContext,&packet)>=0)\{  
76.             ret=avcodec\_decode\_video2(codecContext,decodedFrame,&finishedFrame,&packet);  
77.             if(ret<0)  
78.                 error\_handle("avcodec\_decode\_video2 error!");  
79.             if(finishedFrame)\{  
80.                 avpicture\_layout((AVPicture\*)decodedFrame,DECODED\_OUTPUT\_FORMAT,IMAGE\_WIDTH,IMAGE\_HEIGHT,decodedBuffer,decodedBufferSize);  
81.                 ret=write(write\_fd,decodedBuffer,decodedBufferSize);  
82.                 if(ret<0)  
83.                     error\_handle("write yuv stream error!");  
84.             \}  
85.   
86.         av\_free\_packet(&packet);  
87.     \}  
88.   
89.     while(1)\{  
90.         packet.data=NULL;  
91.         packet.size=0;  
92.         ret=avcodec\_decode\_video2(codecContext,decodedFrame,&finishedFrame,&packet);  
93.         if(ret<=0 && (finishedFrame<=0))  
94.             break;  
95.         if(finishedFrame)\{  
96.             avpicture\_layout((AVPicture\*)decodedFrame,DECODED\_OUTPUT\_FORMAT,IMAGE\_WIDTH,IMAGE\_HEIGHT,decodedBuffer,decodedBufferSize);  
97.             ret=write(write\_fd,decodedBuffer,decodedBufferSize);  
98.             if(ret<0)  
99.                 error\_handle("write yuv stream error!");  
100.         \}  
101.   
102.         av\_free\_packet(&packet);  
103.     \}  
104.   
105.   
106.     avformat\_close\_input(&formatContext);  
107.     free(decodedBuffer);  
108.     av\_free(decodedFrame);  
109.     avcodec\_close(codecContext);  
110.   
111.     return 0;  
112. \}

结果：

1.      利用USB摄像头采集的YUV420P，大小11.0MB，可以用pyuv播放器正常播放。

2.      编码后的文件encode.h264，大小262.4kb，可用vlc播放器正常播放。

3.      解码后的文件decode.yuv，大小11.0MB，可以用pyuv播放器正常播放。

相关文件在我的资源里，里面包含：

1.      采集、编码、解码程序、对应的可执行程序和Makefile文件；

2.      Pyuv播放器（用于XP）

3.      实验文件-yuv420p.yuv 、encode.h264、 decode.yuv

4.      相关参考文档pdf版本

![Center][]

![Center 1][]

欢迎批评指正！

转自：http://blog.csdn.net/scalerzhangjie/article/details/8273410

[http_ffmpeg.org_trac_ffmpeg_wiki_UbuntuCompilationGuide]: http://ffmpeg.org/trac/ffmpeg/wiki/UbuntuCompilationGuide
[http_blog.csdn.net_zgyulongfei_article_details_7526249]: http://blog.csdn.net/zgyulongfei/article/details/7526249
[http_www.cnblogs.com_fojian_archive_2012_09_01_2666627.html]: http://www.cnblogs.com/fojian/archive/2012/09/01/2666627.html
[http_my.oschina.net_u_555701_blog_56616_p_2_comments-]: http://my.oschina.net/u/555701/blog/56616?p=2#comments-
[1354971978_1496.png]: https://img-my.csdn.net/uploads/201212/08/1354971978_1496.png
[1354970078_1203.png]: https://img-my.csdn.net/uploads/201212/08/1354970078_1203.png
[1354970116_4591.png]: https://img-my.csdn.net/uploads/201212/08/1354970116_4591.png
[view plain]: http://blog.csdn.net/scalerzhangjie/article/details/8273410#
[Center]: /images/20220603/5781741504344023b8a50bcb156fed92.png
[Center 1]: /images/20220603/02784c57bdcf4464bd703360adba45e0.png