inux V4L2 Camera 编程

Dear 丶 2022-11-26 07:39 222阅读 0赞

V4L2(Video For Linux Two) 是Linux内核提供给应用程序访问音、视频驱动的统一接口。这里描述的是如何从遵循V4L2规范的Camera设备读取Video帧。

# 1. 打开设备 #

int fd = open (“/dev/video0”, O_RDWR | O_NONBLOCK, 0);

# 2. 查询设备的Capability #

查询设备的capability，可以从capability判断设备的类型、特性等。这一步不是必需的，但如果程序需要支持多种型号的设备，capability就很有用了。

struct v4l2_capability cap;
    int ret = ioctl (fd, VIDIOC_QUERYCAP, &cap);

一般的设备支持read()和write()，读写需要复制数据。对于Camera设备，应用程序和驱动只交换缓存指针，不拷贝数据。这种I/O方法叫做“流”。

如果capability包含V4L2\_CAP\_STREAMING标志，则支持“流”。

# 3. 设置视频源 #

如果一个video设备有多个视频源，则可能需要使用VIDIOC\_S\_INPUT，在视频源间切换。

struct v4l2_input inp;
    inp.index = 0;
    ret = ioctl (fd, VIDIOC_S_INPUT, &inp)；

# 4. 设置Capture参数 #

Capture参数包括模式、帧率等。

struct v4l2_streamparm params;
    memset (&params, 0, sizeof(params));
    params.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    params.parm.capture.capturemode = V4L2_MODE_HIGHQUALITY;
    params.parm.capture.timeperframe.numerator = 1;
    params.parm.capture.timeperframe.denominator = 25;
    
    ret = ioctl (fd, VIDIOC_S_PARM, &params);

# 5. 设置视频参数 #

视频参数包括缓存类型、视频大小、场类型、帧格式等。

struct v4l2_format fmt;
    memset(&fmt, 0, sizeof(fmt));
    fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    fmt.fmt.pix.width = width;
    fmt.fmt.pix.height = height;
    fmt.fmt.pix_mp.field = V4L2_FIELD_NONE;
    fmt.fmt.pix_mp.pixelformat = V4L2_PIX_FMT_NV21;
    
    ret = ioctl (fd, VIDIOC_S_FMT, &fmt);

设备可能不支持指定的视频参数，可以用VIDIOC\_G\_FMT检查设置是否成功。

struct v4l2_format fmt;
    ret = ioctl (fd, VIDIOC_G_FMT, &fmt);

# 6. 分配缓存 #

Camera设备有三个队列。缓存刚分配时放在EMPTY队列，等待设备填充时放在IN队列，设备填充好时放在OUT队列。

下面的代码中，使用V4L2\_MEMORY\_MMAP要求设备分配6个缓存。这时缓存放在EMPTY队列。

struct v4l2_requestbuffers rb;
    memset (&rb, 0, sizeof(rb));
    rb.type   = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    rb.memory = V4L2_MEMORY_MMAP;
    rb.count  = 6;
    
    ret = ioctl (fd, VIDIOC_REQBUFS, &rb);

V4L2\_MEMORY\_MMAP之外还可能有其他选择，如V4L2\_MEMORY\_DMABUF。这时缓存不是设备分配，而是应用程序传进去。它可能来自其他Video设备，或任何能分配DMABUF的设备。

# 7. 得到所有缓存，放入设备的 EMPTY 队列 #

下面的代码中，使用索引值依次得到6个缓存。对每个缓存，使用VIDIOC\_QUERYBUF从EMPTY 队列取出，再使用VIDIOC\_QBUF放到 IN 队列。如果应用层代码需要处理帧，则可以使用mmap()将它映射到虚拟地址空间。

void* mmap[6];
    int mlen;
    struct v4l2_buffer buf;
    for (int i = 0; i < 6; i++) 
    {
        memset (&buf, 0, sizeof(struct v4l2_buffer));
        buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
        buf.memory = V4L2_MEMORY_MMAP;
        buf.index = i;
        
        // get it from EMPTY  queue.
        ret = ioctl (fd, VIDIOC_QUERYBUF, &buf);
    
        // map it to file descriptor
        mmap[i] = mmap (0, buf.length, PROT_READ | PROT_WRITE, MAP_SHARED, fd, buf.m.offset);
        mlen = buf.length;
    
        // put it into IN queue.
        ret = ioctl (fd, VIDIOC_QBUF, &buf);
    }

如果设备支持，也可以使用VIDIOC\_EXPBUF导出buffer，得到dmafd。

*  其他模块，如OpenGL，可以使用这个dmafd显示图像。
 *  也可以使用send\_fd()将dmafd传给其他进程处理。这样做的好处是避免大块数据的复制。

struct v4l2_exportbuffer expbuf;
    memset (&expbuf, 0, sizeof(expbuf));
    expbuf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    expbuf.index = i;
    ret = ioctl (fd, VIDIOC_EXPBUF, &expbuf);
    
    int dmfd = expbuf.fd;

# 8. 开始Capture #

使用VIDIOC\_STREAMON要求设备开始工作。

enum v4l2_buf_type type;
    type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    ret = ioctl (fd, VIDIOC_STREAMON, &type);

# 9. 读帧 #

下面的代码监听设备，如果有数据，则使用VIDIOC\_DQBUF读取帧，然后传给其他线程做进一步处理。

fd_set fds;
    FD_ZERO (&fds);
    FD_SET (fd, &fds);
    ret = select (fd + 1, &fds, NULL, NULL, NULL);
    if (ret > 0)
    {
        struct v4l2_buffer buf; 
        memset (&buf, 0, sizeof(v4l2_buffer));
        buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
        buf.memory = V4L2_MEMORY_MMAP;
        ret = ioctl (fd, VIDIOC_DQBUF, buf);
    
        // hand it over for next step
        ...
    }

# 10. 归还缓存 #

其他线程处理帧后，使用VIDIOC\_QBUF将缓存归还给设备。前面已经做过这件事了。

struct v4l2_buffer buf;
    memset (&buf, 0, sizeof(struct v4l2_buffer));
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    buf.index = i;
    ret = ioctl (fd, VIDIOC_QBUF, &buf);

# 11. 缓存 单平面 vs 多平面 #

这个例子中演示的设备是单平面模式 V4L2\_BUF\_TYPE\_VIDEO\_CAPTURE，就是一个v4l2\_buffer缓存中只有一个平面。

另外一种设备是多平面模式V4L2\_BUF\_TYPE\_VIDEO\_CAPTURE\_MPLANE，就是一个v4l2\_buffer缓存中有一个或多个平面。

# 参考资料 #

Linux之V4L2基础编程  
[https://www.cnblogs.com/emouse/archive/2013/03/04/2943243.html][https_www.cnblogs.com_emouse_archive_2013_03_04_2943243.html]

ioctl VIDIOC\_EXPBUF  
[https://linuxtv.org/downloads/v4l-dvb-apis/uapi/v4l/vidioc-expbuf.html\#vidioc-expbuf][https_linuxtv.org_downloads_v4l-dvb-apis_uapi_v4l_vidioc-expbuf.html_vidioc-expbuf]

Streaming I/O (DMA buffer importing)  
[https://blog.csdn.net/jk198310/article/details/78365224][https_blog.csdn.net_jk198310_article_details_78365224]

V4L2文档翻译：输入和输出

作者：RonZheng2010  
链接：https://www.jianshu.com/p/a0f39e13187a  
来源：简书  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

[https_www.cnblogs.com_emouse_archive_2013_03_04_2943243.html]: https://www.cnblogs.com/emouse/archive/2013/03/04/2943243.html
[https_linuxtv.org_downloads_v4l-dvb-apis_uapi_v4l_vidioc-expbuf.html_vidioc-expbuf]: https://linuxtv.org/downloads/v4l-dvb-apis/uapi/v4l/vidioc-expbuf.html#vidioc-expbuf
[https_blog.csdn.net_jk198310_article_details_78365224]: https://blog.csdn.net/jk198310/article/details/78365224