opencv with ffmpeg 代码解析(三)

Bertha 。 2021-06-22 15:37 411阅读 0赞

前面两篇博文介绍到了CvCapture\_FFMPEG，这个类的声明与定义都在cap\_ffmpeg\_impl.hpp这个头文件里

在CvCapture\_FFMPEG众多方法中，

bool open( const char* filename );
    void close();
    bool grabFrame();
    bool retrieveFrame(int, unsigned char** data, int* step, int* width, int* height, int* cn);
    bool processRawPacket();

以下5个函数是最核心的功能

1、open 打开视频流

2、close 关闭视频流

3、grabFrame 程序内部获取帧

4、retrieveFrame 将帧数据导出

5、processRawPacket 处理原始包

这个5个函数对ffmpeg视频处理功能进行了封装，每一个函数都可以看出ffmpeg在视频流处理过程中的流程逻辑，而这5个函数中更为核心的是open和grabFrame函数

open()简化处理流程如下：

bool CvCapture_FFMPEG::open( const char* _filename )
    {
        ...
        close();
        ...
        ic = avformat_alloc_context();
        ...
        av_dict_set(&dict, "rtsp_transport", "tcp", 0);
        ...
        int err = avformat_open_input(&ic, _filename, input_format, &dict);
        ...
        err = avformat_find_stream_info(ic, NULL);
        ...
        for(i = 0; i < ic->nb_streams; i++)
        {
            AVCodecContext *enc = ic->streams[i]->codec;
            ...
            if( AVMEDIA_TYPE_VIDEO == enc->codec_type && video_stream < 0)
            {
                // backup encoder' width/height
                int enc_width = enc->width;
                int enc_height = enc->height;
    
                AVCodec *codec;
                codec = avcodec_find_decoder(enc->codec_id);
                ...
                avcodec_open2(enc, codec, NULL);
                ...
    
                video_stream = i;
                video_st = ic->streams[i];
                ...
                picture = av_frame_alloc();
                ...
            }
        }
    
        ...
    }

grabFrame()函数简化处理流程如下：

bool CvCapture_FFMPEG::grabFrame()
    {
        ...
    
        // get the next frame
        while (!valid)
        {
    
            av_packet_unref (&packet);
    
            ...
    
            int ret = av_read_frame(ic, &packet);
    
            if( packet.stream_index != video_stream )
            {
                av_packet_unref (&packet);
                ...
                continue;
            }
            ...
            if (rawMode)
            {
                valid = processRawPacket();
                break;
            }
            ...
            // Decode video frame
            avcodec_decode_video2(video_st->codec, picture, &got_picture, &packet);
            // Did we get a video frame?
            ...
        }
    
        ...
    }

看完opencv的源码，你会发现，以前搜索的ffmpeg样例和opencv的基本上没什么差别，ffmpeg获取视频流的处理流程基本上一样，只是版本之间可能会有一些细微的差别