Android FFmpeg视频转码并保存到本地

小鱼儿 2023-10-18 10:31 9阅读 0赞

本文讲述在Android中， 如何将FFmpeg视频转码为YUV格式并保存到本地。

首先，我们基于上一篇文章 [基于Android Studio3.2实现ffmpeg最简单的例子][Android Studio3.2_ffmpeg] 来进行配置。

配置好之后，我们先来明确下概念，FFmpeg解码的流程是固定的

1.  av\_register\_all: 注册所有组件
2.  avformat\_open\_input : 打开输入视频文件
3.  avformat\_find\_stream\_info: 获取视频文件信息
4.  avcodec\_find\_decoder: 根据编解码上下文中的编码id查找对应的解码
5.  avcodec\_open2: 打开解码器
6.  av\_read\_frame:一帧一帧读取压缩数据
7.  avcodec\_decode\_video2:解码一帧视频压缩数据，得到视频像素数据

接着，我们来具体实现

#### 在VideoUtils中新增decode方法 ####

/**
     *
     * @param input 输入的视频文件路径
     * @param output 输出的视频文件路径
     */
    public native static void decode(String input,String output);

然后再native-lib.c中实现该方法

JNIEXPORT void JNICALL
    Java_com_ethanco_ffmpegtest_VideoUtils_decode(JNIEnv *env, jclass type, jstring input_jstr,
                                                  jstring output_jstr) {
    
    }

#### 获取输入和输出视频路径 ####

const char *input_cstr = (*env)->GetStringUTFChars(env, input_jstr, NULL);
    const char *output_cstr = (*env)->GetStringUTFChars(env, output_jstr, NULL);

#### 注册所有组件 ####

//1.注册所有组件
    av_register_all();
    	
    //封装格式上下文，统领全局的结构体，保存了视频文件封装格式的相关信息
    AVFormatContext *pFormatCtx = avformat_alloc_context();

#### 打开输入视频文件 ####

//2.打开输入视频文件
      if (avformat_open_input(&pFormatCtx, input_cstr, NULL, NULL) != 0) {
           LOGE("无法打开视频文件:%s", input_cstr);
           return;
       }

#### 获取视频文件信息 ####

if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
        LOGE("%s", "无法获取视频文件信息")
        return;
    }  
    
    //获取视频流的索引位置
    //遍历所有类型的流 (音频流、视频流、字幕流)，找到视频流
    int v_stream_idx = -1;
    //number of streams
    for (int i = 0; i < pFormatCtx->nb_streams; ++i) {
        //流的类型
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
            v_stream_idx = i;
            break;
        }
    }
    
    if (v_stream_idx == -1) {
        LOGE("%s", "找不到视频流\n");
        return;
    }
    
    //只有知道视频的编码方式，才能够根据编码方式去找到解码器
    //获取视频流中的编码上下文
    AVCodecContext *pCodecCtx = pFormatCtx->streams[v_stream_idx]->codec;

#### 根据编解码上下文中的编码id查找对应的解码 ####

AVCodec *pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
    
    if (pCodec == NULL) {
        //这里可以临时下载一个解码器
        LOGE("%s", "找不到解码器\n");
        return;
    }

#### 打开解码器 ####

if (avcodec_open2(pCodecCtx, pCodec, NULL < 0)) {
        LOGE("%s", "解码器无法打开\n");
        return;
    }  
    
    //准备读取
    //AVPacket用于存储一帧一帧的压缩数据 (H264)
    //缓冲区，开辟空间
    AVPacket *packet = (AVPacket *) av_malloc(sizeof(AVPacket));
    
    //AVFrame用于存储解码后的像素数据(YUV)
    //内存分配
    AVFrame *pFrame = av_frame_alloc();
    //YUV420
    AVFrame *pFrameYUV = av_frame_alloc();
    //只有指定了AVFrame的像素格式、画面大小才能真正分配内存
    //缓冲区分配内存
    uint8_t *out_buffer = (uint8_t *) av_malloc(
            avpicture_get_size(AV_PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height));
    
    //初始化缓冲区
    avpicture_fill((AVPicture *) pFrameYUV, out_buffer, AV_PIX_FMT_YUV420P, pCodecCtx->width,
                   pCodecCtx->height);
    
    //用于转码 (缩放) 的参数，转之前的宽高，转之后的宽高，格式等
    struct SwsContext *sws_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height,
                                                pCodecCtx->pix_fmt,
                                                pCodecCtx->width, pCodecCtx->height,
                                                AV_PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);

#### 一帧一帧读取压缩数据，并进行解码，得到像素数据 ####

int got_picture, ret;
    FILE *fp_yuv = fopen(output_cstr, "wb+");
    int frame_count = 0;
    
    //6.一帧一帧读取压缩数据
    while (av_read_frame(pFormatCtx, packet) >= 0) {
        //只要视频压缩数据 (根据流的索引位置判断)
        if(packet->stream_index == v_stream_idx){
            //7.解码一帧视频压缩数据，得到视频像素数据
            ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
            if(ret < 0){
                LOGE("%s","解码错误");
                return;
            }
    
            //为0说明解码完成，非0正在解码
            if(got_picture){
                //AVFrame转为像素格式YUV420，宽高
                //参数2、6:输入、输出数据
                //参数3、7:输入、输出画面一行的数据大小 AVFrame转换是一行一行转换的
                //参数4:输入数据第一列要转码的位置 从0开始
                //参数5:输入画面的高度
                sws_scale(sws_ctx, pFrame->data, pFrame->linesize, 0, pCodecCtx->height,
                          pFrameYUV->data, pFrameYUV->linesize);
    
                //输出到YUV文件
                //AVFrame像素帧写入文件
                //data解码后的图像像素数据 (音频采样数据)
                //Y 亮度 U 色度 (压缩了) 人对亮度更加敏感
                //U V 个数是Y的1/4
                int y_size = pCodecCtx->width * pCodecCtx->height;
                fwrite(pFrameYUV->data[0], 1, y_size, fp_yuv); //Y
                fwrite(pFrameYUV->data[1], 1, y_size / 4, fp_yuv); //U
                fwrite(pFrameYUV->data[2], 1, y_size / 4, fp_yuv); //V
    
                frame_count++;
                LOGI("解码第%d帧",frame_count);
            }
        }
    
        //释放资源
        av_free_packet(packet);
    }

#### 释放资源 ####

fclose(fp_yuv);
    
    (*env)->ReleaseStringUTFChars(env,input_jstr,input_cstr);
    (*env)->ReleaseStringUTFChars(env,output_jstr,output_cstr);
    
    av_frame_free(&pFrame);
    
    avcodec_close(pCodecCtx);
    
    avformat_free_context(pFormatCtx);

#### 在Java层进行调用 ####

注意这里输出的视频文件名最好是按照`output_1280x720_yuv420p.yuv`这个格式来，这样YUV player可以自动识别视频分辨率进行播放。

new Thread(){
       @Override
       public void run() {
           super.run();
    
           String input = new File(Environment.getExternalStorageDirectory(),"input.mp4").getAbsolutePath();
           String output = new File(Environment.getExternalStorageDirectory(),"output_1280x720_yuv420p.yuv").getAbsolutePath();
           VideoUtils.decode(input, output);
       }
    }.start();

#### 运行程序，进行视频转换 ####

视频转换成功后，我们可以看到一个`output_1280x720_yuv420p.yuv`文件，我们使用adb将该文件导出，然后下载专门的播放器[YUV player][] 进行播放，可以看到，视频播放成功。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28_size_27_color_FFFFFF_t_70]

至此，我们通过FFmpeg进行视频转码就成功了。

#### 其他 ####

##### YUV格式说明 #####

> Y只包含亮度信息，而UV只包含色度信息。  
> Y占了1/2，U和V分别占了1/4  
> 详见 [音视频基础知识][Link 1]

##### 代码 #####

[文中相关代码下载][Link 2]

[Android Studio3.2_ffmpeg]: https://blog.csdn.net/EthanCo/article/details/83228982
[YUV player]: http://www.yuvplayer.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28_size_27_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/201810271636181.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28=,size_27,color_FFFFFF,t_70
[Link 1]: https://blog.csdn.net/EthanCo/article/details/82913608
[Link 2]: https://github.com/EthanCo/FFmpegTest/tree/master/FFmpegTest