FFmpeg(9)-解码器解码代码示例

落日映苍穹つ 2021-11-23 01:04 557阅读 0赞

下面是转载的一个codec的例子代码：  
红色部分是我标注的关键的代码：

FFmpeg(9)-解码器解码代码演示(FFmpeg调用MediaCodec实现硬解码、多线程解码、及音视频解码性能测试)  
一.AVFrame

用来存放解码后的数据。

【相关函数】

AVFrame \*frame = av\_frame\_alloc(); // 空间分配，分配一个空间并初始化。

void av\_frame\_free(AVFrame \*\*frame); // 空间释放。两种释放方式，一种是将引用计数-1,

int av\_frame\_ref(AVFrame \*dst, const AVFrame \*src); // 引用计数增加1。比如要在多线程访问的时候复制到另外一边，就可以利用引用计数的变化。

AVFrame \*av\_frame\_clone(const AVFrame \*src); // 复制。也是重新创建一个空间，然后引用计数加+1。与AVPacket的区别在于：AVFrame的复制开销更大。1920\*1080p的视频，一帧可能就有几MB，一秒钟可能就有几百MB，所以做一帧画面的内存复制可能都耗费到毫秒级别，不像AVPacket可能只有微秒级别，会影响帧率。所以在它的空间复制上一定要慎重，所以我们一般用引用计数的方式来做。

void av\_frame\_unref(AVFrame \*frame); // 直接把对象的引用计数-1.

【结构体包含的内容】

uint8\_t \*data\[AV\_NUM\_DATA,POINTERS\] // 存放的数据。

int linesize\[AV\_NUM\_DATA,POINTERS\] // 对于视频就是一行数据的大小。对于音频就是一个通道数据的大小。

int width, int height, int nb\_samples // 视频部分， 音频相关(单通道的样本数量)

int64\_ t pts // 实际这一帧的pts。

int64\_t pkt\_dts // 对应包当中的dts。

int sample\_rate; // 样本率

uint64\_t channel\_layout; // 通道类型

int channels; // 通道数量

int format; // 像素格式。区分音频和视频。视频的话就是AVPixelFormat，音频的话就是AVSampleFormat

二.解码器解码代码演示

// 初始化解封装  
av\_register\_all();  
// 注册解码器  
avcodec\_register\_all();

// 初始化网络  
avformat\_network\_init();  
// 打开文件  
AVFormatContext \*ic = NULL;  
char path\[\] = "sdcard/1080.mp4";  
// char path\[\] = "/sdcard/qingfeng.flv";  
 int ret = avformat\_open\_input(&ic, path, 0, 0);  
if (ret != 0) \{  
LOGE("avformat\_open\_input() called failed: %s", av\_err2str(ret));  
return env->NewStringUTF(hello.c\_str());  
\}  
LOGI("avformat\_open\_input(): File open success.");  
LOGI("File duration is: %lld, nb\_stream is: %d", ic->duration, ic->nb\_streams);  
if (avformat\_find\_stream\_info(ic, 0) >=0 ) \{  
LOGI("File duration is: %lld, nb\_stream is: %d", ic->duration, ic->nb\_streams);  
\}

/\*\*帧率\*/  
int fps = 0;  
/\*视频流索引\*/  
int videoStream = 0;  
/\*音频流索引\*/  
int audioStream = 1;

// 遍历获得音/视频流索引  
for (int i = 0; i < ic->nb\_streams; i++) \{  
AVStream \*as = ic->streams\[i\];  
if (as->codecpar->codec\_type == AVMEDIA\_TYPE\_VIDEO) \{  
LOGI("视频数据");  
videoStream = i;  
fps = (int)r2d(as->avg\_frame\_rate);  
LOGI("fps = %d, width = %d, height = %d, codecid = %d, format = %d",  
fps,  
as->codecpar->width,  
as->codecpar->height,  
as->codecpar->codec\_id,  
as->codecpar->format);  
\} else if (as->codecpar->codec\_type == AVMEDIA\_TYPE\_AUDIO) \{  
LOGI("音频数据");  
audioStream = i;  
LOGI("sample\_rate = %d, channels = %d, sample\_format = %d",  
as->codecpar->sample\_rate,  
as->codecpar->channels,  
as->codecpar->format  
);  
\}  
\}

// 也可以利用av\_find\_best\_stream()函数来查找音视频流索引  
// audioStream = av\_find\_best\_stream(ic, AVMEDIA\_TYPE\_AUDIO, -1, -1, NULL, 0);  
// LOGI("av\_find\_best\_stream, audio index is: %d", audioStream);

// 查找视频解码器  
 AVCodec \*vCodec = avcodec\_find\_decoder(ic->streams\[videoStream\]->codecpar->codec\_id); // 软解  
// vCodec = avcodec\_find\_decoder\_by\_name("h264\_mediacodec"); // 硬解  
if (!vCodec) \{  
LOGE("avcodec\_find\_decoder() failed. can not found video decoder.");  
return env->NewStringUTF(hello.c\_str());  
\}  
// 配置解码器上下文  
 AVCodecContext \*vc = avcodec\_alloc\_context3(vCodec);  
// 将AVStream里面的参数复制到上下文当中  
 avcodec\_parameters\_to\_context(vc, ic->streams\[videoStream\]->codecpar);  
vc->thread\_count = 8;

// windows: AV\_HWDEVICE\_TYPE\_DXVA2 mac:AV\_HWDDEVICE\_TYPE\_VIDEOTOOLBOX

type = AV\_HWDDEVICE\_TYPE\_VIDEOTOOLBOX;

AVBufferRef \* hw\_device\_ctx = NULL;

//设置硬解码参数

av\_hwdevice\_ctx\_create(&hw\_device\_ctx, type, NULL, NULL, 0);

vc->hw\_device\_ctx = av\_buffer\_ref(hw\_device\_ctx);

// 打开解码器  
 ret = avcodec\_open2(vc, vCodec, 0);  
if (ret != 0) \{  
LOGE("avcodec\_open2() failed. can not open video decoder, line is: %d", \_\_LINE\_\_);  
return env->NewStringUTF(hello.c\_str());  
\}

// 查找音频解码器  
AVCodec \*aCodec = avcodec\_find\_decoder(ic->streams\[audioStream\]->codecpar->codec\_id); // 软解  
// aCodec= avcodec\_find\_decoder\_by\_name("h264\_mediacodec"); // 硬解  
if (!aCodec) \{  
LOGE("avcodec\_find\_decoder() failed. can not found audio decoder.");  
return env->NewStringUTF(hello.c\_str());  
\}  
// 配置解码器上下文  
AVCodecContext \*ac = avcodec\_alloc\_context3(aCodec);  
// 将AVStream里面的参数复制到上下文当中  
 avcodec\_parameters\_to\_context(ac, ic->streams\[audioStream\]->codecpar);  
ac->thread\_count = 8;  
// 打开解码器  
ret = avcodec\_open2(ac, aCodec, 0);  
if (ret != 0) \{  
LOGE("avcodec\_open2() failed. can not open audio decoder");  
return env->NewStringUTF(hello.c\_str());  
\}

// 读取帧数据  
AVPacket \*packet = av\_packet\_alloc();  
AVFrame \*frame = av\_frame\_alloc();  
int64\_t start = getNowMs();  
int frameCount = 0;

for (;;) \{

if (getNowMs() - start >= 3000) \{  
LOGI("now decoder fps is: %d", frameCount / 3);  
start = getNowMs();  
frameCount = 0;  
\}  
int ret = av\_read\_frame(ic, packet);  
if (ret != 0) \{  
LOGE("读取到结尾处");  
int pos = 20 \* r2d(ic->streams\[videoStream\]->time\_base);  
// 改变播放进度  
av\_seek\_frame(ic, videoStream, pos, AVSEEK\_FLAG\_BACKWARD | AVSEEK\_FLAG\_FRAME);  
continue;  
\}

// LOGI("Read a Packet. streamIndex=%d, size=%d, pts=%lld, flag=%d",  
// packet->stream\_index,  
// packet->size,  
// packet->pts,  
// packet->flags  
// );

AVCodecContext \*cc = vc;  
if (packet->stream\_index == audioStream) cc = ac;  
// 发送到线程中去解码(将packet写入到解码队列当中去)  
ret = avcodec\_send\_packet(cc, packet);  
// 清理  
int p = packet->pts;  
av\_packet\_unref(packet);  
if (ret != 0) \{  
// LOGE("avcodec\_send\_packet failed.");  
continue;  
\}

for(;;) \{  
// 从已解码成功的数据当中取出一个frame, 要注意send一次,receive不一定是一次  
 ret = avcodec\_receive\_frame(cc, frame);  
if (ret != 0) \{  
break;  
\}  
if (cc == vc) \{  
frameCount++;  
\}  
 if(frame->format==AV\_PIX\_FMT\_VIDEOTOOLBOX)  
\{  
//get data from GPU memory  
AVFrame\* sw\_frame = av\_frame\_alloc();  
int hr = av\_hwframe\_transfer\_data(sw\_frame, frame, 0);

av\_frame\_copy\_props(sw\_frame, frame);  
av\_frame\_unref(frame);  
av\_frame\_move\_ref(frame,sw\_frame);

// LOGI("Receive a frame.........");  
\}  
\}

// 关闭上下文  
avformat\_close\_input(&ic);  
return env->NewStringUTF(hello.c\_str());

另外：硬件解码器需要进行注册，即需要把Java虚拟机的环境传递给FFmpeg，因此还需要添加下列代码，否则解码器无法打开。

extern "C"  
JNIEXPORT  
jint JNI\_OnLoad(JavaVM \*vm,void \*res)  
\{  
av\_jni\_set\_java\_vm(vm,0);  
return JNI\_VERSION\_1\_4;  
\}

av\_jni\_set\_java\_vm(vm,0); 包含在 <libavcodec/jni.h> 头文件当中，不要忘记包含该头文件。