使用GPU硬件加速FFmpeg视频转码

灰太狼 2022-01-31 11:19 465阅读 0赞

https://www.jianshu.com/p/59da3d350488

本文内容包括：

  • 在Linux环境下安装FFmpeg
  • 通过命令行实现视频格式识别和转码
  • 有Nvidia显卡的情况下，在Linux下使用GPU进行视频转码加速的方法

FFmpeg编译安装

在FFmpeg官网https://ffmpeg.org/download.html可以下载到ubunto/debian的发行包，其他Linux发行版需自行编译。同时，如果要使用GPU进行硬件加速的话，也是必须自己编译FFmpeg的，所以本节将介绍从源码编译安装FFmpeg的方法（基于RHEL/Centos）

安装依赖工具

  1. yum install autoconf automake bzip2 cmake freetype-devel gcc gcc-c++ git libtool make mercurial pkgconfig zlib-devel

准备工作

在$HOME下创建ffmpeg_sources目录

编译并安装依赖库

本节中的依赖库基本都是必须的，建议全部安装

nasm

汇编编译器，编译某些依赖库的时候需要

  1. cd ~/ffmpeg_sources
  2. curl -O -L http://www.nasm.us/pub/nasm/releasebuilds/2.13.02/nasm-2.13.02.tar.bz2
  3. tar xjvf nasm-2.13.02.tar.bz2
  4. cd nasm-2.13.02
  5. ./autogen.sh
  6. ./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin"
  7. make
  8. make install

yasm

汇编编译器，编译某些依赖库的时候需要

  1. cd ~/ffmpeg_sources
  2. curl -O -L http://www.tortall.net/projects/yasm/releases/yasm-1.3.0.tar.gz
  3. tar xzvf yasm-1.3.0.tar.gz
  4. cd yasm-1.3.0
  5. ./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin"
  6. make
  7. make install

libx264

H.264视频编码器，如果需要输出H.264编码的视频就需要此库，所以可以说是必备

  1. cd ~/ffmpeg_sources
  2. git clone --depth 1 http://git.videolan.org/git/x264
  3. cd x264
  4. PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig" ./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin" --enable-static
  5. make
  6. make install

libx265

H.265/HEVC视频编码器。
如果不需要此编码器，可以跳过，并在ffmpeg的configure命令中移除--enable-libx265

  1. cd ~/ffmpeg_sources
  2. hg clone https://bitbucket.org/multicoreware/x265
  3. cd ~/ffmpeg_sources/x265/build/linux
  4. cmake -G "Unix Makefiles" -DCMAKE_INSTALL_PREFIX="$HOME/ffmpeg_build" -DENABLE_SHARED:bool=off ../../source
  5. make
  6. make install

libfdk_acc

AAC音频编码器，必备

  1. cd ~/ffmpeg_sources
  2. git clone --depth 1 --branch v0.1.6 https://github.com/mstorsjo/fdk-aac.git
  3. cd fdk-aac
  4. autoreconf -fiv
  5. ./configure --prefix="$HOME/ffmpeg_build" --disable-shared
  6. make
  7. make install

libmp3lame

MP3音频编码器，必备

  1. cd ~/ffmpeg_sources
  2. curl -O -L http://downloads.sourceforge.net/project/lame/lame/3.100/lame-3.100.tar.gz
  3. tar xzvf lame-3.100.tar.gz
  4. cd lame-3.100
  5. ./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin" --disable-shared --enable-nasm
  6. make
  7. make install

libops

OPUS音频编码器
如果不需要此编码器，可以跳过，并在ffmpeg的configure命令中移除--enable-libopus

  1. cd ~/ffmpeg_sources
  2. curl -O -L https://archive.mozilla.org/pub/opus/opus-1.2.1.tar.gz
  3. tar xzvf opus-1.2.1.tar.gz
  4. cd opus-1.2.1
  5. ./configure --prefix="$HOME/ffmpeg_build" --disable-shared
  6. make
  7. make install

libogg

被libvorbis依赖

  1. cd ~/ffmpeg_sources
  2. curl -O -L http://downloads.xiph.org/releases/ogg/libogg-1.3.3.tar.gz
  3. tar xzvf libogg-1.3.3.tar.gz
  4. cd libogg-1.3.3
  5. ./configure --prefix="$HOME/ffmpeg_build" --disable-shared
  6. make
  7. make install

libvorbis

Vorbis音频编码器
如果不需要此编码器，可以跳过，并在ffmpeg的configure命令中移除--enable-libvorbis

  1. cd ~/ffmpeg_sources
  2. curl -O -L http://downloads.xiph.org/releases/vorbis/libvorbis-1.3.5.tar.gz
  3. tar xzvf libvorbis-1.3.5.tar.gz
  4. cd libvorbis-1.3.5
  5. ./configure --prefix="$HOME/ffmpeg_build" --with-ogg="$HOME/ffmpeg_build" --disable-shared
  6. make
  7. make install

libvpx

VP8/VP9视频编/解码器
如果不需要此编/解码器，可以跳过，并在ffmpeg的configure命令中移除--enable-libvpx

  1. cd ~/ffmpeg_sources
  2. git clone --depth 1 https://github.com/webmproject/libvpx.git
  3. cd libvpx
  4. ./configure --prefix="$HOME/ffmpeg_build" --disable-examples --disable-unit-tests --enable-vp9-highbitdepth --as=yasm
  5. make
  6. make install

编译安装ffmpeg 3.3.8

  1. cd ~/ffmpeg_sources
  2. curl -O -L https://ffmpeg.org/releases/ffmpeg-3.3.8.tar.bz2
  3. tar xjvf ffmpeg-3.3.8.tar.bz2
  4. cd ffmpeg-3.3.8
  5. PATH="$HOME/bin:$PATH" PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig" ./configure \
  6.   --prefix="$HOME/ffmpeg_build" \
  7.   --pkg-config-flags="--static" \
  8.   --extra-cflags="-I$HOME/ffmpeg_build/include" \
  9.   --extra-ldflags="-L$HOME/ffmpeg_build/lib" \
  10.   --extra-libs=-lpthread \
  11.   --extra-libs=-lm \
  12.   --bindir="$HOME/bin" \
  13.   --enable-gpl \
  14.   --enable-libfdk_aac \
  15.   --enable-libfreetype \
  16.   --enable-libmp3lame \
  17.   --enable-libopus \
  18.   --enable-libvorbis \
  19.   --enable-libvpx \
  20.   --enable-libx264 \
  21.   --enable-libx265 \
  22.   --enable-nonfree
  23. make
  24. make install
  25. hash -r

验证安装

  1. ffmpeg -h

使用FFmpeg

识别视频信息

通过ffprobe命令识别并输出视频信息

  1. ffprobe -v error -show_streams -print_format json <input>

为方便程序解析，将视频信息输出为json格式，样例如下：

  1. {
  2.     "streams": [
  3.         {
  4.             "index": 0,
  5.             "codec_name": "h264",
  6.             "codec_long_name": "H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10",
  7.             "profile": "High",
  8.             "codec_type": "video",
  9.             "codec_time_base": "61127/3668400",
  10.             "codec_tag_string": "avc1",
  11.             "codec_tag": "0x31637661",
  12.             "width": 1920,
  13.             "height": 1080,
  14.             "coded_width": 1920,
  15.             "coded_height": 1080,
  16.             "has_b_frames": 0,
  17.             "sample_aspect_ratio": "0:1",
  18.             "display_aspect_ratio": "0:1",
  19.             "pix_fmt": "yuv420p",
  20.             "level": 40,
  21.             "color_range": "tv",
  22.             "color_space": "bt709",
  23.             "color_transfer": "bt709",
  24.             "color_primaries": "bt709",
  25.             "chroma_location": "left",
  26.             "refs": 1,
  27.             "is_avc": "true",
  28.             "nal_length_size": "4",
  29.             "r_frame_rate": "30/1",
  30.             "avg_frame_rate": "1834200/61127",
  31.             "time_base": "1/600",
  32.             "start_pts": 0,
  33.             "start_time": "0.000000",
  34.             "duration_ts": 61127,
  35.             "duration": "101.878333",
  36.             "bit_rate": "16279946",
  37.             "bits_per_raw_sample": "8",
  38.             "nb_frames": "3057",
  39.             "disposition": {
  40.                 "default": 1,
  41.                 "dub": 0,
  42.                 "original": 0,
  43.                 "comment": 0,
  44.                 "lyrics": 0,
  45.                 "karaoke": 0,
  46.                 "forced": 0,
  47.                 "hearing_impaired": 0,
  48.                 "visual_impaired": 0,
  49.                 "clean_effects": 0,
  50.                 "attached_pic": 0,
  51.                 "timed_thumbnails": 0
  52.             },
  53.             "tags": {
  54.                 "rotate": "90",
  55.                 "creation_time": "2018-08-09T09:13:33.000000Z",
  56.                 "language": "und",
  57.                 "handler_name": "Core Media Data Handler",
  58.                 "encoder": "H.264"
  59.             },
  60.             "side_data_list": [
  61.                 {
  62.                     "side_data_type": "Display Matrix",
  63.                     "displaymatrix": "\n00000000:            0       65536           0\n00000001:       -65536           0           0\n00000002:     70778880           0  1073741824\n",
  64.                     "rotation": -90
  65.                 }
  66.             ]
  67.         },
  68.         {
  69.             "index": 1,
  70.             "codec_name": "aac",
  71.             "codec_long_name": "AAC (Advanced Audio Coding)",
  72.             "profile": "LC",
  73.             "codec_type": "audio",
  74.             "codec_time_base": "1/44100",
  75.             "codec_tag_string": "mp4a",
  76.             "codec_tag": "0x6134706d",
  77.             "sample_fmt": "fltp",
  78.             "sample_rate": "44100",
  79.             "channels": 1,
  80.             "channel_layout": "mono",
  81.             "bits_per_sample": 0,
  82.             "r_frame_rate": "0/0",
  83.             "avg_frame_rate": "0/0",
  84.             "time_base": "1/44100",
  85.             "start_pts": 0,
  86.             "start_time": "0.000000",
  87.             "duration_ts": 4492835,
  88.             "duration": "101.878345",
  89.             "bit_rate": "91595",
  90.             "max_bit_rate": "96000",
  91.             "nb_frames": "4390",
  92.             "disposition": {
  93.                 "default": 1,
  94.                 "dub": 0,
  95.                 "original": 0,
  96.                 "comment": 0,
  97.                 "lyrics": 0,
  98.                 "karaoke": 0,
  99.                 "forced": 0,
  100.                 "hearing_impaired": 0,
  101.                 "visual_impaired": 0,
  102.                 "clean_effects": 0,
  103.                 "attached_pic": 0,
  104.                 "timed_thumbnails": 0
  105.             },
  106.             "tags": {
  107.                 "creation_time": "2018-08-09T09:13:33.000000Z",
  108.                 "language": "und",
  109.                 "handler_name": "Core Media Data Handler"
  110.             }
  111.         },
  112.         {
  113.             "index": 2,
  114.             "codec_type": "data",
  115.             "codec_tag_string": "mebx",
  116.             "codec_tag": "0x7862656d",
  117.             "r_frame_rate": "0/0",
  118.             "avg_frame_rate": "0/0",
  119.             "time_base": "1/600",
  120.             "start_pts": 0,
  121.             "start_time": "0.000000",
  122.             "duration_ts": 61127,
  123.             "duration": "101.878333",
  124.             "bit_rate": "119",
  125.             "nb_frames": "17",
  126.             "disposition": {
  127.                 "default": 1,
  128.                 "dub": 0,
  129.                 "original": 0,
  130.                 "comment": 0,
  131.                 "lyrics": 0,
  132.                 "karaoke": 0,
  133.                 "forced": 0,
  134.                 "hearing_impaired": 0,
  135.                 "visual_impaired": 0,
  136.                 "clean_effects": 0,
  137.                 "attached_pic": 0,
  138.                 "timed_thumbnails": 0
  139.             },
  140.             "tags": {
  141.                 "creation_time": "2018-08-09T09:13:33.000000Z",
  142.                 "language": "und",
  143.                 "handler_name": "Core Media Data Handler"
  144.             }
  145.         },
  146.         {
  147.             "index": 3,
  148.             "codec_type": "data",
  149.             "codec_tag_string": "mebx",
  150.             "codec_tag": "0x7862656d",
  151.             "r_frame_rate": "0/0",
  152.             "avg_frame_rate": "0/0",
  153.             "time_base": "1/600",
  154.             "start_pts": 0,
  155.             "start_time": "0.000000",
  156.             "duration_ts": 61127,
  157.             "duration": "101.878333",
  158.             "nb_frames": "1",
  159.             "disposition": {
  160.                 "default": 1,
  161.                 "dub": 0,
  162.                 "original": 0,
  163.                 "comment": 0,
  164.                 "lyrics": 0,
  165.                 "karaoke": 0,
  166.                 "forced": 0,
  167.                 "hearing_impaired": 0,
  168.                 "visual_impaired": 0,
  169.                 "clean_effects": 0,
  170.                 "attached_pic": 0,
  171.                 "timed_thumbnails": 0
  172.             },
  173.             "tags": {
  174.                 "creation_time": "2018-08-09T09:13:33.000000Z",
  175.                 "language": "und",
  176.                 "handler_name": "Core Media Data Handler"
  177.             }
  178.         }
  179.     ]
  180. }

可以看到一共返回了4个流，其中第0个是视频流，1是音频流，2和3是附加数据，没什么用
如果想指定分析视频流或音频流的话，可以加上参数-show_streams -v或-show_streams -a，这样就会只输出视频/音频流的分析结果

视频转码

  1. ffmpeg -i <input> -c:v libx264 -b:v 2048k -vf scale=1280:-1 -y <output>

上述命令将输入视频转码为h264编码的视频

  • -c:v：指定编码器，编码器列表可以使用ffmpeg -codecs查看
  • -vf scale：指定输出视频的宽高，高-1代表按照比例自动适应
  • -b:v：指定输出视频的码率，即输出视频每秒的bit数
  • libx264支持的其他参数请使用ffmpeg -h encoder=libx264命令查询，如转码为其他编码，也可使用类似命令查询可用参数

使用Nvidia显卡GPU进行转码

重头戏来了，这块的资料相当少，我也是费了一番力气才搞定

CUDA

CUDA是Nvidia出的一个GPU计算库，让程序员可以驱动Nvidia显卡的GPU进行各种工作，其中就包含了视频的编解码

安装CUDA

首先验证一下显卡驱动是否装好

  1. nvidia-smi

如果驱动正常的话，此命令会输出显卡的型号、驱动版本、现存/GPU占用等信息。如何安装显卡驱动本文不描述，请参考其他资料。

到CUDA官网https://developer.nvidia.com/cuda-downloads下载对应平台的发行包，这里我选择Centos7对应的rpm包cuda-repo-rhel7-9-2-local-9.2.148-1.x86_64.rpm

执行如下命令安装：

  1. rpm -i cuda-repo-rhel7-9-2-local-9.2.148-1.x86_64.rpm
  2. yum clean all
  3. yum install cuda

一共大概要安装90多个依赖库，注意一下安装完成后的报告，我首次安装时有一个库不知道为什么安装失败了，又单独yum install了该库一次才成功

验证安装

  1. /usr/local/cuda-9.2/bin/nvcc -V

安装成功的话，会输出类似文本：

  1. nvcc: NVIDIA (R) Cuda compiler driver
  2. Copyright (c) 2005-2018 NVIDIA Corporation
  3. Built on Tue_Jun_12_23:07:04_CDT_2018
  4. Cuda compilation tools, release 9.2, V9.2.148

重新编译ffmpeg

要让ffmpeg能够使用CUDA提供的GPU编解码器，必须重新编译ffmpeg，让其能够通过动态链接调用CUDA的能力

首先要编译安装nv-codec-headers库

  1. git clone https://git.videolan.org/git/ffmpeg/nv-codec-headers.git
  2. make PREFIX="$HOME/ffmpeg_build" BINDDIR="$HOME/bin"
  3. make install PREFIX="$HOME/ffmpeg_build" BINDDIR="$HOME/bin"

进入~/ffmepg_sources/ffmpeg-3.3.8/目录重新执行ffmpeg的编译和安装
注意configure命令参数和之前configure命令参数的区别

  1. PATH="$HOME/bin:$PATH" PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig" ./configure \
  2.   --prefix="$HOME/ffmpeg_build" \
  3.   --pkg-config-flags="--static" \
  4.   --extra-cflags="-I$HOME/ffmpeg_build/include -I/usr/local/cuda/include" \
  5.   --extra-ldflags="-L$HOME/ffmpeg_build/lib -L/usr/local/cuda/lib64" \
  6.   --extra-libs=-lpthread \
  7.   --extra-libs=-lm \
  8.   --bindir="$HOME/bin" \
  9.   --enable-gpl \
  10.   --enable-libfdk_aac \
  11.   --enable-libfreetype \
  12.   --enable-libmp3lame \
  13.   --enable-libopus \
  14.   --enable-libvorbis \
  15.   --enable-libvpx \
  16.   --enable-libx264 \
  17.   --enable-libx265 \
  18.   --enable-nonfree \
  19.   --enable-cuda \
  20.   --enable-cuvid \
  21.   --enable-nvenc \
  22.   --enable-libnpp
  23. make
  24. make install
  25. hash -r

验证安装

重新安装完ffmpeg，使用ffmpeg -hwaccels命令查看支持的硬件加速选项

  1. Hardware acceleration methods:
  2. cuvid

可以看到多出来一种叫做cuvid的硬件加速选项，这就是CUDA提供的GPU视频编解码加速选项

然后查看cuvid提供的GPU编解码器ffmpeg -codecs | grep cuvid

  1. DEV.LS h264                 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10 (decoders: h264 h264_cuvid ) (encoders: libx264 libx264rgb h264_nvenc nvenc nvenc_h264 )
  2.  DEV.L. hevc                 H.265 / HEVC (High Efficiency Video Coding) (decoders: hevc hevc_cuvid ) (encoders: libx265 nvenc_hevc hevc_nvenc )
  3.  DEVIL. mjpeg                Motion JPEG (decoders: mjpeg mjpeg_cuvid )
  4.  DEV.L. mpeg1video           MPEG-1 video (decoders: mpeg1video mpeg1_cuvid )
  5.  DEV.L. mpeg2video           MPEG-2 video (decoders: mpeg2video mpegvideo mpeg2_cuvid )
  6.  DEV.L. mpeg4                MPEG-4 part 2 (decoders: mpeg4 mpeg4_cuvid )
  7.  D.V.L. vc1                  SMPTE VC-1 (decoders: vc1 vc1_cuvid )
  8.  DEV.L. vp8                  On2 VP8 (decoders: vp8 libvpx vp8_cuvid ) (encoders: libvpx )
  9.  DEV.L. vp9                  Google VP9 (decoders: vp9 libvpx-vp9 vp9_cuvid ) (encoders: libvpx-vp9 )

所有带有”cuvid”或”nvenc”的，都是CUDA提供的GPU编解码器
可以看到，我们现在可以进行h264/hevc/mjpeg/mpeg1/mpeg2/mpeg4/vc1/vp8/vp9格式的GPU解码，以及h264/hevc格式的GPU编码

使用GPU进行视频转码

用GPU进行转码的命令和软转码命令不太一样，CPU转码的时候，我们可以依赖ffmpeg识别输入视频的编码格式并选择对应的解码器，但ffmpeg只会自动选择CPU解码器，要让ffmpeg使用GPU解码器，必须先用ffprobe识别出输入视频的编码格式，然后在命令行中指定对应的GPU解码器。

例如，将h264编码的源视频转码为指定尺寸和码率的h264编码视频：

  1. ffmpeg -hwaccel cuvid -c:v h264_cuvid -i <input> -c:v h264_nvenc -b:v 2048k -vf scale_npp=1280:-1 -y <output>
  • -hwaccel cuvid：指定使用cuvid硬件加速
  • -c:v h264_cuvid：使用h264_cuvid进行视频解码
  • -c:v h264_nvenc：使用h264_nvenc进行视频编码
  • -vf scale_npp=1280:-1：指定输出视频的宽高，注意，这里和软解码时使用的-vf scale=x:x不一样

转码期间使用nvidia-smi查看显卡状态，能够看到ffmpeg确实是在使用GPU进行转码：

  1. +-----------------------------------------------------------------------------+
  2. | Processes:                                                       GPU Memory |
  3. |  GPU       PID   Type   Process name                             Usage      |
  4. |=============================================================================|
  5. |    0     62543      C   ffmpeg                                       193MiB |
  6. +-----------------------------------------------------------------------------+

GPU转码效率测试

在配有两颗Intel-E5-2630v3 CPU和两块Nvidia Tesla M4显卡的服务器上，进行h264视频转码测试，成绩如下：

  • GPU转码平均耗时：8s
  • CPU转码平均耗时：25s

并行转码时，CPU软转的效率有所提高，3个转码任务并行时32颗核心全被占满，此时的成绩

  • GPU转码平均耗时：8s
  • CPU转码平均耗时：18s

不难看出，并行时GPU的转码速度并没有提高，可见一颗GPU同时只能执行一个转码任务。那么，如果服务器上插有多块显卡，ffmpeg是否会使用多颗GPU进行并行转码呢？

很遗憾，答案是否。

ffmpeg并不具备自动向不同GPU分配转码任务的能力，但经过一番调查后，发现可以通过-hwaccel_device参数指定转码任务使用的GPU！

向不同GPU提交转码任务

  1. ffmpeg -hwaccel cuvid -hwaccel_device 0 -c:v h264_cuvid -i <input> -c:v h264_nvenc -b:v 2048k -vf scale_npp=1280:-1 -y <output>
  2. ffmpeg -hwaccel cuvid -hwaccel_device 1 -c:v h264_cuvid -i <input> -c:v h264_nvenc -b:v 2048k -vf scale_npp=1280:-1 -y <output>
  • -hwaccel_device N：指定某颗GPU执行转码任务，N为数字

此时nvidia-smi显示：

  1. +-----------------------------------------------------------------------------+
  2. | Processes:                                                       GPU Memory |
  3. |  GPU       PID   Type   Process name                             Usage      |
  4. |=============================================================================|
  5. |    0     96931      C   ffmpeg                                       193MiB |
  6. |    1     96930      C   ffmpeg                                       193MiB |
  7. +-----------------------------------------------------------------------------+

可以进行并行GPU转码了！

那么在占满服务器资源时，GPU转码和CPU转码的效率如下：

  • GPU转码平均耗时：4s
  • CPU转码平均耗时：18s

GPU效率是CPU的4.5倍

小礼物走一走，来简书关注我

作者：kelgon
链接：https://www.jianshu.com/p/59da3d350488
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

发表评论

表情：
评论列表 （有 0 条评论，465人围观）

还没有评论，来说两句吧...

相关阅读