基于 IJKPlayer-concat 协议的视频无缝拼接技术实现

我就是我 2021-11-09 22:34 314阅读 0赞

![1626c390c2bfec18?w=900&h=500&f=jpeg&s=170356][1626c390c2bfec18_w_900_h_500_f_jpeg_s_170356]

## 一、前言 ##

Hi，大家好，我是承香墨影！

开门见山，开篇名义。今天来聊聊如何将多段视频，拼接成一个完整而连续的视频，然后无缝进行播放。

这样的需求应该不算偏门吧？

最简单的就是一些视频 App，会将大段的视频切割成小段的视频进行播放，还有一些在播放视频之前，会插播一段广告，这些需求都可以被本文的内容覆盖到。

说到多个视频拼接来说，如果你了解过 Google 出的 ExoPlayer 的话，它其内正好有一个 `ConcatenatingMediaSource` 可以来完成多个视频源的拼接工作，并且 Api 很好用，基本上算是无缝拼接。

不过呢，ExoPlayer 是依赖 `MediaCodec` 的，除了 Api Level 的限制之外（Api Level 16+），它对设备硬件也是有要求的，在一些低端机上，你会碰到一些莫名其妙的卡顿、马赛克、花屏等问题。而正是因为封装的太好了，如果你想自行添加软解，很遗憾，不太简单。而 Github 上 extensions 中，对 ffmpeg 的支持，也只是仅限于 Audio，对 Video 没有这个支持。

本文是基于另外一个很火的开源播放器：IJKPlayer，来看看如何去拼接视频。

## 二、IJKPlayer Concat ##

IJKPlayer 是一个基于 FFmpeg 的轻量级 Android/iOS 视频播放器，被 Bilibili 开源出来，算是国内很火的一款开源播放器了，很多 App 都在用。

因为背靠 FFmpeg，所以你在视频编码解码上碰到的大部分问题，IJKPlayer 都可以帮你解决，是一款非常好用的播放器。

IJKPlayer 本身已经很好用了，你如果想播放多段视频源的话，想要挨个的顺序播放，在要求不高或者本身有转场效果的前提条件下，也不是不可以。可如果是需要那种无缝的衔接，使用这种方式你会发现会有短暂的黑屏，因为加载新的视频源需要经历一小段时间，这种黑屏的现象在越差的设备上，越明显。

对此，我这里推荐的解决方案，就是**使用 FFmpeg 的 concat 协议**。

### 2.1 什么是 concat ###

concat 是 FFmpeg 提供的一个**虚级联脚本分解器**（以下简称 concat 协议），它是以一段有规则的脚本文件的形式存在的。可以使用 concat 定义一个视频播放列表，FFmpeg 在播放的时候，会根据你定义的顺序，一个接一个的解析进行播放，就好像他们本身就是一个视频源一样。

这么解释可能有点不清晰，不过如果你了解 `.m3u8` 的格式，你对 concat 的理解应该就不难，它们都是定义了一个视频列表，交由播放器的解码器去顺序播放。

具体的信息，可以去 FFmpeg 的官方文档中，查阅对应的内容。

> FFmpeg Doc：
> 
> [https://ffmpeg.org/ffmpeg-formats.html\#concat][https_ffmpeg.org_ffmpeg-formats.html_concat]

### 2.2 concat 文件 ###

想要使用 concat 协议，首先需要定义一个待解析的文件。它必须是以 `.ffcat` 或者 `.ffconcat` 后缀结尾，并且文件的内容头，必须标记当前 concat 的版本号。

其内有两个可配置的选项：

*  file：用于指定一个待解析的视频源，它可以指定一个本地的文件路径，或者一个在线的 Uri，都是合法的。
 *  duration：标记前一个 file 指定的视频源的长度，根据官方文档的介绍，它是和 seek 相关的，当你调整进度的时候，它可以精准的定位到文件。不过它是一个辅助参数，如果你拼接的视频码率什么的参数都一致，是可以不需要它的，所以 duration 是一个非必须的参数。

下面举个官方的例子来看看一个完整的 `.ffcat` 文件，应该是什么样子的。

ffconcat version 1.0
    # my first filename
    file /mnt/share/file-1.wav
    duration 20.0
    # my second filename including whitespace
    file '/mnt/share/file 2.wav'
    # my third filename including whitespace plus single quote
    file '/mnt/share/file 3'\''.wav'

### 2.3 IJKPlayer 对 concat 的 Options 配置 ###

在使用 IJKPlayer 的时候，会有一些设置是通过 `setOption()` 方法进行设置的，如果需要支持 concat 协议，同时也需要有对应的设置。

这里主要关注两点：

1.  protocol\_whitelist ： 协议白名单。
2.  safe：安全路径。

为了让 IJKPlayer 能支持 concat 协议，你需要将 concat 配置到它的白名单协议里，主要是为了添加 ffconcat 和 concat 两个。

ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "protocol_whitelist", "rtmp,concat,ffconcat,file,subfile,http,https,tls,rtp,tcp,udp,crypto");

而 safe 主要是为了指定允许一些不安全的路径，默认值是 1 ，会拒绝一些不安全的文件路径。当然，什么是安全路径？你可以自行测试或者查阅文档，这里直接将它设置为 0 ，就可以将其安全监测关掉。

ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT,"safe",0);

到此，基本上就说清楚关键点了，直接将这个 `.ffcat` 文件，丢给 IJKPlayer 就可以正常的顺序播放了。

concat 相关的内容非常的少，如果你在实际操作过程中，碰到问题，还是建议关注一下 Logcat 的输出信息，看看出错的原因。当然，通读一遍 FFmpeg 的 concat 文档，也是有帮助的。

## 三、Concat 查缺补漏 ##

### 3.1 什么是安全路径 ###

前面提到的，concat 文件中，`file` 后面跟随的文件路径，必须是一个安全路径，那什么是安全路径？

根据 concat 的文档描述，安全路径必须是一个相对路径，并且只不包含特殊符号，只包含（字母。数字、句点、下划线）等字符，并且路径开始的时候，不包含句点“.”，则认为是一个安全路径。

例如 ：

file a.mp4

则认为是当前 .ffcat 文件所在目录下的 `a.mp4` 文件，这是一个安全路径。

相反的，例如 ："https://"、"file://"、"./" 这种视频源路径，均会视为不安全路径。

### 3.2 ffcat 文件是否一定要在本地 ###

FFmpeg 只是接受一个 concat 协议格式的数据流，具体它是在本地还是在远端的服务器上，其实是不影响的。

### 3.3 file 是否可以混编 ###

file 后面跟随的视频源的地址，concat 并不强制要求需要都在同一个地方。

ffconcat version 1.0
    
    file /sdcard/a.mp4
    
    file http://down4.xxx.com/hash/c644d9e118417e56d91cba3dc467ab9b.mp4

例如这样一个 `.ffcat` 文件，它是合法可播放的。

### 3.4 视频拼接的地方有黑屏闪动 ###

concat 要求拼接的视频必须具有相同的流（相同的码率和时间基准等），所以如果前后两个视频源这些参数不一致，是可能导致闪一下黑屏的。

这个问题，我在非常差的电视盒子上做过测试，如果文件流保持一致，是可以做到无缝衔接。所以如果你也碰到这样的情况，不要怀疑 FFmpeg 的 concat 的问题，重新用 FFmpeg 转码一下你的视频文件再试试吧。

[https://github.com/alwaystest/Blog/issues/58][https_github.com_alwaystest_Blog_issues_58]

[https://www.jianshu.com/p/ea794a357b48][https_www.jianshu.com_p_ea794a357b48]

> 今天在公众号后台回复成长『**成长**』，将会得到我整理的一些学习资料，也能回复『**加群**』，一起学习进步。

推荐阅读：

*  [漫画：程序员，你能“管理”好你的产品经理吗？][Link 1]
 *  [利用 Kotlin 的特性，优化 Intent 的数据传递！][Kotlin _ Intent]
 *  [解决 Lottie 动画包含图片的问题！][Lottie]
 *  [Google 的 Flutter 学习资料！][Google _ Flutter]
 *  [远程控制智能电视，方案已开源！][Link 2]

![1626591a29eb3110?w=600&h=600&f=jpeg&s=54770][1626591a29eb3110_w_600_h_600_f_jpeg_s_54770]

转载于:https://www.cnblogs.com/plokmju/p/ijkplayer\_concat.html

[1626c390c2bfec18_w_900_h_500_f_jpeg_s_170356]: https://user-gold-cdn.xitu.io/2018/3/28/1626c390c2bfec18?w=900&h=500&f=jpeg&s=170356
[https_ffmpeg.org_ffmpeg-formats.html_concat]: https://ffmpeg.org/ffmpeg-formats.html#concat
[https_github.com_alwaystest_Blog_issues_58]: https://github.com/alwaystest/Blog/issues/58
[https_www.jianshu.com_p_ea794a357b48]: https://www.jianshu.com/p/ea794a357b48
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIxNjc0ODExMA==&mid=2247485186&idx=1&sn=af106a580af73b2202d73a1301e991cb&chksm=97851e23a0f297351f51de17f3d273c9fdcf67fee57f8dd4723092819aa5a565f45a2b98bb6b#rd
[Kotlin _ Intent]: http://mp.weixin.qq.com/s?__biz=MzIxNjc0ODExMA==&mid=2247485274&idx=1&sn=065e3fc9141fd7dbf5de44741cac7ff0&chksm=97851e7ba0f2976dc80777e83f2210e1d957750dc8e84f2c3dfb158d305f35a0a6aa4d57fb87#rd
[Lottie]: http://mp.weixin.qq.com/s?__biz=MzIxNjc0ODExMA==&mid=2247485270&idx=1&sn=ea6c76cdab342cde8a7af247960e498f&chksm=97851e77a0f297619f28aadc1ef51c3ea019d318d77d8377b3841eb547acbe4ece423fd8f0fa#rd
[Google _ Flutter]: http://mp.weixin.qq.com/s?__biz=MzIxNjc0ODExMA==&mid=2247485243&idx=1&sn=58ed14bb169514278a0a0804be108988&chksm=97851e1aa0f2970c35aa77d9f7ff63671688e6b97a8f5e5050cf98a566e80cd9aa9409420178#rd
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzIxNjc0ODExMA==&mid=2247485256&idx=1&sn=85f937d1169159e4437bad3f8e375f4e&chksm=97851e69a0f2977f47d411e24b328f8cc48e01872014b06a0c55ad43f56adf9e51500af7ef0a#rd
[1626591a29eb3110_w_600_h_600_f_jpeg_s_54770]: https://user-gold-cdn.xitu.io/2018/3/27/1626591a29eb3110?w=600&h=600&f=jpeg&s=54770