手把手实现火爆全网的视频特效 “蚂蚁呀嘿”，太魔性了

淩亂°似流年 2022-11-05 09:59 215阅读 0赞

**导读**

Hi，大家好，今天是周末，今天给各位读者分享最近很火的视频特效。

将会依据现有的demo，一步步去分析原理，并最终实现。

## **思路简介** ##

首先看一下目标效果（下面放的是 gif，我们需要的是视频，需要添加背景音乐）

![3a7a517aa130e52c890824f06cf9ee82.gif][]

明确目标之后，接下来就是进一步去分解具体的技术实现。

**参考网上的实现方法：**

采用 APP

Avatarify

操作步骤：

打开这款软件Avatarify，选择一张照片即可进入选择特效页面

即：需要一张图片 + 一个想要的特效视频

具体的原理：

让一张照片动起来，人脸跟着音乐一起挤眉弄眼，需要一个叫做**一阶运动模型** （First Order Motion Model）来搞定。

技术原理借鉴了去年意大利特伦托大学的一项研究，入选了NIPS 2019。

![aad3c500a85da8672ee27b4ade3c0a33.png][]

当时的例子是这样的。

![62e2d93169ed7db4065f35803189e38e.gif][]

**当然上面的操作仅仅只能用于画面的特效，没有声音，因此，我们需要添加声音，同时如果想要分享到朋友圈的话，还需要一定的处理将视频的编码格式变成H264。**

下面我将一步步操作

## 详细教程 ##

**1、克隆项目并配置环境** 项目连接：

> https://github.com/anandpawara/Real\_Time\_Image\_Animation

本文所有操作均在ubuntu 20.04 下操作，如需windows或mac下操作，请自行搜索相应的解决方案

1）从 github 克隆项目

git clone git@github.com:anandpawara/Real_Time_Image_Animation.git

2）配置环境

pip install -r requirements.txt

报错：

> ERROR: Could not find a version that satisfies the requirement pywin32==227 ERROR: No matching distribution found for pywin32==227

**暂时不处理 ！！！**

从 requirements.txt 中删除掉之后，再次运行上面的语句  
或者运行代码尝试缺少哪些包  
运行代码

python image_animation.py -i path_to_input_file -c path_to_checkpoint -v path_to_video_file

各个参数的含义：

path\_to\_input\_file 是输入的图片（例如你相对蒙娜丽莎进行变换，这里输入即她的照片）

path\_to\_checkpoint 是权重文件路径（需要从项目中的下载）

path\_to\_video\_file 是输入的视频文件（含动作的视频文件）

python image_animation.py -i Inputs/Monalisa.png -c checkpoints/vox-cpk.pth.tar -v 1.mp4

如果运行成功，最后生成的视频存放在 output 文件夹下。

当然由于上述环境安装问题，导致会报错 ：

> No module named 'tqdm' 
> 
> No module named 'imageio' 
> 
> No module named 'skimage' 
> 
> No module named 'sklearn' 
> 
> No module named 'pandas' 
> 
> No module named 'yaml' 
> 
> No module named 'cv2'

这是常见问题，缺失必要的包，但在国内安装的时候，如果直接 pip install 进行安装可能会存在网速太慢的问题，导致失败或者浪费了大量的时间，可以考虑换源或指定源的方式来快速下载

这里给出指定源的方法

> 参考：https://www.cnblogs.com/flintlovesam/p/12833652.html

例如想要安装 imageio，在后面添加 -i + 源 即可

pip install imageio -i https://mirrors.aliyun.com/pypi/simple/

同样的问题，这里用到了 pytorch，国内安装也会遇到上述的问题，这里也采用指定源的方式解决 （安装 GPU 版本 pytorch， 版本 1.5.0）

pip install torch===1.5.0+cu101 torchvision===0.6.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html -i https://pypi.douban.com/simple/ some-package

> 注意：这里我的是cuda版本是10.1，大家根据自己的情况进行调整 如果安装速度慢，可以考虑换源 或以制定源的方法安装 
> 
> 参考：https://blog.csdn.net/qq\_36414085/article/details/106369314

**上诉操作成功后，再次运行，此时 output文件夹下即有结果出来**

python image_animation.py -i Inputs/Monalisa.png -c checkpoints/vox-cpk.pth.tar -v 1.mp4

**上述的操作，就这个项目能实现的基本功能，实现动作迁移，下面我们将对进行一些修改来达到我们的最终目标！**

**大致内容：**

**1）画面修改**

**2）添加背景音乐**

**3）视频格式转换**

## **优化** ##

**1）画面修改**

存在的问题：

1、帧数问题：

素材帧数-15 FPS

生成的视频结果的设置帧数 为 12 FPS 会导致音画不同步

2、画面尺寸问题：

由于这个项目的作者将最终的显示结果设置为

原图--生成视频--原始视频 的结果形式，

而我们最终只想要 生成的视频，所以还需要进行一定的修改（从256\*3，256）变成（256，256）

![85ff835b297b044e693b4e589ac2b192.png][]

具体修改

# 文件 image_animation.py
    # 第50行
    # out1 = cv2.VideoWriter('output/test.avi', fourcc, 12, (256*3 , 256), True)
    # 修改输出视频格式 帧数和视频输出的尺寸
    out1 = cv2.VideoWriter('output/test.avi', fourcc, 15, (256 , 256), True)

同时修改保存的结果：

#  文件 image_animation.py
    # 重点关注
    joinedFrame = np.concatenate((cv2_source,im,frame1),axis=1)            
    cv2.imshow('Test',joinedFrame)
    out1.write(img_as_ubyte(joinedFrame))
    # 修改成
    out1.write(img_as_ubyte(im))

备注：

获取视频帧数的方法

import cv2
    cap = cv2.VideoCapture("test.avi")
    print(cap.get(cv2.CV_CAP_PROP_FPS )

> 参考https://zhuanlan.zhihu.com/p/56571623

**2）添加背景音乐**

这里需要安装moviepy 包

pip install moviepy

如果遇到问题可以考虑下面的处理方法

sudo pip install ez_setup
    pip install --user moviepy -ignore-installed -i https://mirrors.aliyun.com/pypi/simple/

> 参考：https://blog.csdn.net/weixin\_38636815/article/details/106539049
> 
> https://blog.csdn.net/qq\_43058685/article/details/104221009

添加背景音乐

from moviepy.editor import *
    
    
    video_path = 'test.avi'
    audio_path = 'test.wav'
    
    
    video = VideoFileClip(video_path)
    audio_clip = AudioFileClip(audio_path)
    video = video.set_audio(audio_clip)
    
    
    video.write_videofile('result-myyh.mp4')

**3）视频格式转换**

安装ffmpeg

> 微信：不能分享这种格式（MP4）的视频的问题原因以及解决方案 上传H.264编码格式的MP4视频，否则借助第三方转换软件转换成H.264编码格式的MP4视频即可。ffmpeg
> 
> https://jingyan.baidu.com/article/27fa732646092846f9271f71.html （安装教程）https://zhuanlan.zhihu.com/p/200783234

ffmpeg -i result-myyh.mp4 -vcodec libx264 -f mp4 result.mp4

上述代码在终端中运行，将 result-myyh.mp4 生成我们需要的编码格式视频文件result.mp4 （外放的话注意音量哦）

## **总结** ##

本文详细分析，并一步步拆解现有的方案，最终实现的效果如上所示

感谢看到这里的小伙伴，希望能给个三连支持一下，周末还在加班的打工人！下期见

## 参考文献： ##

*  https://github.com/anandpawara/Real\_Time\_Image\_Animation
 *  https://www.cnblogs.com/flintlovesam/p/12833652.html
 *  https://blog.csdn.net/qq\_36414085/article/details/10636931
 *  https://blog.csdn.net/weixin\_38636815/article/details/106539049
 *  https://blog.csdn.net/qq\_43058685/article/details/104221009
 *  https://jingyan.baidu.com/article/27fa732646092846f9271f71.html
 *  https://github.com/opencv/opencv-python/issues/100
 *  http://www.blogdaren.com/post-2592.html
 *  https://zhuanlan.zhihu.com/p/200783234

[3a7a517aa130e52c890824f06cf9ee82.gif]: /images/20221023/dc1607e7369b4621ac0f6ff1dfdf3b79.png
[aad3c500a85da8672ee27b4ade3c0a33.png]: /images/20221023/71a7559bc7834ffaaae8f385e0718000.png
[62e2d93169ed7db4065f35803189e38e.gif]: https://img-blog.csdnimg.cn/img_convert/62e2d93169ed7db4065f35803189e38e.gif
[85ff835b297b044e693b4e589ac2b192.png]: /images/20221023/826d6aec751c494585c8659b2cbcb5a7.png