AI 隐身术,能让物体在视频中消失的魔法。 曾经终败给现在 2022-12-17 07:01 69阅读 0赞 ![AI 隐身术,能让物体在视频中消失的魔法。][AI] > 点赞再看,养成习惯,微信公众号搜索【JackCui-AI】关注这个爱发技术干货的程序员。本文 GitHub [https://github.com/Jack-Cherish/PythonPark][https_github.com_Jack-Cherish_PythonPark] 已收录,有一线大厂面试完整考点、资料以及我的系列文章。 ## 一、前言 ## 刚刚过去的 2020 年 ECCV,有一项 AI“隐身”技术引人瞩目。 正在坐秋千的小孩,突然只剩下秋千架。 ![AI 隐身术,能让物体在视频中消失的魔法。][AI 1] 让漫步的行人消失,让奔驰的汽车消失。 能让物体在视频中消失的算法 这么好玩的 AI [算法][Link 1],你想学吗? 老规矩,今天,继续手把手教学。 算法原理、环境搭建、效果实现,**一条龙服务**,尽在下文! ## 二、FGVC ## FGVC 的作者是一位 90 后北京小伙,目前在弗吉尼亚理工大学计算机工程专业就读博士三年级,师从华人教授 Jia-Bin Huang。 ![AI 隐身术,能让物体在视频中消失的魔法。][AI 2] FGVC 算法本质上是一个基于[光流][Link 2]法的[视频修复][Link 3]算法。 [光流][Link 2]法是视域中物体运动检测的概念,其用于描述运动所造成的观测目标、表面或边缘的运动,主要应用于计算机视觉和影像处理等。 使用光流法,可寻到不同帧之间的关系,并通过在不同帧之间传播信息来补全视频。 FGVC 主要包含三个步骤:Flow completion、Temporal propagation、Fusion。 **Flow completion**:具体操作时,要计算相邻帧之间的正向光流和反向光流、以及一组非相邻帧 (Non-local) 的正向光流和反向光流。 **Temporal propagation**:按照光流的轨迹,为每个丢失的像素找到一组候选像素,对于每个候选帧,都要估计一个置信分数以及一个二进制有效性指标。 **Fusion**:使用置信加权平均值,将每个缺失像素的候选像素与至少一个有效候选像素融合。对于没有候选像素,则使用一个关键帧,并使用单个图像补全技术来填充它。 更具体的原理,比如边缘引导的光流补充等,可以去「啃下」论文,学习一下。 Paper 地址: [https://arxiv.org/abs/2009.01835][https_arxiv.org_abs_2009.01835] ## 三、环境配置 ## 想要测试算法效果,先要部署下开发环境。 Github 开源项目地址:[https://github.com/vt-vl-lab/FGVC][https_github.com_vt-vl-lab_FGVC] Github 下载慢的,可以下载我已经打包的代码(提取码:jack): [https://pan.baidu.com/s/1t\_EDDDgMCHBS83QFywuFdg][https_pan.baidu.com_s_1t_EDDDgMCHBS83QFywuFdg] 这里推荐使用 Anaconda 完成部署,不知道 conda 用法的,可以看下我写过的另一篇基础教程: [一劳永逸的 Python 开发环境搭建][Python] FGVC 算法依赖于另外两个算法 DeepFill 和 RAFT。 所以,可以创建两个虚拟环境 FGVC 和 raft。 FGVC 环境使用 PyTorch 0.4.0,并配置算法 DeepFill 的环境。 DeepFill 环境配置方法: [https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting\#install--requirements][https_github.com_nbei_Deep-Flow-Guided-Video-Inpainting_install--requirements] 直接使用指令安装依赖库: pip install -r requirements.txt raft 环境使用 PyTorch 1.6.0,并配置算法 RAFT 的环境。 RAFT 环境配置方法: [https://github.com/princeton-vl/RAFT\#requirements][https_github.com_princeton-vl_RAFT_requirements] 这里比较简单,使用 conda 安装需要的库即可。 都配置完毕,就可以测试算法效果了! ## 四、效果测试 ## 先激活 raft 虚拟环境,直到运行结果出现提示: 「Please switch to Pytorch 0.4.0」 然后切换到 FGVC 虚拟环境,然后再运行一次代码。 Object removal: cd tool python video_completion.py \ --mode object_removal \ --path ../data/tennis \ --path_mask ../data/tennis_mask \ --outroot ../result/tennis_removal \ --seamless FOV extrapolation: cd tool python video_completion.py \ --mode video_extrapolation \ --path ../data/tennis \ --outroot ../result/tennis_extrapolation \ --H_scale 2 \ --W_scale 2 \ --seamless 想要计算速度更快些,可以去掉 seamless 参数。 算法需要 rgb 图片和 mask 图片,这些数据是已知的,想要去除什么物体,给个物体的 mask 即可。 ![AI 隐身术,能让物体在视频中消失的魔法。][AI 3] 运行效果**示意图**: ![AI 隐身术,能让物体在视频中消失的魔法。][AI 4] ## 五、最后 ## 好玩的 AI 算法有很多,关注我带你玩转各种好玩的算法,我是 Jack Cui,我们下期见! > 文章持续更新,可以微信公众号搜索【JackCui-AI】第一时间阅读,本文 GitHub [https://github.com/Jack-Cherish/PythonPark][https_github.com_Jack-Cherish_PythonPark] 已经收录,有大厂面试完整考点,欢迎Star。 [AI]: /images/20221123/c701a1af0bd749ca837d25e347dfe005.png [https_github.com_Jack-Cherish_PythonPark]: https://github.com/Jack-Cherish/PythonPark [AI 1]: /images/20221123/1091e828ccce4c2984fedbfe29f2e389.png [Link 1]: https://cuijiahua.com/blog/tag/%E7%AE%97%E6%B3%95/ [AI 2]: /images/20221123/4de902a5214e44a88a479a0a0bf2db6f.png [Link 2]: https://cuijiahua.com/blog/tag/%E5%85%89%E6%B5%81/ [Link 3]: https://cuijiahua.com/blog/tag/%E8%A7%86%E9%A2%91%E4%BF%AE%E5%A4%8D/ [https_arxiv.org_abs_2009.01835]: https://arxiv.org/abs/2009.01835 [https_github.com_vt-vl-lab_FGVC]: https://github.com/vt-vl-lab/FGVC [https_pan.baidu.com_s_1t_EDDDgMCHBS83QFywuFdg]: https://pan.baidu.com/s/1t_EDDDgMCHBS83QFywuFdg [Python]: https://cuijiahua.com/blog/2020/10/dl-basics-1.html [https_github.com_nbei_Deep-Flow-Guided-Video-Inpainting_install--requirements]: https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting#install--requirements [https_github.com_princeton-vl_RAFT_requirements]: https://github.com/princeton-vl/RAFT#requirements [AI 3]: /images/20221123/1d5b9231b5514251a5e07245d2c9b144.png [AI 4]: /images/20221123/8b7c0f85522a4141a04ae5c58b6d60ce.png
还没有评论,来说两句吧...