Snap: 移动端实时人脸风格迁移

Myth丶恋晨 2022-11-12 05:26 243阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注星标
> 
> 获取有趣、好玩的前沿干货！

**机器之心 报道  编辑 维度  **

**未经授权 不得转载**

> 人脸风格迁移出现新玩法！捷克理工大学联合 Snap 公司创建了一个用于视频中人脸风格实时迁移的框架，既不需要大型数据集和冗长训练周期，更能够在移动端运行。

今年，人脸视频特效在全球又大火特火了一把。年初的「蚂蚁牙黑」（人脸唱歌），还有不久前让老照片动起来的特效，效果都十分惊艳。

风格迁移一直是图像领域的热门方向。那么在视频上做实时人脸画风迁移效果怎么样呢？

是这样的：

![70e02897a9fedf3c238cd2f08a7990d5.gif][]

![8e42981fb5672a2db9808ede0dfaec13.gif][]

![8e0cd9f595a03585ed2b13e5fe521185.gif][]

当然，视频画风迁移并不是什么新鲜技术了。但这项研究最大的特点在于：**移动端、实时**，由布拉格捷克理工大学和 Snap 公司的研究者联合完成。目前已经放出了完整论文，相关代码将于下月发布。

![445b5ea4f4c0d911fcaf32ed1e39a58c.png][]

*  项目地址：https://ondrejtexler.github.io/faceblit/
 *  论文地址：https://ondrejtexler.github.io/res/faceblit-paper.pdf

具体而言，研究者提出了一种基于实例的实时视频人脸风格迁移框架 FaceBlit，该框架通过语义上有意义的方式保留了风格的纹理细节，也就是说，用于描绘特定风格特征的笔画出现在目标图像的适当位置。

与以往风格迁移方法相比，该框架不仅保留了目标对象（target subject）的身份，而且不需要大型数据集和冗长训练周期即可实现实时运行。

为此，研究者修改了 Fišer 等人（2017 年）的人脸风格化 pipeline，这样快速生成一组指引通道（guiding channel），不仅可以保留了目标对象的身份，还兼容 Sýkora 等人（2019 年）的基于 patch 合成算法的速度更快变体。

得益于这些方法上的改进，研究者创建了首个即使在**移动端**，也可以将**单个肖像的艺术风格实时迁移至目标视频中人脸的系统框架**。

完整生成效果详见以下视频：

**实时视频人脸风格迁移****方法介绍**

该研究方法的输入是人脸的风格范例图像????以及目标人脸视频序列 T。研究假设脸部表情的改变以及移动都是基于受试者注视摄像头，并且不被其他物体遮挡。该研究的输出是一个风格化的序列????，它保留了????的重要艺术特征，同时保留了目标主体的身份。尽管已经可以使用 Fišer 等人 \[2017\] 的方法产生这种输出，但这里的一个主要缺点是，他们的方法仅适用于离线处理。

为了实现实时性能，研究者需要改变计算指引通道的方式，并用 Sýkora 等人 \[2019\] 提出的更快的变体取代 Fišer 等人 \[2016\] 的基于缓慢 patch 的合成算法。

在 Fišer 等人提出的方法中，四个指引通道用于驱动合成。分割指引????\_seg，通过将面部细分为一组区域（头发、眉毛、鼻子、嘴唇、口腔、眼睛和皮肤）来描绘重要的面部特征；位置指引（positional guide）????\_pos，对源面部和目标面部之间的空间对应关系进行编码。这两个通道确保语义上有意义的迁移。

![f9f801ce038390d1a091cb5816b26f3a.png][]

为了保持目标对象的身份特征，Fišer 等人采用了一种外观指引（appearance guide）????\_app 方法，通过使用 Shih 等人的摄影风格迁移方法使源图像和目标图像的外观均衡，从而减少了源图像和目标图像之间的域间隙。最后，时间指引????\_temp 来执行时间一致性，而????\_temp 由风格化帧的运动 - 补偿版本表示。

![960b4e711fd5e1d3d445a221bd093e38.png][]

由于上述指引通道的计算需要几十秒的时间，因此在实时场景下使用它们是不容易处理的。相反，该研究将四通道简化为两个基本的通道????\_pos 和 ????\_app（图 2 所示），改变底层生成算法，**将准备时间减少到几十毫秒**。最后，该研究演示了如何将这两个新的指引通道融入到 Sýkora 等人 \[2019\] 的快速合成算法中。

![a55cbde7348a22d7fb10d60159da9a05.png][]

**优势**

研究者表示，与其他风格迁移方法相比，生成效果如此好的关键在于三个方面：**位置指引、外观指引和直方图匹配**。下图为有无位置和外观指引的生成效果图对比，可以看到在**无位置指引或外观指引的情况下**，生成的动态效果图都不同程度地存在着瑕疵：

![e46505fa25c5657905f4d07e8d56a919.gif][]

此外，在生成目标外观指引 G^T\_app 时，直方图匹配也非常重要。从技术上来看，如果不匹配外观指引的直方图，则误差 E 会很快超过阈值 t，这会导致 chunk 明显变小，结果看起来可能会变得模糊。如下图 8a 所示，无直方图匹配时，目标对象的身份无法很好地保留，生成效果比较模糊；而如图 8b 所示，在进行直方图均衡化之后，生成效果有了明显改善，更清晰了。

![817754a1994b03fcf9853f940f52a2c4.png][]

有无直方图匹配的动态生成效果对比如下：

![dc36006ba1485f69f3025ec50f6bbce4.gif][]

最后，研究者使用一种混合方法，使得目标肖像画栩栩如生，「复刻」视频中人脸的各种表情神态。

![4f39faa9328d751490cf245dbcb25242.png][]

神奇的一幕出现了，古雕像画「活了」：

![0767e83799e798b3514aeb989b225713.gif][]

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![57e983eaf57f127d8f6260a3a994b545.png][]

[70e02897a9fedf3c238cd2f08a7990d5.gif]: /images/20221022/19c35c37a6eb4e119e54ad13af07e27c.png
[8e42981fb5672a2db9808ede0dfaec13.gif]: https://img-blog.csdnimg.cn/img_convert/8e42981fb5672a2db9808ede0dfaec13.gif
[8e0cd9f595a03585ed2b13e5fe521185.gif]: https://img-blog.csdnimg.cn/img_convert/8e0cd9f595a03585ed2b13e5fe521185.gif
[445b5ea4f4c0d911fcaf32ed1e39a58c.png]: https://img-blog.csdnimg.cn/img_convert/445b5ea4f4c0d911fcaf32ed1e39a58c.png
[f9f801ce038390d1a091cb5816b26f3a.png]: https://img-blog.csdnimg.cn/img_convert/f9f801ce038390d1a091cb5816b26f3a.png
[960b4e711fd5e1d3d445a221bd093e38.png]: https://img-blog.csdnimg.cn/img_convert/960b4e711fd5e1d3d445a221bd093e38.png
[a55cbde7348a22d7fb10d60159da9a05.png]: https://img-blog.csdnimg.cn/img_convert/a55cbde7348a22d7fb10d60159da9a05.png
[e46505fa25c5657905f4d07e8d56a919.gif]: https://img-blog.csdnimg.cn/img_convert/e46505fa25c5657905f4d07e8d56a919.gif
[817754a1994b03fcf9853f940f52a2c4.png]: https://img-blog.csdnimg.cn/img_convert/817754a1994b03fcf9853f940f52a2c4.png
[dc36006ba1485f69f3025ec50f6bbce4.gif]: https://img-blog.csdnimg.cn/img_convert/dc36006ba1485f69f3025ec50f6bbce4.gif
[4f39faa9328d751490cf245dbcb25242.png]: https://img-blog.csdnimg.cn/img_convert/4f39faa9328d751490cf245dbcb25242.png
[0767e83799e798b3514aeb989b225713.gif]: https://img-blog.csdnimg.cn/img_convert/0767e83799e798b3514aeb989b225713.gif
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[57e983eaf57f127d8f6260a3a994b545.png]: https://img-blog.csdnimg.cn/img_convert/57e983eaf57f127d8f6260a3a994b545.png