FACIAL：更可控的说话人驱动

系统管理员 2022-09-10 07:24 136阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

来源：AI科技评论

本文是对发表于计算机视觉领域的顶级会议 ICCV 2021的论文**“FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning（具有隐式属性学习的动态谈话人脸视频生成）”**的解读。

![9e175f8f12f0ba4be5849e66fb2c089a.png][]

论文链接：https://arxiv.org/pdf/2108.07938.pdf

视频简介：https://m.youtube.com/watch?v=hl9ek3bUV1E

**作者**：张晨旭（德克萨斯大学达拉斯分校）；赵一凡（北京航空航天大学）；黄毅飞（华东师范大学）；曾鸣（厦门大学）；倪赛凤（三星美国研究院）；Madhukar Budagavi（三星美国研究院）；郭小虎（德克萨斯大学达拉斯分校）。

**1**

**研究背景**

音频驱动的动态人脸谈话视频生成已成为计算机视觉、计算机图形学和虚拟现实中的一项重要技术。然而这一过程中，生成逼真的人脸视频仍然非常具有挑战性，这不仅要求生成的视频包含与音频同步的唇部运动，同时个性化、自然的头部运动和眨眼等属性也是十分重要的。动态谈话人脸合成所蕴含的信息大致可以分为两个不同的层次：

**1）需要与输入音频同步的属性，**例如，与听觉语音信号有强相关性的唇部运动；

**2）与语音信号具有较弱相关性的属性，**即与语音上下文相关、与个性化谈话风格相关的其他属性（头部运动和眨眼）。

归纳总结上述两种不同类型的属性，我们称第一类属性为**显式属性**，第二类为**隐式属性**。

![7ce9afa579f0e755e68a98a47547fbf3.png][]

图 1 三种典型的音频引导的谈话人脸合成方法。

a）图像输入作为指导，不生成隐式属性，

b）视频输入作为指导，隐式属性是从原视频中复制得到，

c）本方法内容：以视频输入为指导，同时生成隐式和显式特征。

如图1所示，大多数现有生成方法只关注于人脸的显式属性生成，即通过输入语音，合成同步的唇部运动属性。这些方法合成的人脸结果要么不具有隐式属性\[1,2\]（图1中a所示），要么复制原始视频的隐式属性\[3,4\]（图1中b所示）。只有少部分工作\[5,6\]探索过头部姿势与输入音频之间的相关性。

尽管这些工作针对生成属性进行了不同侧面的探究，但是对这些属性的具体研究，仍存在以下问题：**（1）显式和隐式属性如何潜在地相互影响？(2) 如何对隐式属性进行建模？**例如头部姿势和眨眼等属性不仅取决于语音信号，还取决于语音信号的上下文特征以及与个体相关的风格特征。

**2**

**方法介绍**

![d0b6b9f58a593c72452736d7163ee4ae.png][]

图 2 音频驱动的隐式-显式属性联合学习的谈话人脸视频合成框架。

如图2所示，我们提出了一个人脸隐式属性学习（FACIAL）框架来合成动态的谈话人脸视频。

(1)**我们的 FACIAL 框架使用对抗学习网络联合学习这一过程中的隐式和显式属性。**我们提出以协作的方式嵌入所有属性，包括眨眼信息、头部姿势、表情、个体身份信息、纹理和光照信息，以便可以在同一框架下对它们用于生成说话人脸的潜在交互进行建模。

(2) **我们在这个框架中设计了一个特殊的 FACIAL-GAN网络来共同学习语音、上下文和个性化信息。**这一网络将一系列连续帧作为分组输入并生成上下文隐空间向量，该向量与每个帧的语音信息一起由单独的基于帧的生成器进一步编码。因此，我们的 FACIAL-GAN 可以很好地捕获隐式属性（例如头部姿势等）、上下文和个性化信息。

(3) **我们的 FACIAL-GAN 还可以预测眨眼信息，这些信息被进一步嵌入到最终渲染模块的眼部相关的注意力图中，用于在输出视频合成逼真的眼部运动信息。**实验结果和用户研究表明，我们的方法可以生成逼真的谈话人脸视频，该生成视频不仅具有同步的唇部运动，而且具有自然的头部运动和眨眼信息。并且其视频质量明显优于现有先进方法。

![9ca7fb06b9d7874633430c0787754a89.png][]

图 3 本方法提出的FACIAL-GAN网络结构框架

如图3所示，FACIAL-GAN 由三个基本部分组成：**时间相关生成器**用于构建上下文关系和**局部语音生成器**用于提取每一帧特征。此外，使用**判别器网络**来判断生成的属性的真假。（具体的网络细节请参考原文内容）

**3**

**实验结果分析**

*  **定性比较实验**

![c2d78a78beb8e22388f3eb88bcfe4d87.png][]

图 4 与现有音频驱动的人脸视频生成方法的定性比较结果

如图4，图5，图6所示，我们与现有音频驱动的人脸视频生成方法进行比较。相比之下，通过显式和隐式属性的协同学习，我们的方法生成具有个性化的头部运动，考虑到不同个体的运动特性，同时可以生成更加逼真眨眼信息的人脸视频。（详细的比较结果请参考上述的视频链接）

![793d104c130b083269cb2b123f7698d2.png][]

图 5 与 Vougioukas，Chen等方法的定性对比

![543c3a384bda5912082b206465128198.png][]

图 6 与 Suwajanakorn，Thies等方法的定性对比

*  **定量比较实验**

我们同时通过定量化分析实验，如关键点运动偏移，视听同步置信度进行衡量，具体信息如表1所示。本文所提出的联合隐式和显式属性生成框架，超越了大多数现有方法，在各项属性生成任务中，均具有较优的解析质量。

![d8a9a8c4516be03938df9bcf99559e1c.png][]

如表2所示，我们通过进行主观的用户研究（User Study），即从人类观察的角度比较生成的结果，其中更大的数值代表更优的生成质量和用户认可度。

![ed0d8765b44cb7ddefadb5d9753804b4.png][]

**4**

**结语**

在这项工作中，除传统的唇部运动等显式属性之外，我们以自然头部姿势和眨眼信息等隐式属性作为学习目标，优化谈话人脸视频的生成质量和真实度。但需要注意的是，人脸谈话视频仍然具有其他更细节的隐式属性，例如，眼球运动、身体和手势、微表情等等。这些属性可能受其他更深层次维度信息的引导，可能需要其他网络组件的特定设计，仍有待于未来进一步探究。我们希望本文提出的FACIAL 框架可以为未来探索隐式属性学习提供一种新颖的研究思路和启发。

**参考文献**

\[1\] Lele Chen, Ross K Maddox, Zhiyao Duan, and Chenliang Xu. Hierarchical cross-modal talking face generation with dynamic pixel-wise loss. CVPR, 2019.

\[2\] Hang Zhou, Yu Liu, Ziwei Liu, Ping Luo, and Xiaogang Wang. Talking face generation by adversarially disentangled audio-visual representation. AAAI, 2019.

\[3\] Supasorn Suwajanakorn, Steven M Seitz, and Ira Kemelmacher-Shlizerman. Synthesizing obama: learning lip sync from audio. TOG, 2017.

\[4\] Justus Thies, Mohamed Elgharib, Ayush Tewari, Christian Theobalt, and Matthias Nießner. Neural voice puppetry: Audio-driven facial reenactment. ECCV, 2020.

\[5\] Ran Yi, Zipeng Ye, Juyong Zhang, Hujun Bao, and Yong-Jin Liu. Audio-driven talking face video generation with natural head pose. arXiv preprint arXiv:2002.10137, 2020.

\[6\] Yang Zhou, Xintong Han, Eli Shechtman, Jose Echevarria, Evangelos Kalogerakis, and Dingzeyu Li. Makelttalk: speaker-aware talking-head animation. TOG, 2020.

本文仅做学术分享，如有侵权，请联系删文。

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![4acaa880aa3104ff6bbe77ce6b23f2a8.png][]

[9e175f8f12f0ba4be5849e66fb2c089a.png]: /images/20220829/4fb701339a8548d8a5faf1a0ae82dc8d.png
[7ce9afa579f0e755e68a98a47547fbf3.png]: /images/20220829/2bef1ef48acd4bdfa93428611784b915.png
[d0b6b9f58a593c72452736d7163ee4ae.png]: /images/20220829/913e3711682042bbacdfa00837c0c41f.png
[9ca7fb06b9d7874633430c0787754a89.png]: /images/20220829/21a6bf8378f34dd1b830505c77e3eb43.png
[c2d78a78beb8e22388f3eb88bcfe4d87.png]: /images/20220829/d5557f51750345a0a474e067a791f214.png
[793d104c130b083269cb2b123f7698d2.png]: /images/20220829/81d18d30560a4c4f860b34d1abbbb998.png
[543c3a384bda5912082b206465128198.png]: /images/20220829/ba7415b0c99f4931aa96649361bdd51a.png
[d8a9a8c4516be03938df9bcf99559e1c.png]: /images/20220829/e5fb5270ed6846d3b5261a685801d11e.png
[ed0d8765b44cb7ddefadb5d9753804b4.png]: /images/20220829/15f57dcacf4f40779ff01704c0fbb359.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[4acaa880aa3104ff6bbe77ce6b23f2a8.png]: /images/20220829/a3e0d6b168e141f891b00c50de905164.png