CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总

川长思鸟来 2022-10-07 00:41 174阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

# 一、说话人驱动（talking head） #

### 1、Audio-Driven Emotional Video Portraits ###

*  尽管此前一些方法在基于音频驱动的说话人脸生成方面已取得不错的进展，但大多数研究都集中在语音内容与嘴形之间的相关性上。人脸的情感表现是很重要的特征，但此前的方法总忽视这一点。

![44b02d4c67fd00f569708eba456df06b.png][]

*  这项工作提出“表情视频肖像” (Emotional Video Portraits，EVP)，一种由音频驱动、具有动态情感的肖像视频合成系统。具体来说，提出交叉重构式的表情解耦技术，将语音分解为两个解耦空间，即与时长无关的情感空间和与时长相关的内容空间。解开的特征可推断出动态2D表情人脸。

![c40f55644abd951d8f70f4be1e7dda51.png][]

### 2、Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation ###

*  针对任意人的、以其音频驱动的说话人脸生成研究方向，已实现了较准确的唇形同步，但头部姿势的对齐问题依旧不理想。
 *  此前的方法依赖于预先估计的结构信息，例如关键点和3D参数。但极端条件下这种估计信息不准确则效果不佳。本文主要针对的是，如何生成姿势可控的说话人脸。

![28e6fbca8ce15ed0e41afbaf2125057b.png][]

### 3、One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing ###

*  提出一种说话人脸的视频合成模型，并展示在视频会议中的应用。
 *  使用包含目标人物的源图像，以及驱动视频来合成源人物说话视频。运动信息基于一种关键点表示进行编码，其中特定于身份和运动相关的信息被无监督地解耦。

![d1f37bbc9695d288cee0fe00c91696ed.png][]

# 二、3D人脸相关 #

### 4、Inverting Generative Adversarial Renderer for Face Reconstruction ###

*  给定单目人脸图像作为输入，3D 人脸几何重建旨在恢复相应的 3D 人脸网格mesh。这项工作引入一种生成对抗渲染器 (GAR)，以面部法线贴图和潜码作为输入，渲染出逼真的人脸图像。

![983785fa4c100f83d30823f6f9ff6605.png][]

### 5、Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement ###

*  引入一个基于 GAN 的框架，将照片中人脸数字化成标准3D形象。
 *  输入图像可以是一个微笑的人，也可以是在极端光照条件下拍摄的，作者声称所提方法均可生成高质量的人脸纹理模型。

![1e42908bfdec4d9f809f1f9100fcb501.png][]

### 6、pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis ###

*  提出π-GAN/pi-GAN，用于高质量的 3D 感知的图像合成。

![46032a50b034c529b7d3ae69f95bb5a9.png][]

### 7、StylePeople: A Generative Model of Fullbody Human Avatars ###

*  提出一种全身人体数字化的“化身”形象（full-body human avatars）方法。
 *  saic-violet.github.io/style-people

![8fc49ea26dec8c2309d0e48711d33004.png][]

# 三、人体运动合成 #

### 8、Scene-aware Generative Network for Human Motion Synthesis ###

*  关注的是人体运动合成，此前方法往往有两方面局限：1）专注于姿势，却忽视了位置运动方面的因素，2）忽略了环境对人体运动的影响。
 *  本文考虑场景和人体运动之间的相互作用，目标是生成以场景和人体初始位置为条件的合理人体运动。基于GAN，使用判别器来保证人体运动与上下文场景、3D 到 2D 投影约束的兼容性。

![17cb4fedd21b8bce2e9fe78ff9deb6f9.png][]

**上述论文可在 计算机视觉GAN 知识星球 打包下载**

![2d5afaf0a8312a6b7a87fc2f754f0b3d.png][]

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![9045adce154cc21d3aa62c808d7d37ae.png][]

[44b02d4c67fd00f569708eba456df06b.png]: /images/20221005/1b563a8f61ff4230b5377c2ea632bf92.png
[c40f55644abd951d8f70f4be1e7dda51.png]: /images/20221005/ecd8c850dde74db0a7dcd0f0f3123194.png
[28e6fbca8ce15ed0e41afbaf2125057b.png]: /images/20221005/24b6dc3c53a2493389b90560c7b638e9.png
[d1f37bbc9695d288cee0fe00c91696ed.png]: /images/20221005/e2515773eaa2460781b8474721d89383.png
[983785fa4c100f83d30823f6f9ff6605.png]: /images/20221005/78c1f6369f4245999329b8ce75067942.png
[1e42908bfdec4d9f809f1f9100fcb501.png]: /images/20221005/7cf8e722fe6e4ecd8698c2b1a01485b0.png
[46032a50b034c529b7d3ae69f95bb5a9.png]: /images/20221005/7dcf859a17254bc0b83ceb9acbb7828a.png
[8fc49ea26dec8c2309d0e48711d33004.png]: /images/20221005/0710835669734cd4855cd15a0cdbc5d1.png
[17cb4fedd21b8bce2e9fe78ff9deb6f9.png]: /images/20221005/36c6b7bba2cb43a681f5c631cd792bee.png
[2d5afaf0a8312a6b7a87fc2f754f0b3d.png]: /images/20221005/5fc8e2cb6fa544f2a5b07fc290f33701.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[9045adce154cc21d3aa62c808d7d37ae.png]: /images/20221005/2330872afaa54dd5911f82d66dddca1f.png