CVPR2021 | 五官复原效果惊艳，腾讯ARC利用GAN人脸先验来解决

喜欢ヅ旅行 2022-11-16 01:54 243阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

文章  机器之心发布 未经允许不得二次转载

> 人脸复原 (Face Restoration) 是指从低质量的人脸中复原得到高清的人脸。真实世界中的人脸复原是一个很有挑战的任务，因为降质 (degradation) 过程复杂且不尽相同。来自腾讯 PCG 应用研究中心 (ARC) 的研究者们提出了利用预先训练好的人脸生成模型提供的先验，来指导人脸复原的任务。

真实世界的人脸复原是一个盲问题，即我们不清楚降质过程, 在实际应用中，同时也面临着各种各样降质过程的挑战。对于人脸这个特定的任务, 之前的工作往往会探索人脸特定的先验, 并且取得了较好的效果。常见的人脸先验有两类：

*  几何人脸先验, 比如人脸关键点、人脸分割图、人脸热力图。然而从低质量的图片中很难取得比较准确的几何信息。此外, 它们很难提供纹理方面的信息。
 *  参考图，即从数据库中取得相同或者相似的人脸作为参考 (Reference) 来复原。但是这样的高质量的参考图在实际中很难获取。ECCV20 提出的 DFDNet 工作进一步构建了一个人脸五官的字典来作为参考, 它可以取得更好的效果, 但是会受限于字典的容量, 而且只考虑了五官, 没有考虑整个脸。

与此同时, 生成对抗网络 GAN 的蓬勃发展, 特别是 StyleGAN2 能够生成足够以假乱真的人脸图像给来自腾讯 PCG 应用研究中心 (ARC) 的研究者们提供了一个思路: 是否可以利用包含在人脸生成模型里面的「知识」来帮助人脸复原呢?

![7f4a346fc538dc9fac38ccdff8174811.png][]

论文地址: https://arxiv.org/abs/2101.04061

研究核心利用了包含在训练好的人脸生成模型里的「知识」, 被称之为生成人脸先验 (Generative Facial Prior, GFP)。它不仅包含了丰富的五官细节, 还有人脸颜色, 此外它能够把人脸当作一个整体来对待, 能够处理头发、耳朵、面部轮廓。基于预训练好的生成模型, 研究者们提出了利用生成人脸先验 GFP 的人脸复原模型 GFP-GAN。先来看看它做到的效果:

![68748d258afa99a899781eefd73b867c.png][]

相比于近几年其他人脸复原的工作, **GFP-GAN 不仅在五官恢复上取得了更好的细节, 整体也更加自然, 同时也能够对颜色有一定的增强作用。**

**研究方法**

首先来看 StyleGAN2 生成模型，它从一个可学习的常数向量开始, 不断地提高分辨率。其中的 latent code 向量用来调制 (Modulate) 各个卷积层的权重，最后生成真实且多样的人脸。

![74ae8e21a35abd882a447080bf346a0f.png][]

**GFPGAN**

下图是该研究的主要框架, 输入一张低质量的人脸, 首先经过 UNet 结构, 在这里有复原 loss 的 L1 约束 (灰色箭头)，用以粗略地去除 degradations, 比如噪声、模糊、JPEG 等。同时更重要的是, 得到提取的 latent 特征向量 (绿色箭头) 和空间特征 (黄色箭头)。

![6c99296852c78b885764003db64f87fb.png][]

在人脸复原中, 与其他工作不同, 仅仅通过调制 StyleGAN 的 latent codes, 因为没有考虑局部的空间信息会极大影响人脸的 identity。因此也要利用空间的特征来调制 StyleGAN 里面的特征。

GFP-GAN 基于现有的高效的空间特征变换 (Spatial Feature Transform，SFT) 层来达到这个目的。它能够根据输入的条件(这里是提取的低质量的图像特征), 生成乘性特征和加性特征，对 StyleGAN 的特征做仿射变换。为了进一步平衡输入图像的信息和 StyleGAN 中的信息, GFP-GAN 进一步将通道拆分为两部分, 一部分用来调制, 一部分直接跳跃过去。这样的调制会在由小到大的每个空间尺度上进行, 提高调制的效果。

**损失函数**

除了一般的 L1 和 Perceptual 复原损失函数外, GFP-GAN 的训练还使用了：

*  全局的 Discriminator, 判断人脸是否是真实的；
 *  人脸五官的 Discriminators, 用来判断局部的人脸五官是否清晰, GFP-GAN 还考虑了纹理细节多且较难恢复的左右眼睛和牙齿；
 *  为了保持人脸 identity 的一致, 使用了人脸 identity 一致损失函数, 即在人脸识别模型的特征空间中去拉近。

![06d9405b434cc2fbb5a8c946a22cb22d.png][]

**训练数据**

和之前大部分工作类似，GFP-GAN 采用了 Synthetic 数据的训练方式。研究者们发现在合理范围的 Synthetic 数据上训练, 能够涵盖大部分的实际中的人脸。GFP-GAN 的训练采用了经典的降质模型, 即先高斯模糊, 再降采样, 然后加噪声, 最后使用 JPEG 压缩。

![5466f1a18e7419040d1d5fbd4b0cabd7.png][]

**实验结果**

研究者们首先在 CelebA-Test 上做了测试：

![0395327a7328749992d76b7fb96b4639.png][]

在 Synthetic 的量化指标上, 该研究提出的方法在 LPIPS、FID、 NIQE 都能够取得最好的结果，Deg. 是指人脸识别模型 ArcFace 的 Cosine 距离, 较小的值, 说明 identity 也保持的很好。

![30f70c57b28a13144a197f15d442eb27.png][]

研究者们收集了多个不同来源的**真实世界的人脸测试集**, 都取得了不错的视觉效果。

![b218c213c16a431d92b859ae1d6c9b43.png][]

在实际人脸测试指标上, GFP-GAN 也具有较好的 FID 和 NIQE：

![a20085967b9a4c2a43ee5d9f8a818818.png][]

研究者们还做了对比实验, 说明 CS-SFT、GFP、 pyramid loss 以及针对五官的 component loss 带来的效果提升。

![9c3fb63c14dd21a32db5748be523757d.png][]

当然, 现实世界的人脸多种多样, 降质模型也非常复杂, 即使 GFP-GAN 取得了很好的效果,  但也存在局限性。感兴趣的读者可以阅读论文原文了解更多实验细节。

**研究团队**

该方法是由腾讯 PCG 应用研究中心（ARC）的研究者提出的。应用研究中心被称为腾讯 PCG 的「侦察兵」、「特种兵」，站在腾讯探索挑战智能媒体相关前沿技术的第一线。

**猜您喜欢：**

![c2f7e452773ca1c5a305369daff5f2ec.png][]

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![17548a1b6ce02f195b1df33d543e6ff1.png][]

[7f4a346fc538dc9fac38ccdff8174811.png]: /images/20221022/cca4743a7ec74c15ada0ee0da2fc1507.png
[68748d258afa99a899781eefd73b867c.png]: /images/20221022/9d288e75366d4449acf0fc8224f0c787.png
[74ae8e21a35abd882a447080bf346a0f.png]: /images/20221022/377ae224f72b4ba7a569db463eaf10ff.png
[6c99296852c78b885764003db64f87fb.png]: /images/20221022/cd003b40e90f439c880b06b5fb06dd2c.png
[06d9405b434cc2fbb5a8c946a22cb22d.png]: /images/20221022/743dcbfe468e495393bfd55b6e3ab563.png
[5466f1a18e7419040d1d5fbd4b0cabd7.png]: /images/20221022/31aaafe027ca4bf48c2f2bf50b4c00d4.png
[0395327a7328749992d76b7fb96b4639.png]: /images/20221022/b12624a5c2cd40cb9cddc1b172d665fe.png
[30f70c57b28a13144a197f15d442eb27.png]: /images/20221022/78cdf4961a6844ada67972415321d4dd.png
[b218c213c16a431d92b859ae1d6c9b43.png]: /images/20221022/0d72290a67984970aee31b97ca18abae.png
[a20085967b9a4c2a43ee5d9f8a818818.png]: /images/20221022/9b6a239b6ac74455999933d3d5646956.png
[9c3fb63c14dd21a32db5748be523757d.png]: /images/20221022/fd6d13b5e9e54ffe9b1d728e21b97fe6.png
[c2f7e452773ca1c5a305369daff5f2ec.png]: /images/20221022/9ebc39bbe0494612af3800dea9efac9e.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[17548a1b6ce02f195b1df33d543e6ff1.png]: /images/20221022/ef0d70d4ca924531b8a4df5d9945a5a1.png