3D人脸重建之DECA

红太狼 2023-01-08 03:25 275阅读 0赞

论文：[Learning an Animatable Detailed 3D Face Model from In-The-Wild Images][]

Github：[https://github.com/YadiraF/DECA][https_github.com_YadiraF_DECA]

论文提出了基于单张彩色图片进行3d人脸重建的方法DECA(Detailed Expression Capture and Animation) ，在 Nvidia Quadro RTX 5000上可以达到120fps。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70][]

row 1：原始输入样本数据

row 2：粗糙的形状回归

row 3：具体细节的形状回归

row 4：再现的形状回归

row 5：再现的具体细节的形状回归

主要贡献：

1.  首次提出使用户外照片生成3d人脸，并且可以通过改变表情参数，合成可信的人脸几何细节。
2.  一个新颖的细节连续loss（ detail consistency loss ）被提出，用来将人脸细节中的ID 和表情独立区分出来。
3.  相比于之前的人脸重建方法，本文的方法对遮挡，光照，姿态变化都更加鲁棒。这要归功于低分辨率的细节表示，细节分离，和基于大量的户外数据训练。
4.  在2个不同的 benchmark上取得了 State-of-the-art的效果。
5.  公开了代码和模型

基础知识：

FLAME是一个结合了线性人脸形状，基于 linear blend skinning (LBS) 的表情空间，表达脖子，下巴，眼球的姿态独立矫正空间，的统计人脸模型。FLAME输出5023个人脸关键点。

![20210118195412527.png][]

Β：人脸实体

Θ：人脸姿态

Ψ：人脸表情

T：三维空间的旋转变换

J：三维空间的所有人脸关键点

W：线性平滑操作

其中，三维空间的旋转变换T具体表示如下，

![20210118195442706.png][]

T：0姿态的平均模版

BS：混合形状

BP ：表情校正

BE：表情混合

**Appearance model****：**

FLAME没有视觉模型，因此将Basel Face模型的PCA空间转化为FLAME的UV空间。

**Camera model:**

这里采用正交投影相机。

![20210118195518647.png][]

其中，M表示顶点， Π表示2\*3的正交投影矩阵，s表示尺度变换，t表示平移变换。

**Illumination model****：**

光照模型基于球面谐波（ Spherical Harmonics ）

![20210118195549310.png][]

其中，A表示反射率，N表示表面法向量，B表示阴影纹理

**Texture rendering:**

![20210118195621270.png][]

其中，R表示渲染函数，

由于较低的mesh分辨率的限制，FLAME模型的中频细节容易丢失。

本文方法：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1][]

DECA模型分为粗糙的人脸重建Ec（resnet50构成）,精细的人脸重建Ed。具体的Ec包括了相机c，反射率ɑ，光照l，形状β，姿态θ，表情Ψ。Ed包括了细节δ。

粗糙的人脸重建：

粗糙模型使用了前100个FLAME的形状参数β，50个表情参数Ψ，50个反射率参数ɑ。粗糙的人脸重建Ec一共预测236维的latent空间。这里使用的2d关键点有68个。

![20210118195717836.png][]

粗糙模型的损失包括了人脸关键点的损失 Llmk，眼睛闭合的损失 Leye，基于照片的损失 Lpho，ID损失 Lid，形状连续损失 Lsc，正则化损失 Lreg。

**人脸关键点的损失****Llmk****，**

![20210118195741698.png][]

**眼睛闭合的损失****Leye****，**

**![20210118195830103.png][]**

计算上下眼皮的相对偏移。E表示上下眼皮的关键点对。

**基于照片的损失****Lpho****，**

![20210118195858159.png][]

计算输入图片和渲染后图片的loss， VI表示人脸mask，皮肤区域为1，其他区域为0。

**ID损失****Lid****，**

![20210118195930856.png][]

这里使用预训练的人脸识别网络，计算cos距离。

**形状连续损失****Lsc****，**

![20210118200001245.png][]

同一个人的两张图 Ii，Ij，应该有相同的输出 βi，βj

**正则化损失****Lreg****，**

形状正则化，

![20210118200029754.png][]

表情正则化，

![20210118200050762.png][]

反射率正则化，

![20210118200110352.png][]

精细的人脸重建：

![20210118200132877.png][]

精细的人脸重建损失，包含了照片细节损失 LphoD， ID-MRF损失 Lmrf，软对称性损失 Lsym，细节正则化损失 LregD。

**照片细节损失****LphoD****，**

![20210118200158538.png][]

VI表示皮肤可见区域的mask

**ID-MRF损失****Lmrf****，**

隐马尔可夫损失Implicit Diversified Markov Random Fields (ID-MRF) ，通过使用 conv3 2 ， conv4 2这2个卷积层的输出来计算，并且只计算UV空间的皮肤区域。

![20210118200225689.png][]

**软对称性损失****Lsym****，**

**![20210118200246108.png][]**

Vuv表示UV空间人脸区域的mask，

flip表示水平镜像操作

**细节正则化损失****LregD****，**

![20210118200307463.png][]

通过细节正则化来减少噪声。

数据集：

VGGFace2 , BUPT-Balancedface ，VoxCeleb2 共200w的数据。

网络输入图片为224\*224，UV空间为256维。

实验结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3][]

总结：

（1）形状连续loss使得模型具有非常好的效果

（2）DECA中的反射模型依赖 Basel face，缺少种族多样性和面部头发。

（3）尽管具有很好的鲁棒性，但是对大姿态，大光照的情况也会失败。

[Learning an Animatable Detailed 3D Face Model from In-The-Wild Images]: https://arxiv.org/abs/2012.04012
[https_github.com_YadiraF_DECA]: https://github.com/YadiraF/DECA
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70]: /images/20221119/1389cfe882f14a5299660f54ef52d330.png
[20210118195412527.png]: https://img-blog.csdnimg.cn/20210118195412527.png
[20210118195442706.png]: https://img-blog.csdnimg.cn/20210118195442706.png
[20210118195518647.png]: https://img-blog.csdnimg.cn/20210118195518647.png
[20210118195549310.png]: https://img-blog.csdnimg.cn/20210118195549310.png
[20210118195621270.png]: https://img-blog.csdnimg.cn/20210118195621270.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210118195653333.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[20210118195717836.png]: https://img-blog.csdnimg.cn/20210118195717836.png
[20210118195741698.png]: https://img-blog.csdnimg.cn/20210118195741698.png
[20210118195830103.png]: https://img-blog.csdnimg.cn/20210118195830103.png
[20210118195858159.png]: https://img-blog.csdnimg.cn/20210118195858159.png
[20210118195930856.png]: https://img-blog.csdnimg.cn/20210118195930856.png
[20210118200001245.png]: https://img-blog.csdnimg.cn/20210118200001245.png
[20210118200029754.png]: https://img-blog.csdnimg.cn/20210118200029754.png
[20210118200050762.png]: https://img-blog.csdnimg.cn/20210118200050762.png
[20210118200110352.png]: https://img-blog.csdnimg.cn/20210118200110352.png
[20210118200132877.png]: https://img-blog.csdnimg.cn/20210118200132877.png
[20210118200158538.png]: https://img-blog.csdnimg.cn/20210118200158538.png
[20210118200225689.png]: https://img-blog.csdnimg.cn/20210118200225689.png
[20210118200246108.png]: https://img-blog.csdnimg.cn/20210118200246108.png
[20210118200307463.png]: https://img-blog.csdnimg.cn/20210118200307463.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210118200345853.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210118200358558.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70