3D人脸重建之3D-Face-GCNs

刺骨的言语ヽ痛彻心扉 2023-01-10 03:53 322阅读 0赞

论文：[Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks][]

Github：[https://github.com/FuxiCV/3D-Face-GCNs][https_github.com_FuxiCV_3D-Face-GCNs]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70][]

论文提出了使用图卷积神经网络GCN（Graph Convolutional Networks）对3DMM方法 (3D Morphable Model) 重建生成的纹理进行改进的方法。并且这里只重建mesh的顶点颜色，而不是重建整个的uv图。

主要贡献：

1.  提出了使用单张图片，基于 coarse-to-fine的框架重建高保真纹理的3d人脸，并且不需要大量的高清人脸数据。
2.  首次提出使用图卷积来生成高保真的纹理，可以生成人脸mesh中每一个定点的细节颜色。
3.  相比其他state-of-the-art 的方法，我们的方法在定性和定量上都比其他方法更好。

Morphable 3D Face Models：

3dmm方法，由人脸形状，表情，纹理，构成。其中， Basel Face Model (BFM)模型是3dmm模型的变种。

![20210122200824409.png][]

Smean：平均人脸形状，从BFM获得

Tmean：平均人脸纹理，从BFM获得

Ibase：PCA降维后的人脸ID，从BFM获得

Ebase：PCA降维后的人脸表情，从 FaceWarehouse 获得

Tbase：PCA降维后的人脸纹理，从BFM获得

网络结构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1][]

整体3D-Face-GCNs由3个模块组成，人脸识别FaceNet模块，特征提取Regressor模块，纹理精修GCN模块。黄色的模块表示预先训练好的，灰色的模块是不可训练的，蓝色的模块是可以训练的。

输入图片为224\*224，mesh的顶点一共35709个。

FaceNet模块生成人脸的embedding 向量。

Regressor模块回归3dmm的相关参数，姿态，光照等。一共回归257维向量。其中，3dmm的ID 80维，表情64维，纹理80维，人脸姿态6维，光照27维。

GCN模块由3部分组成。GCN Decoder解码FaceNet的人脸识别特征，并且生成详细的mesh顶点颜色。GCN Refiner精修Regressor模块生成的mesh顶点颜色。 Combine Net负责将GCN Decoder和GCN Refiner的mesh顶点颜色进行整合，输出最终的mesh顶点颜色

判别器将3dmm的结果和3D-Face-GCNs精修的结果进行对比，实现监督训练。

损失函数：

**Pixel-wise Loss****：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2][]

为了排除遮挡，眼镜，脸上覆盖物的影响，首先使用一个训练好的分割模型提取出人脸皮肤区域。然后计算输入图片和带光照渲染的重建后3d人脸图片的2d投影图片之间的距离。

![20210122200947427.png][]

**Identity-Preserving Loss****：**

![20210122201011969.png][]

保证输入图片和渲染图片人的ID属性一样。

**Vertex-wise Loss****：**

![20210122201033692.png][]

保证输入图片和渲染图片的每一个mesh定点的反射率一样。N表示一共的定点数目。

**Adversarial Loss****：**

![20210122201059570.png][]

基于 Wasserstein GAN 的对抗loss

**整体loss****：**

![20210122201133691.png][]

σ2 = 0.2 ，σ3 = 0.001

刚开始训练 σ1 = 0， σ4 = 1，再进行了1个epoch的训练后，σ1 逐渐增大为1，σ4逐渐减少为0。

实验结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4][]

[Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks]: https://arxiv.org/abs/2003.05653
[https_github.com_FuxiCV_3D-Face-GCNs]: https://github.com/FuxiCV/3D-Face-GCNs
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70]: /images/20221119/69eeb767c3364d08aa94889378e38678.png
[20210122200824409.png]: /images/20221119/265de7f754fb4f23a4a3d4fa654b9d29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1]: /images/20221119/8bc649eec5da443c87d8c5d3aeae0c07.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2]: /images/20221119/9c8aea7463584920acefcec2110cb541.png
[20210122200947427.png]: /images/20221119/7fc1c0817050436283ccb08b3ba76440.png
[20210122201011969.png]: /images/20221119/29b5974fa96e4c8b8330b126f469dd84.png
[20210122201033692.png]: /images/20221119/332bd20961ea4298bd14a163a38d7c17.png
[20210122201059570.png]: /images/20221119/d2452bfab408499596f6e06d852ff801.png
[20210122201133691.png]: /images/20221119/11aa834e91e24fa99464d514d098ada1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3]: /images/20221119/1d4cc397298c4e7f968309c07e17d26c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4]: /images/20221119/d319b22abf24436fb425b0fc930b5a54.png