[论文笔记] 人脸属性识别方向系列论文

妖狐艹你老母 2024-04-17 16:17 73阅读 0赞

> 人脸具有许多属性，比如：年龄、发色、是否戴眼镜等等，具体细节可阅读这篇综述：[A Survey to Deep Facial Attribute Analysis][]。其中，比较热门的应该是表情属性，甚至大部分时候表情识别单独作为一个方向进行讨论。不过，在这篇博文中，我将表情识别作为面部属性的其中一个小分支看待，与人脸属性识别一起进行讨论。（如果对表情识别感兴趣，可以看看这篇综述：[Deep Facial Expression Recognition: A Survey][Deep Facial Expression Recognition_ A Survey]，由[北邮模式识别实验室][Link 1]所提出）

### 1. LNet+ANet ###

> 论文链接：[Deep Learning Face Attributes in the Wild][], 发表时间：2014.11

本篇论文由港中文的 MMLab 提出（通讯作者为汤晓鸥），整体算法属于 Part-Based Method，主要思路为：构建两个卷积网络，分别记为 LNet 和 ANet，LNet 用于定位人脸具体位置（ L N e t o LNet\_o LNeto 定位头部和肩部， L n e t s Lnet\_s Lnets 在其基础上进一步定位人脸区域），ANet 用于提取人脸属性信息，最后将 ANet 所提取的特征输入到 Linear SVM 中进行属性预测。（个人感觉 14/15 年发的论文，喜欢用级联结构作为主体框架，利用 CNN 提取特征，再用 SVM 进行分类或回归）

其中，LNet 在 ImageNet 上进行预训练，再利用 Attribute Tag 对新增的 Output Layer 进行 fine-tune；ANet 在 CelebFaces 上进行预训练，再利用 Attribute Tag 对其进行 Fine-Tune。

此外，作者对 [CelebFaces][] 和 [LFW][] 人脸数据集进行标注，构建了人脸属性识别数据集 [CelebA 和 LFWA][CelebA _ LFWA]（目前 CelebA 已经成为人脸属性识别的 Bechmark ）。

![20190910232330274.png][]

### 2. Fully-adaptive Feature Sharing in Multi-Task Networks ###

> 论文链接：[Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification][]，发表时间：2016.11

在这篇论文中，作者主要讨论 Multi-Task Learning（MTL）中网络设计的问题，提出了自适应特征共享算法，从较瘦的网络开始（使用SOMP进行初始化），由网络挖掘各个子任务的相关性，使得各个子任务选择性共享特征，最终使得网络逐渐加粗。

在 MTL 中，常见网络结构都是由手工设计，基本都是主干网络提取底层特征，分别输入到各个子模块进行预测。但是，这样将导致网络结构往往不是为最优解，因为受设计者主观影响大。于是作者就从此入手，让网络自动对各个任务分支进行聚合，不将其局限于使用一样的特征，并对任务聚合进行约束，防止 negative transfer 现象的发生。

![20190911104343902.png][]

**任务聚合后的网络结构：（model on CelebA）**

![20190911104254200.png][]

**自适应拓展算法伪代码：**

![20190911103646250.png][]

**Simultaneous Orthogonal Matching Pursuit（SOMP）算法伪代码：**

![20190911103824722.png][]

此外，作者在 CelebA 和 [DeepFashion][] 上分别取得当时的 SOTA，其中，DeepFashion 同样由 MMLab 提出，目前为 Clothes Recognition 方向的 Bechmark。

**PS：** 作者开源项目：[luyongxi/deep\_share][luyongxi_deep_share]，不过没有详细的项目说明，至今 issues 里关于 ‘How to run it?’ 的问题都没回复。

### 3. DLP-CNN ###

> 论文链接：[Reliable Crowdsourcing and Deep Locality-Preserving Learning for Expression Recognition in the Wild][], 发表时间：2017

该论文由[北邮模式识别实验室][Link 1]所提出，一/二作分别为 Shan Li 和 Weihong Deng，也是 [Deep Facial Expression Recognition: A Survey][Deep Facial Expression Recognition_ A Survey] 的作者（最近几年，[邓伟洪][Link 2]副教授经常在人脸识别方向上发文章，构建了许多数据集，推荐大家看他一篇最近的工作：[A Deeper Look at Facial Expression Dataset Bias][]）。

在论文中，作者通过 Reliable crowdsourcing approch 构建了非受控环境下的人脸表情数据集 [RAF-DB][]，其中不仅含有 7 类基础表情标签，还包括 12 类复合表情标签，近年来也成为非受控环境下人脸表情识别的 Bechmark。（2019 年，作者构建了一个含有 6 类基础表情标签的人脸表情数据集：[RAF-ML][]。与 RAF-DB 相比，RAF-ML 所含标签不是 Sigle Label，而是 Blended Label。）作者不仅分析了 RAF 采集/标注/过滤/分析/评估过程的设计，还通过跨数据集实验，证明 RAF 的 AU 比 CK+ 更多样化，即跟符合现实情况下的人脸表情。

为了应对现实环境下人脸识别问题，作者还提出了 Deep Locality-Preserving CNN（DLP-CNN），通过添加 Local Proserving Loss（LP Loss），从而缩短样本的类内距离，扩大样本的类间距离，使得模型能更好的解决在非受控环境下进行人脸表情识别问题。

**关于 RAF 的构建：**

![20190911155242666.png][]

作者先通过网络爬取 29672 张现实场景下的人脸表情图像，雇佣 315 个标注员进行随机标注（由大学的学生与员工组成，都接受过一小时的心理知识培训），确保每张图像至少经过四十个标注员标注。表情标签标注完毕后，作者手动对图像中的人脸进行人脸框以及人脸关键点（5 个）的标注，并利用 Face++ 的 API 进行人脸关键点（37 个）的标注。此外，作者还提供一些额外的人脸属性标签，例如：性别、年龄、种族。

为了避免由于标注人员的主观性导致标签出错，作者利用 EM 算法对标签数据进行筛选，以去除其中的噪声。具体算法如下所示：

![2019091115580028.png][]

**关于跨数据集实验：**

作者为了证明现实场景（即非受控环境）下的人脸表情数据比实验室场景（即受控环境）下的人脸表情数据有明显的区别，便利用 RAF 和 CK+ 进行了跨数据集实验。其实验结果如下所示：（大白话解释的话，应该就是非受控环境下的人脸表情数据更多样、复杂，更难以拟合）

![20190911155413434.png][]

此外，作者还从两个数据集中抽取数据进行 AU 标注并进行比较，由下图可以看出 RAF 的人脸表情数据的 AU 信息更为丰富多样。

![20190911155449432.png][]

**关于 DLP-CNN：**

由于非受控环境下的人脸表情数据更加复杂，作者认为普通的 Softmax Loss 在这些数据上并不能很好的衡量各个类别中的特征分布，于是作者便提出了 Local Proserving Loss（与 Center Loss 相似），以及 DLP-CNN（也就是卷积网络加 Softmax Loss 和 LP Loss，具体结构如下图所示）。

![20190911155545333.png][]

LP Loss 的核心思路就是想在保持各个类别的类间距离更远的同时，使得类内距离更小，从而使得类内样本的特征分布更加紧凑。不过，由于需要计算各个样本的与其邻居的距离，LP Loss 的计算成本是很高的。具体公式如下所示：

![20190911155635313.png][]

### 4. Adaptively Weighted Multi-task Deep Network ###

> 论文链接：[Adaptively Weighted Multi-task Deep Network for Person Attribute Classification][], 发表时间：2017

![20190921233707805.png][]![20190921233721465.png][]

### 5. Multi-Net Learning ###

> 论文链接：[A Deep Cascade Network for Unaligned Face Attribute Classification][]，发表时间：2017.09

![20190921233738793.png][]![20190921233801935.png][]

### 6. Covariance Pooling for Facial Expression Recognition ###

> 论文链接：[Covariance Pooling for Facial Expression Recognition][], 发表时间：2018.05

本篇论文投在 2018 CVPR Workshop 上，其核心思想为相较于一阶统计量，二阶统计量更适合捕捉人脸关键点的变形，从而提高人脸表情识别的准确率。而传统卷积神经网络只能捕捉一阶统计量，作者便引进 Covariance Pooling 用于从卷积网络所获取的特征中计算协方差矩阵，再将其输入到 SPD Manifold Network（SPDNet） Layers 中。

![20190916205141114.png][] ![20190916205151113.png][]

作者对 SPDNet 的结构进行了实验，并设计了四种不同的结构，具体细节以及实验结果如下所示：

![20190916205238633.png][] ![20190916205249620.png][]

作者在 RAF 和 SFEW 2.0 上取得了目前的 SOTA，即 87.0 和 58.14。但作者所用指标为 Accuracy，我认为应该用 Mean Diagonal Value of the Confusion Matrix 作为指标（因为用 Accuracy 的话，标签为 Happy 和 Neutral 的样本数量占绝大多数且容易识别，并不能完全体现模型表情识别能力），以此为指标，作者在 RAF 和 SFEW 2.0 上的精度分别为 79.4 和 50.1。

![20190916205209121.png][] ![20190916205220857.png][]

**PS：** 作者开源项目：[d-acharya/CovPoolFER][d-acharya_CovPoolFER]（基于 Tensorflow 实现的）。

### 7. Multi-Task Learning as Multi-Objective Optimization ###

> 论文链接：[Multi-Task Learning as Multi-Objective Optimization][], 发表时间：2018.10

该篇论文由 Intel Lab 提出，作者将 MTL 当作 Multi-Objective Optimization 进行处理，利用 gradient-based multi-objective optimization 进行优化，以此取得帕累托最优解。在文章中，作者介绍了用多目标优化解决多任务学习的一般形式，帕累托最优的定义，如何将求解帕累托最优转换为求解人物权重，以及如何简化计算过程。

**Multi-Task Learning（MTL）的一般形式：**

![20190921144238490.png][]

**MTL 的 Pareto Optimality（帕累托最优解） 定义：**

![2019092114425255.png][]

**算法细节如下所示：**

![20190921144633338.png][]

最后，作者利用该算法在 CelebA 上取得了 SOTA，实验结果如下所示：

![20190921144301961.png][]

**PS：** 作者开源项目：[intel-isl/MultiObjectiveOptimization][intel-isl_MultiObjectiveOptimization]（基于 PyTorch 实现的）。

**参考资料：**

*  [《Deep Learning Face Attributes in the Wild》论文笔记][Deep Learning Face Attributes in the Wild 1]
 *  [Deep Learning Face Attributes in the Wild][Deep Learning Face Attributes in the Wild 2]
 *  [行人属性“Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Cl”][Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Cl]
 *  [Multi-task Learning(Review)多任务学习概述][Multi-task Learning_Review]
 *  [多任务学习权重的动态调整][Link 3]
 *  [NIPS 2018 | 作为多目标优化的多任务学习：寻找帕累托最优解][NIPS 2018 _]
 *  [Multi-Task Learning as Multi-Objective Optimization 阅读笔记][Multi-Task Learning as Multi-Objective Optimization 1]
 *  [《Deep Facial Expression Recognition:A Survey》论文笔记][Deep Facial Expression Recognition_A Survey]
 *  [论文笔记：2018 PRCV 顶会顶刊墙展- PilgrimHui - 博客园][2018 PRCV _- PilgrimHui -]
 *  [表情识别——Covariance Pooling for Facial Expression Recognition][Covariance Pooling for Facial Expression Recognition 1]
 *  [学习笔记之——covariance pooling][covariance pooling]
 *  [属性预测相关论文阅读Adaptively weighted multi-task deep network for person attribute classification][Adaptively weighted multi-task deep network for person attribute classification]
 *  [【资源】聚焦人脸表情识别 (FER) 的顶级会议和期刊文献与资源列表][_FER_]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvZGVfTWFydA_size_16_color_FFFFFF_t_70_pic_center]

[A Survey to Deep Facial Attribute Analysis]: https://arxiv.org/pdf/1812.10265.pdf
[Deep Facial Expression Recognition_ A Survey]: https://arxiv.org/pdf/1804.08348.pdf
[Link 1]: http://www.pris.net.cn/introduction/synopsis
[Deep Learning Face Attributes in the Wild]: https://arxiv.org/pdf/1411.7766.pdf
[CelebFaces]: https://github.com/prateekmehta59/Celebrity-Face-Recognition-Dataset
[LFW]: http://vis-www.cs.umass.edu/lfw/
[CelebA _ LFWA]: http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html
[20190910232330274.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/445b2ba6890b4be5840c7cfd2ccef74c.png
[Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification]: https://arxiv.org/pdf/1611.05377.pdf
[20190911104343902.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/2a95230d7ae44a70949ef4366160d319.png
[20190911104254200.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/4b17ff02d5334bc3aaf1f379ee409050.png
[20190911103646250.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/cbcd8f884b8a435abf75e2413148a8a9.png
[20190911103824722.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/7f2944e9db724fa0826815d4a526fe3e.png
[DeepFashion]: http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html
[luyongxi_deep_share]: https://github.com/luyongxi/deep_share
[Reliable Crowdsourcing and Deep Locality-Preserving Learning for Expression Recognition in the Wild]: http://openaccess.thecvf.com/content_cvpr_2017/papers/Li_Reliable_Crowdsourcing_and_CVPR_2017_paper.pdf
[Link 2]: http://www.pris.net.cn/introduction/teacher/dengweihong
[A Deeper Look at Facial Expression Dataset Bias]: https://arxiv.org/pdf/1904.11150.pdf
[RAF-DB]: http://www.whdeng.cn/RAF/model1.html
[RAF-ML]: http://www.whdeng.cn/RAF/model2.html
[20190911155242666.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/a137a3cf547e441e836085f0d1cd472d.png
[2019091115580028.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/95010e21aad34bdb9a021703a3d736d1.png
[20190911155413434.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/edb9e83d27c448b0a6c4b13e7f8e65f2.png
[20190911155449432.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/ae51c29628d94f489bc658b5f5e35327.png
[20190911155545333.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/e2ce4cc0bfca459db26a677e230c9055.png
[20190911155635313.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/1b728fd311d84d77a2dba40c71a22b6f.png
[Adaptively Weighted Multi-task Deep Network for Person Attribute Classification]: http://www.yugangjiang.info/publication/17MM-PersonAttribute.pdf
[20190921233707805.png]: https://img-blog.csdnimg.cn/20190921233707805.png
[20190921233721465.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/6d02471cdfe24d8b86606dbbb6ffe6f8.png
[A Deep Cascade Network for Unaligned Face Attribute Classification]: https://arxiv.org/pdf/1709.03851.pdf
[20190921233738793.png]: https://img-blog.csdnimg.cn/20190921233738793.png
[20190921233801935.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/5a0c340f2c6e458299c09e9085939723.png
[Covariance Pooling for Facial Expression Recognition]: https://arxiv.org/pdf/1805.04855.pdf
[20190916205141114.png]: https://img-blog.csdnimg.cn/20190916205141114.png
[20190916205151113.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/05fc362a93a04817a130c02baacd3ea9.png
[20190916205238633.png]: https://img-blog.csdnimg.cn/20190916205238633.png
[20190916205249620.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/0a0c4acb119f4b609820d2b2d6f6c3b1.png
[20190916205209121.png]: https://img-blog.csdnimg.cn/20190916205209121.png
[20190916205220857.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/6a8c397e120a451fa0ca3911fafa9ffa.png
[d-acharya_CovPoolFER]: https://github.com/d-acharya/CovPoolFER
[Multi-Task Learning as Multi-Objective Optimization]: https://arxiv.org/pdf/1810.04650.pdf
[20190921144238490.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/5b56668dd6d64ac9a1ebe1f30411976a.png
[2019092114425255.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/bdb901f00dd74bd4ac9459e00cafb325.png
[20190921144633338.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/ab277f4649c84baeb50abd079a4621a5.png
[20190921144301961.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/a09fae3a074249c787bb8faa7af1d269.png
[intel-isl_MultiObjectiveOptimization]: https://github.com/intel-isl/MultiObjectiveOptimization
[Deep Learning Face Attributes in the Wild 1]: https://www.cnblogs.com/punkcure/p/7682517.html
[Deep Learning Face Attributes in the Wild 2]: https://blog.csdn.net/cv_family_z/article/details/50067145
[Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Cl]: https://blog.csdn.net/cv_family_z/article/details/78224184
[Multi-task Learning_Review]: https://zhuanlan.zhihu.com/p/59413549
[Link 3]: https://blog.csdn.net/u013453936/article/details/83475590
[NIPS 2018 _]: https://zhuanlan.zhihu.com/p/47860799
[Multi-Task Learning as Multi-Objective Optimization 1]: https://blog.csdn.net/icylling/article/details/86249462
[Deep Facial Expression Recognition_A Survey]: https://oysz2016.github.io/post/5d962f61.html
[2018 PRCV _- PilgrimHui -]: https://www.cnblogs.com/liaohuiqiang/p/10030710.html
[Covariance Pooling for Facial Expression Recognition 1]: https://blog.csdn.net/heruili/article/details/88322472
[covariance pooling]: https://blog.csdn.net/gwplovekimi/article/details/91445661
[Adaptively weighted multi-task deep network for person attribute classification]: https://blog.csdn.net/Jamence/article/details/97618075
[_FER_]: http://bbs.cvmart.net/articles/395/zi-yuan-ju-jiao-ren-lian-biao-qing-shi-bie-fer-de-ding-ji-hui-yi-he-qi-kan-wen-xian-yu-zi-yuan-lie-biao
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvZGVfTWFydA_size_16_color_FFFFFF_t_70_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/efe60825e50e4ef785b42cc24dead5d0.png