这就是神经网络 19：深度学习-人脸检测-S3FD

快来打我* 2022-01-06 08:47 340阅读 0赞

# 概述 #

本文介绍1篇人脸检测方面的工作，这是2017年的工作。S3FD是SSD类的检测器，为人脸检测做了相应优化和修改。即使放在今年（2019）,这个工作的结果也都是SOTA级的存在。

前段时间写了文章总结FaceBoxes，那篇文章和本文的主角S3FD是同一个实验室出品的，都来自中国，并且在榜单中都取得了当时最好的成绩。

# 动机 #

论文一般都要先写出当前存在的问题，然后才好展开具体的方法。本文的动机就是解决人脸检测中存在的几点不足，可以用一张图片来表示：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70]

*  问题一：铺设锚框的特征图相对原图的步长太大（8/或16），这样小脸基本就剩不下多少特征了。可以想象，8x8以下的人脸基本就没有对应的特征了。具体见上图（a）
 *  问题二：对小脸来说，anchor尺寸和有效感知野不匹配，anchor都是偏大的。理论感知野一般会很大，但是能影响输出结果的有效感知野会小得多。具体见上图(b)，白色部分才是有效感知野。
 *  问题三：anchor的匹配策略问题。anchor的边长是离散的（比如本文的anchor尺寸是16, 32, 64, 128, 256, 512 ），而图片中的人脸尺寸是连续的，使用IOU进行匹配的时候，就会发现人脸尺寸远离anchor尺寸的时候，平均能匹配到的anchor个数特别少。比如上图（c）中，和anchor尺寸一致的人脸能得到很多匹配的anchor框，而和anchor尺寸相差较多的人脸，平均能匹配到的anchor框数远小于平均值，对于图上的tiny face和outer face来说，它们能匹配的anchor数不足2甚至1，这些人脸的召回率就会很低。
 *  问题四：为了检测小脸，需要在较底层的特征图上密集的铺设anchor框，总的来看大部分anchor框都来自第一层底层特征，但是这些anchor框大部分都是负样本，只有少数是正样本，整体来看正负样本很不均衡，见上图（d）。（虽然本网路强制正负样本比例1比3，也只能一定程度缓解）。

总的来说，本文针对小脸的检测做出了很多改进，并且兼顾了人脸检测的其它方面。

# 网络结构 #

本网络的主干网络来自VGG，输入640x640保留pool5和以前的部分，后续部分堆积下采样和卷积。最终共六个特征图参与最终的预测，预测的时候采用3x3卷积核生成坐标回归和结果分类。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 1]

网络结构上来看，基本是一个SSD的样子。参与预测的六个特征图步长从4到128（这就是一个特征金字塔），对应的anchor尺寸从16到512。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 2]

最终共六个特征图参与最终的预测。每个参与预测的特征后跟一个p×3×3×q的卷积，其中p是输入特征的额通道数，q是输出特征的通道数， 卷积核大小是3x3。

对每个anchor来说，我们要预测4个坐标偏移量和Ns个分类分数，最底层的特征层conv3\_3来说Ns=Nm+1(其中Nm是max-out背景标签数，代码中取Nm=3), 对其它5层特征图来说Ns=2。

损失函数采用联合损失函数，分类部分采用softmax loss，坐标回归部分采用smooth L1 loss。

![在这里插入图片描述][20190624181922338.png]

# 解决问题的思路 #

### 问题一的解决办法：多个特征图用于预测 ###

为了解决小脸的特征信息过少的问题，本文在步长为4的特征图开始预测（而不是8或16），共用到了6个特征图进行预测，详细信息参见上面的网络结构。这样小脸在第一个预测特征图处还能剩下很多信息，改善了小脸的召回率。

### 问题二的解决办法：精心设计anchor框大小 ###

前面说了有效感知野会比理论感知野小得多，所以要小心设置各个特征图的anchor尺寸大小，使之和有效感知野匹配起来。具体每一层的大小见上面的Table\_1。

同时，anchor的设置还遵循了等稠密度间隔原则。稠密度具体的计算可参考[我前面写的FaceBoxes的论文笔记博客][FaceBoxes]。

### 问题三的解决办法 ###

问题三的原因是anchor的边长是离散的，而图片中的人脸尺寸是连续的。人脸尺寸远离anchor尺寸的时候，平均能匹配到的anchor个数特别少，一定程度上被网络忽略了。

作者有两个基本的观察：

1.  平均匹配到3个anchor框还不足以为人脸召回得到较高的分数
2.  匹配到的anchor框数和anchor的尺寸高度相关

因此，为了解决这个问题，论文把anchor的匹配策略分为两个阶段：

stage 1:将IOU匹配的阈值从0.5设置为0.35，增加平均匹配到的anchor数量

stage 2:经过上一个阶段，tiny face和outer face可能仍然没有匹配到足够的anchor数量，所以直接把阈值降为0.1，取前N个匹配结果，N是第一阶段平均的匹配数量。

该策略对各个尺度的人脸平均匹配的anchor个数的改善见下图(a)。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 3]

我的一个疑问：这里主要是指训练阶段的匹配策略吧，主要为了让各个anchor学习和它们的尺寸相差较大或者相距较远的人脸。推理的时候不知道怎么用的匹配策略。

### 问题四的解决办法 ###

问题四的根本原因是正负样本不均衡。这也是没办法的事，想检测小脸就要在较底层的特征图上密集铺设anchor框，这样一来小的anchor框就会占比较大，比如对于S3FD来说，第一个检测层的anchor框数量占了75%, 而这些anchor框里天生就是大部分为负样本，这样在所有anchor中负样本必定占有较大比例，导致检测结果中有较高的假阳性率。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 4]

为了解决这个问题，本文在最底层的conv3\_3特征图预测上采用了更加复杂的分类策略:max-out 背景标签。

其它几个特征图用于分类的时候都是2分类，这里认为的把背景设为Nm种，得到Nm个背景的预测分数和一个人脸的预测分数，Nm个背景分类中取最大值和人脸做softmax，无形中分为人脸的概率就大大增加了（我感觉这里类似一个权重降权的操作）。具体见Fig 4(b)。

### 总结 ###

问题一的解决方案应该来自SSD,问题二的解决方案主要是一篇计算有效感知野的论文和作者之前的FaceBoxes这篇论文， 后面两个解决方案没看出来是哪来的。

总之，作者的几个idea都很简洁，但是整体效果非常好。为作者点100个赞。

# 最终结果 #

谦虚点说当时就是傲视群雄。当然，两年后的今天已经有不少框架超过这个了。

在WIDER FACE的hard验证集上，S3FD优势巨大。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 6]

# 论文 #

[S3FD: Single Shot Scale-invariant Face Detector][S3FD_ Single Shot Scale-invariant Face Detector]

# 代码 #

S3FD官方代码（caffe）：[sfzhang15/SFD][sfzhang15_SFD]

[clcarwin/SFD\_pytorch][clcarwin_SFD_pytorch]

[yxlijun/S3FD.pytorch][yxlijun_S3FD.pytorch]

[sciencefans/RSA-for-object-detection][sciencefans_RSA-for-object-detection]

# 参考资料 #

[这就是神经网络 16：深度学习-人脸检测-FaceBoxes][FaceBoxes]

\[WIDER FACE官网：[WIDER FACE: A Face Detection Benchmark][WIDER FACE_ A Face Detection Benchmark]

[人脸检测背景介绍和发展现状][Link 1]

[人脸检测算法之 S3FD][S3FD]

[人脸检测: S3FD][S3FD 1]

[论文阅读\_人脸检测：S3FD][S3FD 2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70]: /images/20211227/0258a5c15cff4456b3a1946d02345648.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 1]: /images/20211227/0922a4401de84f27a5261441a51f70f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 2]: /images/20211227/84fb22538c1441b29736b57f2d37807d.png
[20190624181922338.png]: /images/20211227/1c443f8934b549e5af6545287ccd4b1f.png
[FaceBoxes]: https://blog.csdn.net/yuanlulu/article/details/89739643
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 3]: /images/20211227/1337683fd4034a419c1755655a240e2c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 4]: /images/20211227/039b5fb84fc746218be0f7fc4bf97b19.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 5]: /images/20211227/75a19df1e05540e0a6ad369b748b6406.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 6]: /images/20211227/51cda45250f14cf38bf554378ff65a7c.png
[S3FD_ Single Shot Scale-invariant Face Detector]: https://arxiv.org/pdf/1708.05237.pdf
[sfzhang15_SFD]: https://github.com/sfzhang15/SFD
[clcarwin_SFD_pytorch]: https://github.com/clcarwin/SFD_pytorch
[yxlijun_S3FD.pytorch]: https://github.com/yxlijun/S3FD.pytorch
[sciencefans_RSA-for-object-detection]: https://github.com/sciencefans/RSA-for-object-detection
[WIDER FACE_ A Face Detection Benchmark]: http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/index.html
[Link 1]: https://zhuanlan.zhihu.com/p/32702868
[S3FD]: https://zhuanlan.zhihu.com/p/39849184
[S3FD 1]: https://zhuanlan.zhihu.com/p/44504595
[S3FD 2]: https://zhuanlan.zhihu.com/p/53168563