人机交互系统（4.1）——深度学习在人脸检测中的应用

矫情吗；* 2021-12-14 12:45 308阅读 0赞

## 1 人脸检测 ##

在目标检测领域可以划分为了人脸检测与通用目标检测，往往人脸这方面会有专门的算法（包括人脸检测、人脸识别、人脸其他属性的识别等等），并且和通用目标检测（识别）会有一定的差别，着主要来源于人脸的特殊性（有时候目标比较小、人脸之间特征不明显、遮挡问题等），下面将从人脸检测和通用目标检测两个方面来讲解目标检测。

### 1.1 目前主要有人脸检测方法分类？ ###

目前人脸检测方法主要包含两个区域：传统人脸检测算法和基于深度学习的人脸检测算法。传统人脸检测算法主要可以分为4类：  
（1）基于知识的人脸检测方法；  
（2）基于模型的人脸检测方法；  
（3）基于特征的人脸检测方法；  
（4）基于外观的人脸检测方法。

2006年Hinton首次提出深度学习（Deep Learning）的概念，它是通过组合低层的特征形成更高层的抽象特征。随后研究者将深度学习应用在人脸检测领域，主要集中在基于卷积神经网络（CNN）的人脸检测研究，如基于级联卷积神经网络的人脸检测（cascade cnn）、 基于多任务卷积神经网络的人脸检测（MTCNN）、Facebox等，很大程度上提高了人脸检测的鲁棒性。当然通用目标检测算法像Faster-rcnn、yolo、ssd等也有用在人脸检测领域，也可以实现比较不错的结果，但是和专门人脸检测算法比还是有差别。

### 1.2 如何检测图片中不同大小的人脸？ ###

传统人脸检测算法中针对不同大小人脸主要有两个策略：  
（1）缩放图片的大小（图像金字塔如图1.1所示）；  
（2）缩放滑动窗的大小（如图1.2所示）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]图 1.1 图像金字塔  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]  
图 1.2 缩放滑动窗口  
基于深度学习的人脸检测算法中针对不同大小人脸主要也有两个策略，但和传统人脸检测算法有点区别，主要包括:

（1）缩放图片大小。（不过也可以通过缩放滑动窗的方式，基于深度学习的滑动窗人脸检测方式效率会很慢存在多次重复卷积，所以要采用全卷积神经网络（FCN），用FCN将不能用滑动窗的方法。）

（2）通过anchor box的方法（如图1.3所示，不要和图1.2混淆，这里是通过特征图预测原图的anchorbox区域，具体在facebox中有描述）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 2]  
图 1.3 anchor box

### 1.3 如何设定算法检测最小人脸尺寸? ###

主要是看滑动窗的最小窗口和anchorbox的最小窗口。  
（1）滑动窗的方法  
假设通过12×12的滑动窗，不对原图做缩放的话，就可以检测原图中12×12的最小人脸。但是往往通常给定最小人脸a=40、或者a=80，以这么大的输入训练CNN进行人脸检测不太现实，速度会很慢，并且下一次需求最小人脸a=30\*30又要去重新训练，通常还会是12×12的输入，为满足最小人脸框a，只需要在检测的时候对原图进行缩放即可：w=w×12/a。  
（2）anchorbox的方法  
原理类似，这里主要看anchorbox的最小box，通过可以通过缩放输入图片实现最小人脸的设定。

### 1.4 如何定位人脸的位置 ###

（1）滑动窗的方式：  
滑动窗的方式是基于分类器识别为人脸的框的位置确定最终的人脸，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 3]  
图 1.4 滑动窗  
（2）FCN的方式：  
FCN的方式通过特征图映射到原图的方式确定最终识别为人脸的位置，特征图映射到原图人脸框是要看特征图相比较于原图有多少次缩放（缩放主要查看卷积的步长和池化层），假设特征图上(2,3)的点，可粗略计算缩放比例为8倍，原图中的点应该是(16,24)；如果训练的FCN为12\*12的输入，对于原图框位置应该是(16,24,12,12),当然这只是估计位置，具体的再构建网络时要加入回归框的预测，主要是相对于原图框的一个平移与缩放。  
（3）通过anchor box的方式：  
通过特征图映射到图的窗口，通过特征图映射到原图到多个框的方式确定最终识别为人脸的位置。

### 1.5 如何通过一个人脸的多个框确定最终人脸框位置？![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 4] ###

图 1.5 通过NMS得到最终的人脸位置  
NMS改进版本有很多，最原始的NMS就是判断两个框的交集，如果交集大于设定的阈值，将删除其中一个框，那么两个框应该怎么选择删除哪一个呢？ 因为模型输出有概率值，一般会优选选择概率小的框删除。

### 1.6 基于级联卷积神经网络的人脸检测（Cascade CNN） ###

1.cascade cnn的框架结构是什么？  
![在这里插入图片描述][20190704232146596.]  
级联结构中有6个CNN，3个CNN用于人脸非人脸二分类，另外3个CNN用于人脸区域的边框校正。给定一幅图像，12-net密集扫描整幅图片，拒绝90%以上的窗口。剩余的窗口输入到12-calibration-net中调整大小和位置，以接近真实目标。接着输入到NMS中，消除高度重叠窗口。下面网络与上面类似。

2.cascade cnn人脸校验模块原理是什么？  
该网络用于窗口校正，使用三个偏移变量：Xn:水平平移量，Yn:垂直平移量，Sn:宽高比缩放。候选框口(x,y,w,h)中，(x,y)表示左上点坐标，(w,h)表示宽和高。  
我们要将窗口的控制坐标调整为：  
![在这里插入图片描述][20190704232200998.]  
这项工作中，我们有种模式。偏移向量三个参数包括以下值：  
![在这里插入图片描述][201907042322181.]  
同时对偏移向量三个参数进行校正。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 5]

4.训练样本应该如何准备？  
人脸样本  
非人脸样本

5.级联的好处  
• 最初阶段的网络可以比较简单，判别阈值可以设得宽松一点，这样就可以在保持较高召回率的同时排除掉大量的非人脸窗口；  
• 最后阶段网络为了保证足够的性能，因此一般设计的比较复杂，但由于只需要处理前面剩下的窗口，因此可以保证足够的效率；  
• 级联的思想可以帮助我们去组合利用性能较差的分类器，同时又可以获得一定的效率保证。

### 1.7 基于多任务卷积神经网络的人脸检测（MTCNN） ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 6]  
MTCNN模型有三个子网络，分别是P-Net,R-Net,O-Net.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][20190704232333682.]  
![在这里插入图片描述][20190704232341719.]  
为了检测不同大小的人脸，开始需要构建图像金字塔，先经过pNet模型，输出人脸类别和边界框（边界框的预测为了对特征图映射到原图的框平移和缩放得到更准确的框），将识别为人脸的框映射到原图框位置可以获取patch，之后每一个patch通过resize的方式输入到rNet，识别为人脸的框并且预测更准确的人脸框，最后rNet识别为人脸的的每一个patch通过resize的方式输入到oNet，跟rNet类似，关键点是为了在训练集有限情况下使模型更鲁棒。  
还要注意一点构建图像金字塔的的缩放比例要保留，为了将边界框映射到最开始原图上。

### 1.8 Facebox ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 8]  
（1）Rapidly Digested Convolutional Layers(RDCL)  
在网络前期，使用RDCL快速的缩小feature map的大小。 主要设计原则如下：  
• Conv1, Pool1, Conv2 和 Pool2 的stride分别是4, 2, 2 和 2。这样整个RDCL的stride就是32，可以很快把feature map的尺寸变小。  
• 卷积(或pooling)核太大速度就慢，太小覆盖信息又不足。文章权衡之后，将Conv1, Pool1, Conv2 和 Pool2 的核大小分别设为7x7,3x3,5x5,3x3  
• 使用CReLU来保证输出维度不变的情况下，减少卷积核数量。  
（2）Multiple Scale Convolutional Layers(MSCL)  
在网络后期，使用MSCL更好地检测不同尺度的人脸。 主要设计原则有：  
• 类似于SSD，在网络的不同层进行检测；  
• 采用Inception模块。由于Inception包含多个不同的卷积分支，因此可以进一步使得感受野多样化。  
（3）Anchor densification strategy  
为了anchor密度均衡，可以对密度不足的anchor以中心进行偏移加倍，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 9]

> 关注我的技术公众号《漫谈人工智能》，每天推送优质文章
> 
> ![20190930002642724.jpg][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]: /images/20211214/7b4837aa473a4a0b9b4f4b96104f011b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]: /images/20211214/87cccee5343249cf9778413f5c3a47a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 2]: /images/20211214/03651f130bff41b9b4c609b0520cb883.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 3]: /images/20211214/4a1ceadd4dd54797aa2a9ad6a66c8c30.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 4]: /images/20211214/ee4db28a18c94f928a93194f73b4dd38.png
[20190704232146596.]: /images/20211214/9807ed1e28a747f2a7ce6226a185a2ee.png
[20190704232200998.]: /images/20211214/f5aebaf4cf714765bfc04db9b4dc4c2e.png
[201907042322181.]: /images/20211214/88f749f4f2214a61aaf94476c4f8395a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 5]: /images/20211214/c6103aef1f794367b7d8f82bc3d920fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 6]: /images/20211214/8f400ffbd87c4456b052050ee71c0d9e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 7]: /images/20211214/fdf6c323904148cfaefd04f1cb4ba88c.png
[20190704232333682.]: /images/20211214/4012fc07533e4a66834aa575e5dcecc0.png
[20190704232341719.]: /images/20211214/688be752bdc04b068aed4b3b590989be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 8]: /images/20211214/1a60ac226fa44287af4dc908b09b720e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWFuZ3poaWNoZW5nLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 9]: /images/20211214/915d31f28e6c40f098ec962f605bfc4e.png
[20190930002642724.jpg]: /images/20211214/527515a6ce86480993d1edad9e484d4a.png