详解OpenVINO 模型库中的人脸检测模型

傷城~ 2022-12-16 06:16 296阅读 0赞

## 人脸检测模型 ##

OpenVINO的模型库中有多个人脸检测模型，这些模型分别支持不同场景与不同分辨率的人脸检测，同时检测精度与速度也不同。下面以**OpenVINO2020 R04**版本为例来逐一解释模型库中的人脸检测，列表如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center]从列表中可以看出骨干特征网络主要是MobileNetv2与SqueezeNet两种支持实时特征网络，ResNet152是高精度的特征网络，检测头分别支持SSD、FCOS、ATSS。  
**MobileNetv2版本的模型结构**  
深度可分离卷积  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 3]  
ResNet网络  
残差网络模型在2015年提出，OpenCV从3.3版本开始支持，相关的论文如下：

https://arxiv.org/pdf/1512.03385.pdf

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 4]  
**SqueezeNet网络**  
该模型与MobileNet网络都是支持移动端/端侧可部署的模型，2016提出，相关论文如下：

https://arxiv.org/pdf/1602.07360.pdf

模型结构  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 5]  
**检测模型**  
根据不同的检测头，组合生成不同的对象检测模型，这里三种常见的检测模型：  
**SSD检测**  
SSD论文中给出的是基于VGG-16作为backbone网络的，替换VGG为MobileNetV2，然后从第12个权重层开始提取特征到第14或者15个权重层，针对anchor预测与类别预测完成回归与分类损失计算，实现对象检测模型训练。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 6]  
FCOS检测  
跟YOLOv1相似是一个anchor-free的网络模型  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 7]  
多了一个中心输出来压制低质量的bounding box输出。  
ATSS  
ATSS的全称是自适应训练样本选择，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 8]  
作者首先对比了RetinaNet与FCOS两种对象检测方法，发现对象检测在回归阶段的本质问题是如何选择正负样本，解决样本不平衡性问题，从而提出了一种新的正负样本选择定义方法-自适应训练样本选择（ATSS）。流程如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 9]  
该方法可以获得更好的对象检测精度与mAP，适用RetinaNet与FCOS等对象检测网络。实际实验数据对比：  
![在这里插入图片描述][20201019101624301.png_pic_center]  
**实验对比：**  
上面的OpenVINO的人脸检测模型列表中，MobileNetv2 + SSD/FCOS适用于速度优先，不同分辨率的场景，ResNet152 + ATSS是OpenVINO模型库中的精度最高的人脸检测预训练模型。下面我们就通过代码分别测试FCOS与ATSS两种检测模型的检测效果比较，针对同一张测试人脸图像，图示如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 10]  
统一调整阈值为0.25，推理时间与检测人脸总数的对比图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 11]  
最终分别得到测试图像如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 12]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 13]  
欢迎关注我的微信公众号【OpenCV学堂】，获取更多干货！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/f3472e836a9d4e229312b707d0134ab3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/cda69afd437f4de0b99f21c19fe77ec8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/2efa6fdcd72741439209379b0c917b27.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/a24e962b9c2c41d38663ab7e613b74e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/085190c0bbf9427da3f96ee5e35b2c42.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/af64ca7f7ac24442a210dd0fba7720a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/5b01a07fdebe4c02ba2cde9b0cd59c28.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/6866fe4b90224cf8884daac0030945aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221123/1167547556e14b7698854281a22b993e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221123/b9d08bc0c3df41459d6b2ea03533f88a.png
[20201019101624301.png_pic_center]: /images/20221123/5907bfa03d1a450998530bad6988a8e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221123/291355d39f804c82b53d61bad34b303d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221123/71e22a609c214cd693c41c5a7114cd03.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221123/557a71d0855a4b34a2f4a22bd7ccffad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYTIwMDAz_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221123/1c61fb3642c246f985ea476f3048e180.png