【CenterNet】一种 anchor-free 的目标检测框架

刺骨的言语ヽ痛彻心扉 2022-09-03 05:26 103阅读 0赞

![在这里插入图片描述][479dca20a7314e47811dd64d12f0cdd8.png]

### 文章目录 ###

*   *  1、CenterNet 简介
     *  2、提出背景
     *  3、骨干网络
     *  4、整体结构
     *  5、论文总结

本文原论文地址： [https://arxiv.org/pdf/1904.07850.pdf][https_arxiv.org_pdf_1904.07850.pdf]

GitHub地址：[https://github.com/xingyizhou/CenterNet][https_github.com_xingyizhou_CenterNet]

## 1、CenterNet 简介 ##

CenterNet 是一种 anchor-free 的目标检测网络，不仅可以用于目标检测，还可以用于其他的一些任务，如肢体识别或者 3D 目标检测等等。下图展示了 CenterNet 与当时的一些 SOTA 算法在 COCO 数据集上的性能对比效果。容易看出，CenterNet 相比于当前的 SOTA 算法精度和速度都有一定提升。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70_pic_center]

## 2、提出背景 ##

通常的检测器会预设很多 anchor，然后基于这些 anchor 去做预测。密集的 anchor 有助于提高检测精度，然而在预测阶段，真正起到检测作用的只有少部分 anchor，**因此导致了计算资源的浪费**。

无论是单阶段还是二阶段检测器，在后处理阶段都需要 NMS 去除多余框。NMS 操作只在推理阶段存在，NMS 的存在导致现有的检测器**并不是严格的端到端训练的**。

基于上述现象，作者提出了 CenterNet 算法，直接预测物体 Bbox 的中心点、宽高、类别。相比其他方法，该方法不需要预设 anchors，在预测阶段也不需要 NMS，**极大的简化了网络的训练和推理过程**。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70]

## 3、骨干网络 ##

Centernet 用到的主干特征网络有多种，一般是以 Hourglass Network、DLANet 或者 ResNet 为主干特征用来提取特征。我们以用的较多的ResNet 为例来进行介绍。

ResNet50 有两个基本的块，分别名为 Conv Block 和 Identity Block，其中 Conv Block 输入和输出的维度是不一样的，所以不能连续串联，它的作用是改变网络的维度；Identity Block 输入维度和输出维度相同，可以串联，用于加深网络的深度。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70_pic_center 1]

## 4、整体结构 ##

如下图所示，CenterNet 的整体结构由三部分组成：**骨干网络 + 上采样层 + Center Head**，具体过程如下：

*  通过 ResNet50 提取图像特征，骨干网络的最后一个特征层的形状为 (16,16,2048)
 *  对于该特征层，采用三次反卷积进行上采样，获得高分辨率特征层。为了节省计算量，这3个反卷积的输出通道数分别为 256,128,64。
 *  三次上采样后，获得了一个 128x128x64 的**高分辨率特征图**，最后利用该有效特征层获得最终的预测结果。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70 1]

最后利用 28x128x64 的高分辨率特征图，进行三个不同的卷积操作，来分别进行预测：

*  **热力图预测**，此时卷积的通道数为classes，最终结果为 (128,128,classes)，代表每一个热力点是否有物体存在，以及物体的种类c；
 *  **中心点预测**，此时卷积的通道数为2，最终结果为 (128,128,2)，代表每一个物体中心距离热力点偏移的情况 x, y；
 *  **宽高预测**，此时卷积的通道数为2，最终结果为 (128,128,2)，代表每一个物体宽高的预测情况 w，h；

## 5、论文总结 ##

综上所述，作者提出了一种新的目标表示方法：**CenterNet：objects as points**。CenterNet 目标检测器建立在成功的关键点估计网络的基础上，找到物体的中心，并且回归到它们的大小。该算法简单、快速、准确，并且无需任何NMS后处理就能进行端到端的微分。这个想法是通用的，具有广泛的应用，超越了简单的二维检测。

于此同时，CenterNet 可以估计一系列额外的目标属性，如姿势、三维方向、深度和范围。CenterNet 的初步实验是令人鼓舞的，并且为实时物体识别和相关任务开辟了一个新的方向和相关的任务。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70 2]

[479dca20a7314e47811dd64d12f0cdd8.png]: /images/20220829/3feb5f14d66648839c8dd38755ad0c29.png
[https_arxiv.org_pdf_1904.07850.pdf]: https://arxiv.org/pdf/1904.07850.pdf
[https_github.com_xingyizhou_CenterNet]: https://github.com/xingyizhou/CenterNet
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70_pic_center]: /images/20220829/a0a13f8ee12f4cf08ea90492ccb38999.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70]: /images/20220829/b14fb9c10e5941cb836a28ccc5503417.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220829/257d8eceff1f4a139d26fa52827571f5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70 1]: /images/20220829/b51487e414f0455a9bbc69b8ab91bcb3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70 2]: /images/20220829/492c2d8bceb9413a85f16aefb84c41d4.png