目标检测 YOLO 系列：持续改进 YOLO v3

比眉伴天荒 2022-08-29 09:44 194阅读 0赞

# 目标检测 YOLO 系列： 持续改进 YOLO v3 #

*  [目标检测 YOLO 系列： 开篇][YOLO _]
 *  [目标检测 YOLO 系列： 开宗立派 YOLO v1][YOLO _ _ YOLO v1]
 *  [目标检测 YOLO 系列： 更快更准 YOLO v2][YOLO _ _ YOLO v2]
 *  [目标检测 YOLO 系列： 持续改进 YOLO v3][YOLO _ _ YOLO v3]
 *  [目标检测 YOLO 系列： 你有我有 YOLO v4][YOLO _ _ YOLO v4]
 *  [目标检测 YOLO 系列： 快速迭代 YOLO v5][YOLO _ _ YOLO v5]
 *  [目标检测 YOLO 系列：你有我无 YOLOX][YOLO _ YOLOX]

作者：Joseph Redmon, Ali Farhadi  
发表时间：2018  
Paper 原文： [YOLOv3: An Incremental Improvement][YOLOv3_ An Incremental Improvement]（严格来说，这并非是一篇学术论文，因为没有正式发表，作者行文也比较潇洒）

YOLO v3 最大的特点是**精度不错**，但是**速度飞快**，并且对**小目标**的效果也有提升。320x320 YOLO v3 精度和 SSD321 差不多，但是速度是 SSD321 的三倍。凭借卓越的性能，YOLO v3 在工业界备受欢迎。

## 1 网络结构 ##

在 v3 中，作者又提出了新的 backbone——Darknet-53，这个网络比 Darknet-19 要厉害的多，当然也更大，但是相比 Resnet101 或者 Restnet152 要更高效。更多关于 Darknet-53 的内容请参考[CV 经典主干网络 (Backbone) 系列: Darknet-53][CV _ _Backbone_ _ Darknet-53]。

完整的 v3 结构可以参考下面两张图片。v3 最大的区别是网络有三个不同尺度的输出(13x13，26x26 & 52x52)。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70_pic_center]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70_pic_center 1]

整个网络的结构也还是比较清晰，这里有用到 “Up Sampling” 层，上采样的方法很多，其实 darknet 中用的就是最简单的最近邻插值。源代码如下(摘自 darknet 源码 blas.c)。

void upsample_cpu(float *in, int w, int h, int c, int batch, int stride, int forward, float scale, float *out)
    {
        int i, j, k, b;
        for(b = 0; b < batch; ++b){
            for(k = 0; k < c; ++k){
                for(j = 0; j < h*stride; ++j){
                    for(i = 0; i < w*stride; ++i){
                        int in_index = b*w*h*c + k*w*h + (j/stride)*w + i/stride;
                        int out_index = b*w*h*c*stride*stride + k*w*h*stride*stride + j*w*stride + i;
                        if(forward) out[out_index] = scale*in[in_index];
                        else in[in_index] += scale*out[out_index];
                    }
                }
            }
        }
    }

## 2 网络原理 ##

这里主要介绍 V3 输出部分的改进。

作者在训练模型之前，在 COCO 数据集上通过聚类得到了 9 个 prior box 尺寸 ((10x13)，(16x30)，(33x23)，(30x61)，(62x45)，(59x119)，(116x90)，(156x198)，(373x326))，至于这 9 个 prior box 要怎么用，且往下看。

从下图（来自参考1）可以清楚看到 v3 的工作流程，输入一张图片(416x416x3)，最后得到三种不同尺度的 feature map(52x52, 26x26, 13x13)。在这里我们以 13x13 的 tensor 为例，原始输入图像会被分割成 13x13 的 grid cell，每个 grid cell 对应着 3D tensor 中的1x1x255 这样一个长条形 voxel。255 这个数字来源于 (3x(4+1+80))，其中的数字代表 bounding box 的坐标，物体识别度（objectness score），以及相对应的每个class的confidence，具体释义见下图。

v3 中直接在三个不同的尺度上进行检测(类似FPN)，通常较浅的层目标的位置信息更准确，而较深的层语义信息更准确。相比 v2 中采用 shortcut 的方式，这种多尺度的方式更为直接，这也是 v3 对小目标有更好检测效果的原因。

作者把 9 个 prior box 分配到 3 个不同尺度的 feature map 上，显然越小的 feature map 具有更大的感受野，适合用来检测较大的目标，而较大的 feature map 用来检查较小的目标。具体来说就是对于 52x52 的 feature map 对应 (10x13)，(16x30)，(33x23) 的 prior box，而 13x13 的 feature map 对应 (116x90)，(156x198)，(373x326) 的 prior box。 另外需要注意的是， prior box 的尺寸是在 416x416 分辨率下计算得到的，所以具体使用时需要换算到相应的分辨率下，比如对于 13x13 的 prior box 来说，就需要除于 32。

![在这里插入图片描述][a27d661598f5468094c7b690f389c186.jpg_pic_center]

训练时，如果训练集中某一个 ground truth 对应的 bounding box 中心恰好落在了输入图像的某一个 grid cell 中（如图中的红色 grid cell），那么这个 grid cell 就负责预测此物体的bounding box，于是这个 grid cell 所对应的 objectness score 就被赋予 1，其余的 grid cell 则为 0。此外，每个 grid cell 还被赋予 3 个不同大小的 prior box 。在学习过程中，这个 grid cell 会逐渐学会如何选择哪个大小的prior box，以及对这个 prior box 进行微调（即 offset/coordinate）。但是 grid cell 是如何知道该选取哪个 prior box 呢？在这里作者定义了一个规则，即只选取与 ground truth bounding box 的 IOU 重合度最高的哪个 prior box。

## 4 性能 ##

*  和 V2 相比，速度上有一定下降（Titan X 上， V2 416x416 可以达到 67 FPS，而 V3 416x416 只有 33 FPS），但是精度要好。总的来说，速度上 V2 > V3 > V1， 效果上 V3 > V2 > V1。
 *  和 SSD321 相比，精度差不多，但是 V3 的速度是其 3 倍。

## 参考 ##

*  [近距离观察YOLOv3][YOLOv3]

[YOLO _]: https://blog.csdn.net/kuweicai/article/details/119296511
[YOLO _ _ YOLO v1]: https://blog.csdn.net/kuweicai/article/details/119296523
[YOLO _ _ YOLO v2]: https://blog.csdn.net/kuweicai/article/details/119296591
[YOLO _ _ YOLO v3]: https://blog.csdn.net/kuweicai/article/details/119296623
[YOLO _ _ YOLO v4]: https://blog.csdn.net/kuweicai/article/details/119296642
[YOLO _ _ YOLO v5]: https://blog.csdn.net/kuweicai/article/details/119296670
[YOLO _ YOLOX]: https://blog.csdn.net/kuweicai/article/details/119712186
[YOLOv3_ An Incremental Improvement]: https://arxiv.org/pdf/1804.02767.pdf
[CV _ _Backbone_ _ Darknet-53]: https://blog.csdn.net/kuweicai/article/details/115028173
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70_pic_center]: /images/20220829/95cc4108ec8f4f59984bdc8f1fb1c8e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220829/755de6f5a0214c5aab6940dffbd33721.png
[a27d661598f5468094c7b690f389c186.jpg_pic_center]: /images/20220829/aae7c50508484ef3a34a6b0391ac4dd0.png
[YOLOv3]: https://zhuanlan.zhihu.com/p/40332004