[Intensive Reading]目标检测(object detection)系列（五）YOLO：目标检测的另一种打开方式

妖狐艹你老母 2022-06-05 01:59 241阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center]

**目标检测系列：**  
[目标检测(object detection)系列（一） R-CNN：CNN目标检测的开山之作][object detection_ R-CNN_CNN]  
[目标检测(object detection)系列（二） SPP-Net：让卷积计算可以共享][object detection_ SPP-Net]  
[目标检测(object detection)系列（三） Fast R-CNN：end-to-end的愉快训练][object detection_ Fast R-CNN_end-to-end]  
[目标检测(object detection)系列（四） Faster R-CNN：有RPN的Fast R-CNN][object detection_ Faster R-CNN_RPN_Fast R-CNN]  
[目标检测(object detection)系列（五） YOLO：目标检测的另一种打开方式][object detection_ YOLO]  
[目标检测(object detection)系列（六） SSD：兼顾效率和准确性][object detection_ SSD]  
[目标检测(object detection)系列（七） R-FCN：位置敏感的Faster R-CNN][object detection_ R-FCN_Faster R-CNN]  
[目标检测(object detection)系列（八） YOLOv2：更好，更快，更强][object detection_ YOLOv2]  
[目标检测(object detection)系列（九） YOLOv3：取百家所长成一家之言][object detection_ YOLOv3]  
[目标检测(object detection)系列（十） FPN：用特征金字塔引入多尺度][object detection_ FPN]  
[目标检测(object detection)系列（十一） RetinaNet：one-stage检测器巅峰之作][object detection_ RetinaNet_one-stage]  
[目标检测(object detection)系列（十二） CornerNet：anchor free的开端][object detection_ CornerNet_anchor free]  
[目标检测(object detection)系列（十三） CenterNet：no Anchor，no NMS][object detection_ CenterNet_no Anchor_no NMS]  
[目标检测(object detection)系列（十四）FCOS：用图像分割处理目标检测][object detection_FCOS]

**目标检测扩展系列：**  
[目标检测(object detection)扩展系列（一） Selective Search：选择性搜索算法][object detection_ Selective Search]  
[目标检测(object detection)扩展系列（二） OHEM：在线难例挖掘][object detection_ OHEM]  
[目标检测(object detection)扩展系列（三） Faster R-CNN，YOLO，SSD，YOLOv2，YOLOv3在损失函数上的区别][object detection_ Faster R-CNN_YOLO_SSD_YOLOv2_YOLOv3]

# 前言：目标检测的另一种打开方式 #

从时间轴上看，YOLO（YOLO v1）的提出在[R-CNN][object detection_ R-CNN_CNN]，[SPP-Net][object detection_ SPP-Net]，[Fast R-CNN][object detection_ Fast R-CNN_end-to-end]和[Faster R-CNN][object detection_ Faster R-CNN_RPN_Fast R-CNN]之后，论文是[《You Only Look Once: Unified, Real-Time Object Detection》][You Only Look Once_ Unified_ Real-Time Object Detection]，从某种意义上说，YOLO的提出，从另一各方面定义了基于CNN的目标检测任务的基本方法。  
通过前面几篇文章，我们知道R-CNN，SPP-Net，Fast R-CNN和Faster R-CNN这四个方法都没有离开一个东西，那就是区域建议（Region Proposal），它们中前三个在用SS算法，Faster R-CNN在用RPN网络。不管形式怎么变，它们都需要产生若干个区域建议框，这些框中存在潜在目标，而后面的任务就是判断框中到底是什么（分类），然后修正这些框（回归）。区域建议的生成工作是第一个阶段，后面的处理是第二个阶段，所以我们把R-CNN形式的目标检测方法称为two-stage。  
two-stage的方式实现上其实是有些冗余的，比如RPN做了两件事：  
1.1 给出若干个区域建议框；  
1.2 给出这个区域建议框内是不是有目标的二分类结果，两个类别的置信度。  
RPN之后的网络，又做了两件事：  
2.1 回归矫正这个框，让他更接近ground truth；  
2.2 对框里的目标，具体确定其类别。  
这里有一个很有意思的地方，1.1和2.1都是在做四个值的回归，而2.1和2.2都是在做分类，那么它们一定要分成两步才能完成吗？  
显然不是这样，YOLO就把它们整合到了一起，一步完成了目标类别的确定和bbox框的回归任务，所以我们把YOLO称为是one-stage的方法。下面我们具体看下YOLO是如何实现的。

# YOLO实现 #

## 实现思路 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]  
对于一个待检测的图像，YOLO会将其平均分成 k × k k\\times k k×k个格子（grid cell），显然这些格子会铺满整个图像，如果图像某个 目标的中心落在这个格子中，则这个网格就负责预测这个目标。这样一来，目标的类别就确定了，那么对于目标检测任务，还剩下一个bbox框，所以每个格子要预测 B 个 bounding box，每个 bounding box 除了要回归自身的位置（bbox框，四个点）之外，还要附带预测一个 confidence 值。 confidence表示当前这个bounding box里的东西，是物体的置信度。  
听起来可能有些混乱，我们从网络输出的角度捋一下，格子有 k × k k\\times k k×k个，每个格子都要出B个 bounding box， bounding box就有 k × k × B k\\times k \\times B k×k×B个，每个bounding box要有4个值表示边界，还要有1个值表示confidence，所以就应该有 k × k × B × ( 4 + 1 ) k\\times k \\times B \\times \\left(4+1\\right) k×k×B×(4\+1)个数，但是还没有结束，对于多目标检测任务，还有一个目标的类别，假设有C类，每一个格子负责一个类别，那么输出应该是 k × k × C k\\times k \\times C k×k×C，我们把上面两个式子合并下，就应该是：  
 N o = k × k × ( B × ( 4 + 1 ) + C ) N\_\{o\} = k\\times k \\times \\left(B\\times \\left(4+1\\right) + C\\right) No=k×k×(B×(4\+1)\+C)  
有了这些输出，YOLO就可以完成目标检测这件事了，当然最后它需要一个阈值，确定最后要留下来的框和目标类别。  
那么YOLO具体怎么得到的这些结果呢？我们看下它的网络结构。

## YOLO网络结构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]  
上面这个东西，就是YOLO的前向推理结构，首先一个尺寸为 448 × 448 × 3 448\\times448\\times3 448×448×3的输入图像，要经过一系列的卷积和全连接层，这个很好理解，最后一层全连接之后的输出 1470 × 1 1470\\times1 1470×1，后面的东西就值得关注了，它做了个reshape，shape是 7 × 7 × 30 7\\times7\\times30 7×7×30，因为做的是reshape，所以显然这两个数是相等的。那么为啥偏偏是这个形状呢？  
这里面的 7 × 7 7\\times7 7×7，就刚好对应了上一部分中的格子（grid cell），我们一直提到的格子，其实就是特征图上的一个点，又因为平均分布的，映射到原图之后，它就是一个格子。为了后面带公式方便，这里说明下 k = 7 k=7 k=7。  
剩下的30是 5 + 5 + 20 5+5+20 5\+5\+20的形式，也就是 5 × 2 + 20 5\\times2+20 5×2\+20，那么B和C自然就出来了，分别是 B = 2 B=2 B=2， C = 20 C=20 C=20。  
上图中也对5这个数做了说明，1-4表征bbox框，5表示confidence，需要说明的一点是这个框的表征方式，不管是 ( l e f t , t o p , r i g h t , b o t t o m ) (left,top,right,bottom) (left,top,right,bottom)还是 ( l e f t , t o p , w i d t h , h e i g h t ) (left,top,width,height) (left,top,width,height)，要表示一个矩形，总是需要四个数，但是YOLO这两种都没有用，主要是为了后面计算loss。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 2]  
特别说明，上图来自[《YOLO文章详细解读》][YOLO]

*   ( x , y ) (x,y) (x,y)是bbox的中心相对于单元格的offset

对于上图中蓝色框对应的格子(坐标为 ( x c o l = 1 , y r o w = 4 ) (x\_\{col\}=1,y\_\{row\}=4) (xcol=1,yrow=4))，假设它预测的输出是红色框的bbox,设bbox的中心坐标为 ( x c , y c ) (x\_c,y\_c) (xc,yc),那么最终预测出来的 ( x , y ) (x,y) (x,y)是经过归一化处理的，表示的是中心相对于单元格的offset，计算公式如下。其中 k k k是格子的数量， w i m g w\_\{img\} wimg和 h i m g h\_\{img\} himg是图片的宽高。  
 x = x c w i m g k − x c o l x= \\frac\{x\_\{c\}\}\{w\_\{img\}\}k-x\_\{col\} x=wimgxck−xcol  
 y = y c h i m g k − y r o w y= \\frac\{y\_\{c\}\}\{h\_\{img\}\}k-y\_\{row\} y=himgyck−yrow

*   ( w , h ) (w,h) (w,h)是bbox相对于整个图片的比例，做了归一化。  
     w = w b w i m g w= \\frac\{w\_\{b\}\}\{w\_\{img\}\} w=wimgwb  
     h = h b h i m g h= \\frac\{h\_\{b\}\}\{h\_\{img\}\} h=himghb

bbox的中心坐标 ( x c , y c ) (x\_c,y\_c) (xc,yc)，以及与格子的offsets，这些设计都在对应之前提到的“如果图像某个目标的中心落在这个格子中，则这个网格就负责预测这个目标”。也就是说YOLO涉及到类别的预测，只与格子有关，与框无关。  
至此，YOLO的前向推理过程就说完了。

## YOLO与RPN ##

我们在前言中提到了RPN，这在里就会发现，YOLO和RPN其实很像。  
YOLO在最后reshape出来的特征图上输出bbox，类别和confidence，RPN在最后一层卷积特征图上输出bbox和有没有物体的二分类置信度。  
只不过YOLO要一次性直接输出结果，所以置信度上不仅仅是有没有物体，还要加上这个bbox与ground truth的IOU：  
 P c o n = P r ( O b j e c t ) × I O U p t P\_\{con\}=P\_\{r\}(Object) \\times IOU\_\{p\}^\{t\} Pcon=Pr(Object)×IOUpt  
同样的，YOLO的最后一层输出也不得不加上物体的类别。  
YOLO这样设计之后，速度会很快，但是同样也带来了很多问题：

*  RPN生成1000多个区域建议，哪怕择优选择之后还能剩下300多个，这些区域建议经过ROIPooling之后都会去做“类别”的判断，而YOLO只在每个格子上做类别的判断，只有49个，即便算上每个格子输出2个bbox，一张图也仅仅98个预测，如果图中的物体多了，这显然是不够的，很容易造成误检。
 *  YOLO的bbox都在同一层上输出，它们的感受野是相同的，所以YOLO很难去适应各种目标的尺度变化。
 *  小目标经过多次下采样之后，在最后的特征图上就会变得很小，所以YOLO的小目标的检测效果很不好（当然这是个通病）。
 *  YOLO的bbox是没有二次矫正的，所以IOU效果也会变成。  
    由于上面几个原因，YOLO的效果在比当时的state-of-the-art差很多，但是这不重要，因为YOLO用另一种方式，打开了目标检测。

## YOLO损失函数 ##

YOLO的损失函数有三个，分别是bbox的误差损失，confidence损失和类别损失。

*  bbox损失中，如果确定了一个bbox要负责预测，那么要分别计算中心点、宽高与ground truth的L2距离，由于小目标的小偏差造成的损失可能会比大目标的大偏差还要大，所以宽高分别加了根号。
 *  confidence损失也由两部分组成，因为如果格子中没有目标，那么这部分会变成0，这样会造成损失变化过大，所以部分选择乘上了系数 λ n o o b j \\lambda\_\{noobj\} λnoobj；
 *  最后格子有目标时，要做类别的损失。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 3]  
    特别说明，上图来自[《YOLO文章详细解读》][YOLO]

# YOLO性能评价 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 4]  
我们只关注红框的就好了，DPM现在被比较已经没什么意义了，而Fast R-CNN还带着SS算法。

*  YOLO和Faster R-CNN用同样的VGG16主干网络，FPS要快3倍，但是mAP下降了7个点
 *  YOLO可以做到实时检测的网络，mAP下降的更多，只有63.4，但是FPS达到了45

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center]: /images/20220605/24ef5839bc794743ab2e1a8c790eda33.png
[object detection_ R-CNN_CNN]: http://blog.csdn.net/chaipp0607/article/details/78112861
[object detection_ SPP-Net]: http://blog.csdn.net/chaipp0607/article/details/78446708
[object detection_ Fast R-CNN_end-to-end]: http://blog.csdn.net/chaipp0607/article/details/78458883
[object detection_ Faster R-CNN_RPN_Fast R-CNN]: http://blog.csdn.net/chaipp0607/article/details/78492328
[object detection_ YOLO]: https://zhangxu.blog.csdn.net/article/details/78535113
[object detection_ SSD]: https://zhangxu.blog.csdn.net/article/details/98962500
[object detection_ R-FCN_Faster R-CNN]: http://blog.csdn.net/chaipp0607/article/details/78525483
[object detection_ YOLOv2]: https://zhangxu.blog.csdn.net/article/details/79318396
[object detection_ YOLOv3]: https://zhangxu.blog.csdn.net/article/details/99700184
[object detection_ FPN]: https://zhangxu.blog.csdn.net/article/details/99988305
[object detection_ RetinaNet_one-stage]: https://zhangxu.blog.csdn.net/article/details/100035827
[object detection_ CornerNet_anchor free]: https://blog.csdn.net/chaipp0607/article/details/100057803
[object detection_ CenterNet_no Anchor_no NMS]: https://blog.csdn.net/chaipp0607/article/details/106991047
[object detection_FCOS]: https://zhangxu.blog.csdn.net/article/details/106991074
[object detection_ Selective Search]: https://zhangxu.blog.csdn.net/article/details/99442318
[object detection_ OHEM]: https://zhangxu.blog.csdn.net/article/details/100564629
[object detection_ Faster R-CNN_YOLO_SSD_YOLOv2_YOLOv3]: https://zhangxu.blog.csdn.net/article/details/102094625
[You Only Look Once_ Unified_ Real-Time Object Detection]: https://arxiv.org/abs/1506.02640
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]: /images/20220605/ac0dd0cd906f4e36a818c7ea234070f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]: /images/20220605/fcc3745ee4c14dbd931603360fc8e5d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 2]: /images/20220605/931c4c1db8f0492796f5e8a2b1a76d52.png
[YOLO]: https://www.jianshu.com/p/13ec2aa50c12
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 3]: /images/20220605/bea9e1cf74df40499a8d9238d81814d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 4]: /images/20220605/ba8db66aa7d4406f8437ffabee36287c.png