目标检测：Faster-RCNN与YOLO V3模型的对比分析

淩亂°似流年 2022-11-26 09:52 380阅读 0赞

## 1 目标检测的背景 ##

作为机器视觉领域的核心问题之一,目标检测的任务是找出图像中所有的目标（物体），并确定它们的位置和大小。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题。因此，从本质上来说，目标检测包含两个主要任务：物体图像的识别和物体在图像中的定位。目前，目标检测主要应用于行人检测、车辆检测、人脸识别、医疗图像检测等。  
目标检测的核心问题可以总结为三点：1）图像中物体类别的区分；2）目标在图像中位置的确定；3）目标大小形状变化的考虑。按照算法是否需要中间产生候选区域(region proposals)，目前的目标检测算法可以大致分为两类，即two-stage与one-stage；之前还有multi-stage系列的算法，不过由于速度和准确度上的差距，已经很少被使用。  
two-stage检测算法将检测问题划分为两个阶段，首先产生候选区域，然后对位置精修后进行候选区域分类。two-stage检测算法识别错误率低，漏识别率也较低，但速度较慢，不能满足实时检测场景，比如视频目标检测中。  
one-stage检测算法不需要产生候选区域阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，但是一般识别精度和准确度上比two-stage的算法要差一些。  
按照上述对于算法的分类，主流的two-stage与one-stage目标检测算法如表所示。

<table> 
 <thead> 
  <tr> 
   <th>One-stage算法</th> 
   <th>Two-stage算法</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>YOLO V1、YOLO V2、YOLO V3</td> 
   <td>Fast R-CNN、Faster R-CNN</td> 
  </tr> 
  <tr> 
   <td>G-CNN</td> 
   <td>HyperNet、MS-CNN、PVANet</td> 
  </tr> 
  <tr> 
   <td>R-SSD、DSSD、DSOD、FSSD</td> 
   <td>MR-CNN、FPN、CRAFT</td> 
  </tr> 
  <tr> 
   <td>RON</td> 
   <td>CoupleNet、Mask R-CNN</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>OHEM、Soft-NMS</td> 
  </tr> 
 </tbody> 
</table>

## 2 所用Faster-RCNN与YOLO V3模型结构 ##

针对上述两个系列two-stage与one-stage算法，分别选取其代表性的目标检测算法Faster-RCNN与YOLO V3，下面分别对两个算法的原理进行一个简单的介绍，并会介绍一下实际采用的Faster-RCNN与YOLO V3的一些结构和特点。  
Faster-RCNN是two-stage检测算法的重要组成，其后续的很多改进目标检测算法也保留了Faster-RCNN的一些特点。网络结构如图，与标准的Faster-RCNN模型一样，也包括4个大的组成部分，分别是用于提取图像特征的VGG16卷积层、生成候选区域的RPN网络层、收集feature maps和proposals的Roi 池化层以及最后用于图像分类和计算bounding box回归的分类层。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ4MzM4MQ_size_16_color_FFFFFF_t_70]  
YOLO V3是第三代的YOLO目标检测算法，是对于前两代YOLO算法的革新。针对YOLO V1与V2的对于小目标物体检测识别率低的问题，YOLO V3以牺牲小部分的运行时间为代价，换来了检测准确率很大的提升。在YOLO V3中主要采用了三个改进：1）使用多级预测解决颗粒度粗，对小目标无力的问题。YOLO V3具有3个detection，分别是1个下采样的、feature map为13 \* 13的，还有2个上采样的eltwise sum，feature map为26\*26，52\*52的。2）使用了logistic loss函数作为新的损失函数，使得YOLO V3可以对重叠区域进行分类和框选。3）网络结构进行了加深，使用简化的residual block 取代了原来 1×1 和 3×3的blockblock，并将原来的darknet-19变成了darknet-53。本次也是采用了这样的模型结构。

## 3 设置与结果 ##

围绕Faster-RCNN和YOLO V3两个数据集展开，都使用VOC数据集对两种模型进行训练，并比较其在测试集上的表现程度，其中Faster-RCNN使用的VGG16模型权重进行的初始化，YOLO V3使用的darknet53模型权重进行初始化。由于计算资源有限（MX150 显卡），无法对于VOC数据集进行充分的训练，训练不完全的模型也无法代表其模型真实能力，因此使用已经训练好的模型对其在VOC2007测试集上的表现进行评估，结果如表所示。

<table> 
 <thead> 
  <tr> 
   <th>目标检测模型</th> 
   <th>mAP</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Faster-RCNN</td> 
   <td>0.705</td> 
  </tr> 
  <tr> 
   <td>YOLO V3</td> 
   <td>0.858</td> 
  </tr> 
 </tbody> 
</table>

从mAP值角度，Faster-RCNN在VOC测试集上的表现不如YOLO V3。为了更好地探索和研究两种算法对于目标检测任务的效果，本次针对实际的一些图片，对于这两种模型的目标检测效果进行直观比较，两种模型的检测结果如图所示，其中左边代表示Faster-RCNN结果，右边代表YOLO V3结果。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ4MzM4MQ_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ4MzM4MQ_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ4MzM4MQ_size_16_color_FFFFFF_t_70 3]

## 4 代码 ##

由于两个模型都是源于多年前的论文，pytorch架构没有将其进行集成，因此需要从头开始自己搭建和调试，所以代码比较庞大，放到了github上：  
[YOLO V3][]  
[Faster-RCNN][]  
源码在windows10 + python3.7的环境下可以运行，默认是GPU pytorch，但是需要下载一些第三方库，可以直接运行。

## 5 总结 ##

总的来说，本次实验获得了以下两点结论：  
1）YOLO V3算法相比于V1 与V2确实有了很大的改进，尤其是在小物体检测以及重叠物体检测方面，具有了很大的突破，但是其泛化能力可能会过强。  
2）One-stage算法由其算法结构决定了其准确率一般会低于two-stage算法，但是一般这两者之间的准确率差距不会太大，而YOLO等one-stage算法凭借其更快的前向传播速度，使其应用可能会更加广泛。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ4MzM4MQ_size_16_color_FFFFFF_t_70]: /images/20221124/7cd06338446a4c77a7f89e92d094dfce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ4MzM4MQ_size_16_color_FFFFFF_t_70 1]: /images/20221124/bed3dedc7ebc4dbba38149808872c79c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ4MzM4MQ_size_16_color_FFFFFF_t_70 2]: /images/20221124/8216f68ddf194cceb0901de42b4cb7fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ4MzM4MQ_size_16_color_FFFFFF_t_70 3]: /images/20221124/5a87fff3b9064d24a23c5d897ea6858a.png
[YOLO V3]: https://github.com/MISTCARRYYOU/ObjectDetectCode-of-YOLO-V3
[Faster-RCNN]: https://github.com/MISTCARRYYOU/ObjectDectectcode-of-FasterRCNN