[Intensive Reading]目标检测(object detection)系列（三） Fast R-CNN：end-to-end的愉快训练

朴灿烈づ我的快乐病毒、 2022-06-06 10:15 116阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center]

**目标检测系列：**  
[目标检测(object detection)系列（一） R-CNN：CNN目标检测的开山之作][object detection_ R-CNN_CNN]  
[目标检测(object detection)系列（二） SPP-Net：让卷积计算可以共享][object detection_ SPP-Net]  
[目标检测(object detection)系列（三） Fast R-CNN：end-to-end的愉快训练][object detection_ Fast R-CNN_end-to-end]  
[目标检测(object detection)系列（四） Faster R-CNN：有RPN的Fast R-CNN][object detection_ Faster R-CNN_RPN_Fast R-CNN]  
[目标检测(object detection)系列（五） YOLO：目标检测的另一种打开方式][object detection_ YOLO]  
[目标检测(object detection)系列（六） SSD：兼顾效率和准确性][object detection_ SSD]  
[目标检测(object detection)系列（七） R-FCN：位置敏感的Faster R-CNN][object detection_ R-FCN_Faster R-CNN]  
[目标检测(object detection)系列（八） YOLOv2：更好，更快，更强][object detection_ YOLOv2]  
[目标检测(object detection)系列（九） YOLOv3：取百家所长成一家之言][object detection_ YOLOv3]  
[目标检测(object detection)系列（十） FPN：用特征金字塔引入多尺度][object detection_ FPN]  
[目标检测(object detection)系列（十一） RetinaNet：one-stage检测器巅峰之作][object detection_ RetinaNet_one-stage]  
[目标检测(object detection)系列（十二） CornerNet：anchor free的开端][object detection_ CornerNet_anchor free]  
[目标检测(object detection)系列（十三） CenterNet：no Anchor，no NMS][object detection_ CenterNet_no Anchor_no NMS]  
[目标检测(object detection)系列（十四）FCOS：用图像分割处理目标检测][object detection_FCOS]

**目标检测扩展系列：**  
[目标检测(object detection)扩展系列（一） Selective Search：选择性搜索算法][object detection_ Selective Search]  
[目标检测(object detection)扩展系列（二） OHEM：在线难例挖掘][object detection_ OHEM]  
[目标检测(object detection)扩展系列（三） Faster R-CNN，YOLO，SSD，YOLOv2，YOLOv3在损失函数上的区别][object detection_ Faster R-CNN_YOLO_SSD_YOLOv2_YOLOv3]

# 简介：end-to-end的愉快训练 #

在之前的两个文章中，我们分别介绍了R-CNN与SPP-Net，Fast R-CNN是结合结合了SPP-Net的共享卷积计算思想，对R-CNN做出改进。Fast R-CNN的论文是[《Fast R-CNN》][Fast R-CNN]，这是多么一个简单粗暴的论文题目。╮(￣▽ ￣)╭  
在上一篇中，SPP-Net解决了卷积共享计算的问题，但是SPP-Net依然不是一个可以end-to-end训练的网络，所以Fast R-CNN的提出就是为了解决这个问题。

# Fast R-CNN原理 #

## 设计理念 ##

为了实现end-to-end的训练问题，Fast R-CNN首先就要解决SPP梯度无法回传的问题，其次还要整合分类和边界框回归两个损失，所以相比于之前两种算法，Fast R-CNN提出了：

*  多任务损失函数（Multi-task loss）
 *  感兴趣区域池化（RoI pooling layer）

Fast R-CNN由以下几个部分组成：

*  ss算法
 *  CNN网络
 *  SoftMax分类
 *  bounding box回归

## 网络结构 ##

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MTQ0NzEzMDYz]  
上图是Fast R-CNN的整体结构，首先在SPP-Net与R-CCN一直使用的SVM分类器被换成了SoftMax，SPP-Net中的SPP换成了RoI pooling，多任务损失函数的引入整合了分类网络的损失函数与bounding box回归模型的损失函数，使任务不需要分阶段训练，区域建议依然使用ss算法生成，并在卷积后的特征图上提取（充分共享卷积计算），初始模型从AlexNet换成了VGG16。

## 感兴趣区域池化 ##

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MTQ1MDM3ODc2]  
上面这张图说明了SPP与RoI pooling的区别，其实RoI pooling是SPP的一种简化，原本SPP是一种多尺度的池化操作，最后将三个尺度的特征做串接作为全连接层的输入，而RoI pooling只选择了其中一种尺度，将ss算法的建议框做坐标变化后的尺寸的长和宽，平均分为w份和h份，在每一份中使用最大池化，最后产生w*h个bin，这样做有下面几个好处：  
1.统一输出维度，这个是必须的。  
2.相比于SPP-Net，RoI pooling的维度更少，假设RoI pooling选择了4*4的话，那么维度就可以从21个bin降低为16个，虽然这样看来降低的并不多，但是不要忘了特征还有厚度，如果厚度是256的话，那么降维就比较可观了。  
3.RoI pooling不再是多尺度的池化，这样一来梯度回传就会更方便，有利于Fast R-CNN实现end-to-end的训练。

## 感兴趣区域池化的梯度回传 ##

在上说提到了，RoI pooling是单层的SPP，也就是只用一层金字塔并在区域内做Max pooling，所以如何说在卷积层上提取特征的时候，特征的位置没有出现重叠，RoI pooling就是一个Max pooling，梯度回传也是一样的，而出现位置重叠的时候，梯度回传才会发生变化。  
那么先解释一下什么是重叠：  
我们知道Fast R-CNN的区域建议同样是ss算法生成的，那么一幅图片在生成多个建议框时（假设是2个）可能会出现一些像素重叠的情况，就像下面这样：

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MTczNzA1NjEz]

而这种情况就没有重叠：

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MTczNjUzOTMz]  
显然，重叠的区域经过相同的坐标变换之后在卷积特征图上同样是有重叠的，那么这部分重叠的像素梯度应该如何让计算呢？  
是多个区域的偏导之和：  
![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MTkxMjAzODAx]  
上图中有r0与r1两个区域，每个区域都通过RoI pooling之后生成4个bin，x23的意思是第23个像素，那么计算x23位置的梯度就可以根据上图中左侧的公式，其中r是包含有这一点的区域，j是某个区域内的所有位置。  
但是x23的梯度计算显然不需要r0，r1内的所有位置的梯度信息，它只需要包含x23这一点的，或者说是x23这一点有贡献的点的梯度，所以这里需要一个阈值函数—i\*(r,j)，它的作用就是如果需要RoI pooling后的这一点的梯度，那么i\*(r,j)=1，否则i\*(r,j)=0。

这样一来，RoI pooling层的梯度回传只需要在Max pooling上简单修改即可。

## 多任务损失函数 ##

Multi-task loss是Fast R-CNN最重要的改进了，它将分类模型的损失函数与bounding box模型的损失函数加到了一起，这样一来就不再需要分阶段的训练了，而是实现了end-to-end。  
**首先分类模型的loss**：

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MjE1NjI5NDgy]  
其中p是每个RoI的概率分布：  
![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MjIwMDQwODIy]  
而u是Ground truth的类别，显然u的范围为(0,…,k)  
显然，这就是损失函数一个**交叉熵**，只是它简写了，或者说换了一种形式。

**Bounding box回归模型的loss：**  
这个loss和R-CNN中的Bounding box的loss没啥区别，都是在用实际的边界框信息与ss算法给出的边界框信息构建一个L1距离。如下：  
![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MjIzMjAzNDY0]  
其中平滑方程的具体形式如下：  
![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA4MTEyOTU5ODI4]  
而平滑方程里面的东西，就和R-CNN一样了。最后，组合的多任务损失函数为：  
![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA4MTE0MjU3NTgz]  
这里有一个 \[ u ≥ 1 \] \[u\\geq 1\] \[u≥1\]它是一个指示函数，作用就是背景类不需要bounding box修正，也就没有回归loss。  
在处理边界框回归时，采用smooth L1 loss的原因是，在误差的绝对值大于1的时候，smooth L1是一个L1 loss，这样很大误差情况下，梯度也是一个常数，避免了梯度爆炸。并且，L1 loss是对于离群点、异常值(outliers)更不敏感，这增加了网络的鲁棒性。但是在误差比较小的时候，smooth L1是一个L2 loss，因为误差已经小于1了，梯度不会是个很大的值，但是如何还保持一个恒定的值的话，就不利于后续的调优。

## Fast R-CNN训练与测试 ##

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA4MTE0ODA1NDY5]  
上面这张图解释了Fast R-CNN的训练与测试过程，前面两部分说明了RoI pooling层的梯度回传与多任务损失函数的构建，所以Fast R-CNN的梯度可以一直传到卷积层，实现end-to-end的训练。  
此外，为了在训练时得到更好的效果，作者提出了一种mini-batch sampling方法，如果batch-size为128的话，那么这128个RoI由2张图片，各生产64个区域。并且，128个ROI中，正负样本的比例是1:3，即25%的目标ROI和75%的背景ROI。正例的判定条件是，[SS][]算法给出的区域建议与Ground Truth的IOU要大于等于0.5。负例的判定条件是IOU要在\[0.1,0.5)之间，这个IOU最小到了0.1是为了一种类似启发式的难例挖掘策略。  
![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA4MTE1NjE5MjE3]  
而Fast R-CNN的测试过程和之前没啥区别。

# Fast R-CNN性能评价 #

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA4MTE1NzUwMzI5]  
上面这张图对比了R-CNN，SPP-Net与Fast R-CNN的训练时间，单张图片的测试时间与mAP，可以看到由于Fast R-CNN可以end-to-end的训练，它的mAP比R-CNN还要高一些，这样就不会出现像SPP-Net那样mAP降低的情况，而在训练时间与测试时间上，又一次有了较大进步。  
那么为什么Fast R-CNN比SPP-Net更快呢，最重要的原因就是end-to-end的训练，这样训练不再是分阶段的。

# Fast R-CNN的问题 #

虽然上面那张图上写的，Fast R-CNN的单图测试时间为0.32s，但是其实这样说并不准确，0.32为了和R-CNN的47.0s做对比。是的Fast R-CNN依然没有脱离ss算法，但是ss算法跑一张图的时间，大概是2s，所以讲道理的话，Fast R-CNN依然是达不到实时检测的要求的，好在ss算法在Faster R-CNN中被换成RPN（区域建议网络），这个我们后面再说。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center]: /images/20220606/484b755e21d34517b0a16dcffaeba1eb.png
[object detection_ R-CNN_CNN]: http://blog.csdn.net/chaipp0607/article/details/78112861
[object detection_ SPP-Net]: http://blog.csdn.net/chaipp0607/article/details/78446708
[object detection_ Fast R-CNN_end-to-end]: http://blog.csdn.net/chaipp0607/article/details/78458883
[object detection_ Faster R-CNN_RPN_Fast R-CNN]: http://blog.csdn.net/chaipp0607/article/details/78492328
[object detection_ YOLO]: https://zhangxu.blog.csdn.net/article/details/78535113
[object detection_ SSD]: https://zhangxu.blog.csdn.net/article/details/98962500
[object detection_ R-FCN_Faster R-CNN]: http://blog.csdn.net/chaipp0607/article/details/78525483
[object detection_ YOLOv2]: https://zhangxu.blog.csdn.net/article/details/79318396
[object detection_ YOLOv3]: https://zhangxu.blog.csdn.net/article/details/99700184
[object detection_ FPN]: https://zhangxu.blog.csdn.net/article/details/99988305
[object detection_ RetinaNet_one-stage]: https://zhangxu.blog.csdn.net/article/details/100035827
[object detection_ CornerNet_anchor free]: https://blog.csdn.net/chaipp0607/article/details/100057803
[object detection_ CenterNet_no Anchor_no NMS]: https://blog.csdn.net/chaipp0607/article/details/106991047
[object detection_FCOS]: https://zhangxu.blog.csdn.net/article/details/106991074
[object detection_ Selective Search]: https://zhangxu.blog.csdn.net/article/details/99442318
[object detection_ OHEM]: https://zhangxu.blog.csdn.net/article/details/100564629
[object detection_ Faster R-CNN_YOLO_SSD_YOLOv2_YOLOv3]: https://zhangxu.blog.csdn.net/article/details/102094625
[Fast R-CNN]: https://arxiv.org/abs/1504.08083
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MTQ0NzEzMDYz]: /images/20220606/96c7e1b083814ad398452858549b981f.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MTQ1MDM3ODc2]: /images/20220606/b7813fbe6fae42a89a26d858484da7e1.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MTczNzA1NjEz]: /images/20220606/f9fb94c060784fe29152b32658c160d6.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MTczNjUzOTMz]: /images/20220606/9f28a39f04e74cd7b15d28aeeae9c206.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MTkxMjAzODAx]: /images/20220606/2898234c02cd4f088d311e205c4a5c2a.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MjE1NjI5NDgy]: /images/20220606/eb18549775cd4afaabe7fcf5968c547a.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MjIwMDQwODIy]: /images/20220606/1a9122b295af4af2ab371d7de28a1c9d.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA3MjIzMjAzNDY0]: /images/20220606/9c639fb82a6e44bf8336b71b95d2ce55.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA4MTEyOTU5ODI4]: /images/20220606/34041912eed841e59d5229dc2ea8d1b0.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA4MTE0MjU3NTgz]: /images/20220606/ddea8efe137b4bda92c06e649420affa.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA4MTE0ODA1NDY5]: /images/20220606/2acf3a9ad1b2408f87fd7dd2969ecad9.png
[SS]: https://blog.csdn.net/chaipp0607/article/details/99442318
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA4MTE1NjE5MjE3]: /images/20220606/6513892588e74ddf9c1d7da73af17be6.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMTA4MTE1NzUwMzI5]: /images/20220606/93c07fa624e944929069e1e1ae6f51d1.png