[图解]小白都能看懂的FASTER R-CNN – 原理和实现细节

以你之姓@ 2022-09-11 13:28 222阅读 0赞

Contents \[[hide][]\]

*  [1 论文原文][1]
 *  [2 介绍][2]
 *  [3 Anchors][]
    
     *  [3.1 如何确定一个anchor是正样本还是负样本？][3.1 _anchor]
 *  [4 实现细节][4]
 *  [5 调试信息][5]
 *  [6 参考资料][6]

论文原文

[Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks][Faster R-CNN_ Towards Real-Time Object Detection with Region Proposal Networks]

介绍

![169456464f75fa986623b7c87fe9c6db.png][]

`Faster RCNN`由Ross B. Girshick在2016年提出，是`RCNN`系列的延续和经典版本。由于图像中的目标数量和位置并不确定，卷积神经网络本身是难以处理检测这样的问题的。

为了解决这个问题，Faster RCNN使用`Anchor`和分类器将原本的检测任务巧妙地转换成了卷积神经网络善于处理的分类和回归任务。数以万计事先指定好位置和大小的Anchor在图像上滑动，由一个RPN (Region Proposal Network) 来判断每个`Anchor`中是否有物体，这样就将不确定数量的目标检测问题变成了一个确定的几万个子区域的二分类问题。

RPN网络接收的输入是图像经过backbone(如resnet50)的特征图，根据事先指定好的`Anchor`，输出这些`Anchor`中有物体的概率，要注意`RPN`只能够区分有没有物体，而无法知道物体具体是什么类别的，这也是两阶段检测器的特性。

![d5afd602873aec56f2d8974414c973b8.gif][]

(上图为Anchor在图片中滑动)

由于`Anchor`的大小是事先指定的，可能并不完全与目标的位置重合，因此`RPN`还有另外一项重要的任务：给输出的检测框做回归，修正Anchor的位置。最终RPN的输出结果是这样的：(为了便于演示省略了很多概率为0的区域)

![c179f1a8fcf7c8e77eb920a531b7943f.gif][]

在论文中，RPN网络为CNN后面接一个3×3的卷积层，再接两个并列的(sibling)1×1的卷积层，其中一个是用来给softmax层进行分类(2分类，有物体还是没有物体)，另一个用于给候选区域精确定位(框位置的偏移)。

Anchors

Anchors是一些预设大小的框，论文中Anchors的面积有三种 `ANCHOR_AREAS = [128**2,256**2,512**2]`, 长宽比也有三种 `ANCHOR_RATIOS = [0.5,1,2]`，所以一共有9种大小的Anchors，即k=9。Anchors的大小如下图所示：

![0018dfd935ed3a571ac60038324abf1c.png][]

写成坐标的形式为：

原文中`Anchors`的`stride`为16，也就是`Anchor`以**步长16**在原图中滑动。对于一张`1000*600`的图像，总共大约有`20000`个anchors(≈60×40×9)，如果忽略越过图像边界的anchor，在训练时每张图像总共有约`6000`个anchor。

一张图片中有这么多的`Anchor`，一次全部训练是不太现实的，这相当于`6000`张小图像的二分类问题在一个`batch`中完成，（当然你要是有几百个G的显存可以忽略）。另外，这些`Anchor`的正负样本也是不均匀的，大部分的`Anchor`都是没有物体的背景，如果同时训练可能会造成偏差。

解决这两个问题的方法是每次只随机选取一部分`Anchor`进行训练，在原论文中，每次在所有的`Anchor`中随机选取`256`个，并让它们尽量保持正样本和负样本为`1:1`，这个参数可以看成是每张图片的`batch_size`，在程序中也一般命名为`batch_size_per_image`。

如何确定一个anchor是正样本还是负样本？

一个anchor如果满足以下两个条件之一的被认为是**正样本**：  
　　(i) 这个anchor和ground truth的方框有着最大的[IoU][]重叠。  
　　(ii) 这个anchor和ground truth的方框有**超过0.7**的[IoU][]重叠。

![04b2610640d4c7282c1fc2f576c25070.png][]

一个anchor如果满足以下条件的被认为是**负样本**：  
　　(i) 这个anchor和ground truth的方框的IoU重叠**小于0.3**。

![3461289f15e8908a02fe617040745966.png][]

**既不是正样本也不是负样本的anchor在训练中不被使用。**

实现细节

1.所有输入图像都被缩放成**短边600像素**(长边不超过1000像素)。  
　　假设输入图像尺寸为354(宽)×480，会被缩放为600×814，(记为image\_scale)，然后按照\[batch, height, width, channel\]即\[1, 814, 600, 3\]的尺寸输入网络。

2.对于vgg16网络，输入图像会被映射成512维的特征图。  
　　由vgg网络的代码(conv5层之前)：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 &nbsp; 9 10 11 12 &nbsp; 13 14 15 </td> 
 <td> net = slim.repeat(self._image, 2, slim.conv2d, 64, [3, 3], &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;trainable=False, scope='conv1') net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool1') &nbsp; net = slim.repeat(net, 2, slim.conv2d, 128, [3, 3], &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;trainable=False, scope='conv2') net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool2') net = slim.repeat(net, 3, slim.conv2d, 256, [3, 3], &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;trainable=is_training, scope='conv3') net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool3') net = slim.repeat(net, 3, slim.conv2d, 512, [3, 3], &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;trainable=is_training, scope='conv4') net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool4') net = slim.repeat(net, 3, slim.conv2d, 512, [3, 3], &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;trainable=is_training, scope='conv5') </td> 
 </tr> 
 </tbody> 
</table>

image\_scale经过了4个池化层(卷积层由于有padding不会改变feature maps长和宽)，所以得到的feature maps的尺寸为image\_scale的*1/16*，也就是\[1, 51, 38, 512\]。

3.Anchors的个数为**51×38×9**(已知k=9)。  
　　因此rpn网络**分类**的输出尺寸为\[1, 51, 38, 18\]，其中后一半\[:, :, :, 9:\]表示正样本的概率，前一半\[:, :, :, :9\]表示负样本的概率。  
　　而矩形框偏移**回归**的输出尺寸为\[1, 51, 38, 36\]，(36=9×4)，每个proposed region的4个参数是输出的矩形框(roi)相对于anchor进行平移缩放的4个系数。  
　　rpn网络最终输出的矩形框位置是**anchor的位置**和**偏移位置**计算出来的，具体计算方式见参考资料。  
　　由于roi网络输出的方框很多(51×38×9≈17000个)，原文中的做法是先clip\_boxes，即去掉与边界交叉的方框(剩下5000个左右的anchor)，然后使用非极大值抑制(NMS)来去掉重叠的方框，最终只保留2000或300个方框(取决于训练还是测试)。  
　　[非极大值抑制(NMS)的原理][NMS]：

![71bd6ffee30a40ac95ae421b1eacd2a3.png][]

用普通话翻译一下非极大值抑制就是：**不是局部的最大值的那些值都滚蛋**  
　　由于score越大越接近期待值，因此将与score最大的方框IoU>0.7的都去除。

4.ROI pooling的详细过程。

由于分类器的输入尺寸需要是统一的，但是`RPN`给出的检测框大小并不相同，因此需要ROI pooling的操作。

将rpn输出的300个**大小不同**的方框从feature maps上对应的位置裁剪(crop)下来，然后缩放(resize)成14×14大小，这时候所有的方框可以表示为尺寸为\[300, 14, 14, 512\]的张量，再使用一个2×2的max\_pool，得到的roi\_pooling的结果尺寸为\[300, 7, 7, 512\]。

５.测试的详细过程。  
　　测试过程中，输入的图像经过预测模型会输出\[300 21\]的分值以及\[300 84\]的方框位置。(设置网络保留300个方框，需要预测的种类为20类(pascal voc)，加上背景一类)。  
　　然后设定一个得分的阈值(比如0.95)，大于该阈值的方框会被保留。如下图所示：

![2e6594824107f4308daa148392a73dc3.png][]

最后再使用一次NMS，对于多个重合的方框只保留一个。结果如下图所示：

![496d849e2f6154d8647bf7ddd639643c.png][]

调试信息

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> _image shape: (1, 814, 600, 3) feature_maps shape: [&nbsp;&nbsp;1&nbsp;&nbsp;51&nbsp;&nbsp;38 512] rpn_cls_score shape: [ 1 51 38 18]&nbsp;&nbsp;# 2k=18 rpn_bbox_pred shape: [ 1 51 38 36]&nbsp;&nbsp;# 4k=36 rois shape: [300&nbsp;&nbsp; 5]&nbsp;&nbsp;# [:,0]全是0 roi_pooling shape: [300&nbsp;&nbsp; 7&nbsp;&nbsp; 7 512] cls_prob shape: [300&nbsp;&nbsp;21] bbox_pred shape: [300&nbsp;&nbsp;84] </td> 
 </tr> 
 </tbody> 
</table>

参考资料

[GitHub - endernewton/tf-faster-rcnn: Tensorflow Faster RCNN for Object Detection][GitHub - endernewton_tf-faster-rcnn_ Tensorflow Faster RCNN for Object Detection]  
　　[https://web.cs.hacettepe.edu.tr/~aykut/classes/spring2016/bil722/slides/w05-FasterR-CNN.pdf][https_web.cs.hacettepe.edu.tr_aykut_classes_spring2016_bil722_slides_w05-FasterR-CNN.pdf]  
　　[一文读懂Faster RCNN - 知乎][Faster RCNN -]

[hide]: http://www.xyu.ink/1920.html#
[1]: http://www.xyu.ink/1920.html#i
[2]: http://www.xyu.ink/1920.html#i-2
[3 Anchors]: http://www.xyu.ink/1920.html#Anchors
[3.1 _anchor]: http://www.xyu.ink/1920.html#anchor
[4]: http://www.xyu.ink/1920.html#i-3
[5]: http://www.xyu.ink/1920.html#i-4
[6]: http://www.xyu.ink/1920.html#i-5
[Faster R-CNN_ Towards Real-Time Object Detection with Region Proposal Networks]: https://arxiv.org/abs/1506.01497
[169456464f75fa986623b7c87fe9c6db.png]: /images/20220828/05e8204dc4474450bedc5bc984e1c283.png
[d5afd602873aec56f2d8974414c973b8.gif]: /images/20220828/a62cf1b3e02047259bc404d66a73b9a2.png
[c179f1a8fcf7c8e77eb920a531b7943f.gif]: /images/20220828/571515f9357141d9a8cbeab1e3ac5d92.png
[0018dfd935ed3a571ac60038324abf1c.png]: /images/20220828/e2a25ad50f034fb4bed83222e5025142.png
[IoU]: https://blog.csdn.net/u014061630/article/details/82818112
[04b2610640d4c7282c1fc2f576c25070.png]: /images/20220828/3d0fcb3b3a914956bb195f5ff3d228ee.png
[3461289f15e8908a02fe617040745966.png]: /images/20220828/3fccefca4d214bcc9615536cf28cd88e.png
[NMS]: https://blog.csdn.net/leviopku/article/details/80886386
[71bd6ffee30a40ac95ae421b1eacd2a3.png]: /images/20220828/65ee6c9e0a174de7933f2919d2182104.png
[2e6594824107f4308daa148392a73dc3.png]: /images/20220828/868d576b9ca14a7e8850d2fdba0c38a9.png
[496d849e2f6154d8647bf7ddd639643c.png]: /images/20220828/a60f015789814ca2b864d10edbcf9800.png
[GitHub - endernewton_tf-faster-rcnn_ Tensorflow Faster RCNN for Object Detection]: https://github.com/endernewton/tf-faster-rcnn
[https_web.cs.hacettepe.edu.tr_aykut_classes_spring2016_bil722_slides_w05-FasterR-CNN.pdf]: https://web.cs.hacettepe.edu.tr/~aykut/classes/spring2016/bil722/slides/w05-FasterR-CNN.pdf
[Faster RCNN -]: https://zhuanlan.zhihu.com/p/31426458