Faster-RCNN的一些记录。

青旅半醒 2022-05-17 11:25 199阅读 0赞

**Faster-RCNN****详解**

Ross B. Girshick的论文《Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks》

**主要解决两个问题：**

1、提出区域建议网络RPN，快速生成候选区域；

2、通过交替训练，使RPN和Fast-RCNN网络共享参数。

另外Faster RCN已经将特征抽取(feature extraction)，proposal提取（RPN），bounding box regression，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显

**1****、****RPN****网络**

RPN网络的作用是输入一张图像，输出一批矩形候选区域，类似于Selective Search的作用，网络结构是卷积神经网络，输出时包含softmax二类分类器（是否是候选框）和bbox回归得出候选边界框的位置的四个参数（box的中心坐标xy和box长h宽w），

![70][]

**2****、****anchor****机制**

anchor是rpn网络的核心，RPN网络需要确定每个滑窗中心对应感受野内存在目标与否，但是由于目标大小和长宽比例不一，需要多个尺度的窗。所以Anchor正是给出一个基准窗大小，可以按照倍数和长宽比例可以得到不同大小的窗，论文中基准窗大小为16，给了（8、16、32）三种倍数和（0.5、1、2）三种比例，这样能够得到一共9种尺度的anchor。

例如：在对60\*40的特征图map进行滑窗时，以中心像素为基点构造9种anchor映射到原来的1000\*600图像中，映射比例为16倍。那么总共可以得到60\*40\*9大约2万个anchor。

**3****、训练**

对于分类器，采anchor是否有目标，用了这样的规则判断：1）假如某anchor与任一目标区域的IoU最大，则该anchor判定为有目标；2）假如某anchor与任一目标区域的IoU>0.7，则判定为有目标；3）假如某anchor与任一目标区域的IoU<0.3，则判定为背景。

所谓IoU，就是预测box和真实box的覆盖率，其值等于两个box的交集除以两个box的并集。其它的anchor不参与训练。

对于回归器：判定为有目标的anchor，并将其标注的坐标作为ground truth

代价函数为：

![70 1][]

代价函数分为两部分，前边对应anchor中是否有目标的分类误差，后边对应bbox回归误差。

**4****、联合训练**

1） 单独训练RPN网络，网络参数由预训练模型载入；

2） 单独训练Fast-RCNN网络，将第一步RPN的输出候选区域作为检测网络的输入。具体而言，RPN输出一个候选框，通过候选框截取原图像，并将截取后的图像通过几次conv-pool，然后再通过roi-pooling和fc再输出两条支路，一条是目标分类softmax，另一条是bbox回归。截止到现在，两个网络并没有共享参数，只是分开训练了；

3） 再次训练RPN，此时固定网络公共部分的参数，只更新RPN独有部分的参数；

4） 那RPN的结果再次微调Fast-RCNN网络，固定网络公共部分的参数，只更新Fast-RCNN独有部分的参数。

**5、其他理解**

![70 2][]

从上图来看：  
1） Faster RCNN首先使用一组基础conv layer(conv+relu+pooling层)提取image的feature maps。该feature maps被共享用于后续RPN层和全连接层。

2) RPN（Region Proposal Networks）。RPN网络用于生成region proposals。该层通过softmax判断anchors属于foreground或者background，再利用bounding box regression修正anchors的位置，最终获得精确位置的region proposals（候选框）。

3）RoI Pooling。输入的feature maps和候选框（region proposals），综合这些信息后提取proposal feature maps，送入后面全连接层判定目标类别。

4）Classification and regression。利用proposal feature maps计算region proposal中物体的类别，同时再次bounding box regression获得检测框最终的精确位置。

**6、其他理解**

![70 3][]

I是输入图像，conv是卷积层，H是network head，C使classification即Softmax二分类anchor中是否有目标，B是Bbox回归得到候选框，pool是ROI Pooling

**7、其他概念**

bounding box regression：对定位不准的边界框进行微调，即寻找一种映射关系是定位不准的边界框经过映射后得到跟ground true接近的边界框。

RPN步骤：生成anchors -> softmax分类器提取fg anchors -> bbox reg回归fg anchors -> Proposal Layer过滤得到最终的proposal  boxs

多通道卷积：对多通道图像做1x1卷积，其实就是将输入图像于每个通道乘以卷积系数后加在一起，即相当于把原图像中本来各个独立的通道“联通”在了一起。

[70]: /images/20220517/438fee5a725b462c8e6029028738fcb2.png
[70 1]: /images/20220517/b73a76a87008413e96834c24207bb078.png
[70 2]: /images/20220517/ac0c9df49dfe4ba990e20016fd668f65.png
[70 3]: /images/20220517/e6782415a9b24d969e15f13ac3e0dd64.png