faster rcnn 中核心部分RPN网络的整理与理解

今天药忘吃喽~ 2022-05-19 08:54 270阅读 0赞

转载自：[https://blog.csdn.net/wakojosin/article/details/79363224][https_blog.csdn.net_wakojosin_article_details_79363224]

学习fasterrcnn检测已经有一段时间了，最近才把核心的RPN部分进行的理解和整理，理解的偏差还请各位大神指正，

**RPN(RegionProposal Network)区域生成网络**

**1.** 在五层conv，poolling，relu之后，取出conv5的输出，送给RPN网络；

layer \{

type: "Convolution"

bottom: "conv5"

top: "rpn\_conv1"

param \{ lr\_mult: 1.0 \}

param \{ lr\_mult: 2.0 \}

convolution\_param \{

num\_output: 256

kernel\_size: 3 pad: 1 stride: 1

weight\_filler \{ type: "gaussian" std: 0.01 \}

bias\_filler \{ type: "constant" value: 0 \}

layer \{

type: "ReLU"

bottom: "rpn\_conv1"

top: "rpn\_conv1"

我们只需要一个3\*3\*256\*256这样的一个4维的卷积核，就可以将每一个3\*3的sliding window 卷积成一个256维的向量，相当于feature map每个点都是256-d。

**anchors**。按照尺度变换（128×128， 256\*256,512\*512，2:1, 1:1, 1:2）计算这256维向量每个像素的9个anchor，所谓anchors，实际上就是一组由rpn/generate\_anchors.py生成的矩形。直接运行generate\_anchors.py得到以下输出：

\[\[ -84. -40. 99. 55.\]

\[-176. -88. 191. 103.\]

\[-360. -184. 375. 199.\]

\[ -56. -56. 71. 71.\]

\[-120. -120. 135. 135.\]

\[-248. -248. 263. 263.\]

\[ -36. -80. 51. 95.\]

\[ -80. -168. 95. 183.\]

\[-168. -344. 183. 359.\]\]。

**2.**

![70][]

计算每个像素256-d的9个尺度下的值，得到9个anchor，我们给每个anchor分配一个二进制的标签（前景背景）。我们分配正标签前景给两类anchor：1）与某个ground truth（GT）包围盒有最高的IoU重叠的anchor（也许不到0.7），2）与任意GT包围盒有大于0.7的IoU交叠的anchor。注意到一个GT包围盒可能分配正标签给多个anchor。我们分配负标签（背景）给与所有GT包围盒的IoU比率都低于0.3的anchor。非正非负的anchor对训练目标没有任何作用，由此输出维度为（2\*9）18-d，anchor（label和概率）一共18维。

layer \{

type: "Convolution"

bottom: "rpn\_conv1"

top: "rpn\_cls\_score"

param \{ lr\_mult: 1.0 \}

param \{ lr\_mult: 2.0 \}

convolution\_param \{

num\_output: 18 \# 2(bg/fg) \*9(anchors)

kernel\_size: 1 pad: 0 stride: 1

weight\_filler \{ type: "gaussian" std: 0.01 \}

bias\_filler \{ type: "constant" value: 0 \}

对前景anchor使用softmax进行分类，得到anchor类别以及softmax score。

**3.**

前2.）中已经计算出foreground anchors，使用bounding box regression回归得到预设anchor-box到ground-truth-box之间的变换参数，即平移（dx和dy）和伸缩参数（dw和dh），由此得到初步确定proposal。

Boundingbox regression原理[http://blog.csdn.net/elaine\_bao/article/details/60469036][http_blog.csdn.net_elaine_bao_article_details_60469036]

**4.**

将预proposal利用feat\_stride和im\_info将anchors映射回原图，判断预proposal是否大范围超过边界，剔除严重超出边界的。

按照softmax score进行从大到小排序，提取前2000个预proposal，对这个2000个进行NMS(非极大值抑制)，将得到的再次进行排序，输出300个proposal。

**继续：**

对300个proposal进行ROIpooling提取出固定长度的特征送入全连接层

再进行softmax分类计算得分，进行boundingbox regression得到精确位置。

附上参考的连接，

[http://www.cnblogs.com/zf-blog/p/7286405.html][http_www.cnblogs.com_zf-blog_p_7286405.html]

[http://lib.csdn.net/article/deeplearning/61641][http_lib.csdn.net_article_deeplearning_61641]

[http://blog.csdn.net/mllearnertj/article/details/53709766][http_blog.csdn.net_mllearnertj_article_details_53709766]

[https_blog.csdn.net_wakojosin_article_details_79363224]: https://blog.csdn.net/wakojosin/article/details/79363224
[70]: /images/20220519/6fa91ac4c1b94bb99a89f10e5ebcdaf4.png
[http_blog.csdn.net_elaine_bao_article_details_60469036]: http://blog.csdn.net/elaine_bao/article/details/60469036
[http_www.cnblogs.com_zf-blog_p_7286405.html]: http://www.cnblogs.com/zf-blog/p/7286405.html
[http_lib.csdn.net_article_deeplearning_61641]: http://lib.csdn.net/article/deeplearning/61641
[http_blog.csdn.net_mllearnertj_article_details_53709766]: http://blog.csdn.net/mllearnertj/article/details/53709766