《RON: Reverse Connection with Objectness Prior Networks for Object Detection》论文笔记

小鱼儿 2022-04-24 22:54 170阅读 0赞

代码：[RON][]

# 1. 概述 #

本篇文章提出了RON网络，该网络是受Faster RCNN与SSD的启发。在全卷积网络下实现RON：

*  1）对于多尺度目标检测这里使用反向连接的方式，使得网络可以在多个尺度上进行检测；
 *  2）文章使用目标先验去减小搜索的空间（反传时），最后，通过多任务 Loss 让整个网络实现 end-toend 训练；

文章的另外两点贡献如下：

*  1）引入 Negative example mining（负样本挖掘） 和 data augmentation（数据增  
    强），有效提高检测效果；
 *  2）有效节约 计算时间 和 计算资源，1.5G显存＋15fps，比 Faster R-CNN快3倍；

# 2. 网络设计 #

## 2.1 网络整体结构 ##

RON网络的整体结构如下图所示，在不同的层级上去检测不同的尺度的目标，因而具有比但尺度检测算法更好的检测性能。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]

## 2.2 特征图反向连接 ##

特征图的反向连接混合方式见下图，是由 n + 1 n+1 n\+1级特征图上采样与 n n n级特征图卷积（缓冲作用）之后的劫夺相加得到。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]  
多尺度信息能够对小目标有更好的检测精度，这一点都有共识了，通过 conv4、5、6、7  
各特征层分别进行检测。

## 2.3 anchor机制 ##

假定使用最小的尺度为 s m i n s\_\{min\} smin，每个层级特征图应该匹配的检测框尺寸 S k S\_k Sk应该满足如下的约束：  
 S k = \{ ( 2 k − 1 ) ⋅ s m i n , 2 k ⋅ s m i n \} S\_k=\\\{(2k-1)\\cdot s\_\{min\},2k\\cdot s\_\{min\}\\\} Sk=\{ (2k−1)⋅smin,2k⋅smin\}  
其中 s m i n s\_\{min\} smin是输入图像的 1 10 \\frac\{1\}\{10\} 101。文章中设置的ratios参数为： \{ 1 3 , 1 2 , 1 , 2 , 3 \} \\\{\\frac\{1\}\{3\},\\frac\{1\}\{2\},1,2,3\\\} \{ 31,21,1,2,3\}，尺度的范围有2个。也就是说每个层级上面的anchor应该按照所在的尺度进行设置，这样才能够很好的适配。

## 2.4 目标先验特征图生成 ##

在上面的内容中使用不同的anchor参数，在不同的尺度特征图下生成不同尺度的默认检测框，但是这些生成的众多候选框只有很少与GT相重合的，为了解决这个问题呢，在Faster RCNN网络中使用的是RPN网络用于平衡正负样本。但是RPN网络的采用会带来默认生成框与RPN网络结果的差异。

对于这样的情况Faster RCNN网络是使用RCNN网络来解决的，这样就带来了论文作者认为冗余的计算量。要是使用某种先验的形式来缩小搜索的范围，那将会缩小计算量。为了解决该问题，作者就提出了目标先验的机制。

文中提到使用 3 ∗ 3 ∗ 2 k 3\*3\*2k 3∗3∗2k的卷积层后接Softmax函数来指示在每个提出的框中是否包含目标。其中 k k k每个位置产生 k k k个默认框，其实就是网络中设置的anchor的数量，因而目标先验图的通道数为 2 k 2k 2k，用以区分背景和前景。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]

## 2.5 检测和边界框回归 ##

检测部分网络与主干特征网络部分是通过两级Inception块实现的：  
![在这里插入图片描述][20190429234145451.png]  
之后接的便是边界框回归与检测框分类部分：  
![在这里插入图片描述][20190429234326547.png]

## 2.6 将目标先验与检测结合 ##

作者在设计的网络中将目标先验、检测框回归与检测框分类合起来形成3各分支。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]  
作者在训练与测试阶段在网络中都加入了目标先验，对于训练阶段，网络的检测部分所做的工作如下：

*  1）对使用anchor机制生成的检测框分配二值分类标签，用以区分前景背景；
 *  2）对于提出的检测框使用与GT的重叠程度分配一个对应的分类标签。正样本标签的阈值为0.5，负样本标签的阈值为0.3；

这样对于每个经过上面流程的检测框就有了是否为目标的标签与对应的分类标签。之后网络训练过程中使用目标先验动态更新类别标签来辅助目标检测。

*  前向传播时，网络同时产生目标先验，并进行类别检测。
 *  反向传播时，网络首先会产生目标先验，然后对于检测，只会在 Objectness 得分大于某个阈值（阈值为 o p = 0.03 o\_p=0.03 op=0.03）的区域内进行目标检测，这样就缩小了搜索空间。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]  
    额外的计算仅仅在于为反向传播选择训练样本。当选择合适的阈值时，样本的数量减少了，这样反向传播的时间就缩短了。

## 2.7 损失函数与训练过程 ##

**1. 损失函数：**  
![在这里插入图片描述][20190429235052874.png]  
将目标检测Loss、定位Loss、分类Loss组成一个加权Loss函数，原文3个项都为1/3。

**2. 训练过程：**

*  a）对于Objectness Prior，选择全部的正样本，随机选取负样本，保证正负样本的比例为  
    1:3；
 *  b）对于Detection，首先通过Objectness Prior Score减少样本数量，然后选择全部的正样本，随机选取负样本，保证正负样本的比例为1:3；

**3. 网络预测：**  
每个 Box 的类置信度表示为：  
 p c l s = p o b j ⋅ p c l s ∣ o b j p^\{cls\}=p^\{obj\}\\cdot p^\{cls|obj\} pcls=pobj⋅pcls∣obj  
这个得分包含两部分，一是Objectness的概率，二是目标的类别概率。得到目标Score之后，通过边框回归调整Box位置，最后用NMS得到最终检测结果。

# 3. 实验结果 #

**在VOC2007上的表现：**  
![在这里插入图片描述][20190429235139516.png]  
**在COCO数据集上的表现：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]  
**使用不同阶段特征对性能的影响：**  
![在这里插入图片描述][20190429235308143.png]

[RON]: https://github.com/taokong/RON
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20220212/a56ce8bfbdff40fcb56492525e1366cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20220212/0b23035173034b26bd5c2e30819be85e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20220212/2fb23c808d7c4e41a8b50401c86e469e.png
[20190429234145451.png]: /images/20220212/c830060ef0a04ef380acda768eeb3e2b.png
[20190429234326547.png]: /images/20220212/d925a77c26f64501a11fffa2a168fca7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20220212/7c3f1d1fa4ba4985a9404a5df759d5f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]: /images/20220212/79b851d1cb2946e6915042ba8b8873e6.png
[20190429235052874.png]: /images/20220212/7a128fbbe08b420ba819b28c473784ac.png
[20190429235139516.png]: /images/20220212/5fbcfc87c3cf4e54a09a307152241eb5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]: /images/20220212/76e5e305a6e8424baf4ca8e8c9bd0d4f.png
[20190429235308143.png]: /images/20220212/75961f1b352a4ebaaba8c74a69ec5919.png