【目标检测】Casecade R-CNN论文讲解（超详细版本）

ゝ一世哀愁。 2023-09-27 13:52 77阅读 0赞

#### 目录：Casecade R-CNN论文讲解 ####

*  一、背景
 *  二、简单回顾R-CNN结构
 *   *  2.1 Training阶段
     *  2.2 Inference阶段
 *  三、论文摘要
 *  四、介绍
 *  五、关于mismatch问题
 *  六、关于单纯增大训练时IoU阈值问题
 *  七、相关工作
 *   *  7.1 two-stage
     *  7.2 one-stage
     *  7.3 multi-stage
 *  八、Cascade R-CNN讲解
 *  九、总结

论文讲解已经整理成word版本发布，作品源地址为：

https://mbd.pub/o/bread/Y56Tmp1x

下面是展示的部分数据！

## 一、背景 ##

从文章的题目上我们就可以看出这篇文章的目标是提高检测质量，希望能获得更精确的检测结果。文章提出的cascade结构的效果是惊艳的，几乎对于任意的R-CNN（Faster RCNN，FPN，R-FCN等）都可以带来 到 个点的AP提升。

Object Detection需要找到true positives，同时抑制大量的close false positives。训练detector时需要使用IoU阈值 来定义positive和negative。

## 二、简单回顾R-CNN结构 ##

以经典的Faster RCNN为例。整个网络可以分为两个阶段，training阶段和inference阶段，如下图所示：

![在这里插入图片描述][e49c7c8e9e7b4d2b88f5dfd34646342a.png]

### 2.1 Training阶段 ###

![在这里插入图片描述][d76ec11a0f6848c69618fe9f87075fa1.png]  
![在这里插入图片描述][ee32adca44634e978ada95262332a470.png]

### 2.2 Inference阶段 ###

![在这里插入图片描述][d2fc9e2330994f2bb11a3c2142964b0f.png]

## 三、论文摘要 ##

![在这里插入图片描述][80628e570c6a46a5bde7d2efb30421e1.png]

## 四、介绍 ##

目标检测是一个复杂的问题，需要解决两个主要的任务：

*  首先，检测器必须解决识别问题，区别前景目标和背景目标，并为其分配匹配的类别标签；
 *  其次，检测器必须解决定位问题，为不同的目标分配精确的bounding box。

许多目标检测器都是基于两阶段网络框架Faster R-CNN的。两阶段检测网络是一个多任务学习问题，包括目标的分类和边界框回归。

与物体识别不同的是，定义正/负样本需要一个IoU阈值。通常使用的IoU阈值为0.5 ， 0.5对IoU的设置是相当低的。检测的目标经常包括很多噪声。  
![在这里插入图片描述][fcb326036f6a428aa832a87086501721.png]  
![在这里插入图片描述][2b459a7dfbb2439ab97793d9c670ab80.png]  
![在这里插入图片描述][542b2c020aea49b5968d05c122b47ca2.png]  
![在这里插入图片描述][d874ff9c3d584f96adb8142b6b6e521b.png]

## 五、关于mismatch问题 ##

在training阶段和inference阶段使用不同的阈值很容易导致mismatch，什么意思呢？

在training阶段，由于给定了GT，所以可以把与GT的IoU大于阈值的proposals作为正样本，这些正样本参与之后的bbox回归学习和分类。

在inference阶段，由于GT是未知的，所以只能把所有的proposals都当作正样本，让后面的bbox回归器回归坐标。且在inference阶段，只有生成的proposals自身的IoU值和训练器训练时设定的IoU阈值较为接近时，训练器输出的IoU值才会高即网络性能才好。

所以在training阶段和inference阶段，bbox回归的输入分布是不一样的，training阶段输入的proposals质量更高（被采样过，IoU>threshold），inference阶段的输入proposals质量相对较差（没有采样过，可能包含很多IoU<threshold的情况），这就是论文中提到的mismatch问题，这个问题是固有存在的，通常threshold取0.5时，mismatch问题不会很严重。

## 六、关于单纯增大训练时IoU阈值问题 ##

![在这里插入图片描述][fcb99aa156e04b19a1689d8f445ae54a.png]  
![在这里插入图片描述][8abdbb52e3564a7e90e9255bbaffa33f.png]  
从上图可以看到，随着stage的加深，相应区域的positive依旧拥有大量的proposal，因此不会出现严重的过拟合现象。

## 七、相关工作 ##

### 7.1 two-stage ###

![在这里插入图片描述][85e265218ded43adaf52c61eec56407d.png]

### 7.2 one-stage ###

![在这里插入图片描述][bbee868110bd4ecd9cba74bd3c5bfa56.png]

### 7.3 multi-stage ###

![在这里插入图片描述][d8cb3bb32a0b429dac2e0b656332de75.png]

## 八、Cascade R-CNN讲解 ##

本文解决的重要思想是每一个单独的detector只对一个单独的IoU（原文称quality level）进行优化。此前有类似的工作，但本文的思想与其不同，此前是对False positive rate优化，本文是对一个给定的IoU阈值优化。

高IoU预设在输入高IoU样本时输出较好，低IoU预设在输入低IoU样本时输出较好。也就是说预设值与输入值匹配的情况下表现最好。

然而，要生成一个高质量的detector，光是简单地提高阈值也没什么用，如上面讲过的，提高阈值输出还是不断下降，作者认为这样的原因是因为提高阈值之后会使positive samples太少。本来神经网络就很脆弱，这么少的样本很容易造成过拟合。另一个问题是上文提到的预设与输入IoU阈值不匹配的问题。

作者首先给了一张当时比较流行的方法示意图，此图后文用到多次，我们称之为结构图，各大写字母含义图中也给出解释：

![在这里插入图片描述][eed52ea01ccd431ebbc065fd837f08a2.png]  
![在这里插入图片描述][7db13d50a02041faa2689aff5abbc6e1.png]  
![在这里插入图片描述][1388163ade5543a4ae78d7937ab95d47.png]  
![在这里插入图片描述][fd9c9285fdf747898b2db3f35e6e6feb.png]  
![在这里插入图片描述][1fcc7a76793e43feadd32492f1ac2e73.png]  
![在这里插入图片描述][e174c6dc55ea485f9097d080ddca39d0.png]  
![在这里插入图片描述][a196a49b0d8b4685b3120162fb2cdd33.png]  
![在这里插入图片描述][24fec977fbca4491bfa6b12fd3edad59.png]  
![在这里插入图片描述][ec184d41b44740e0896fde5083d58d81.png]  
![在这里插入图片描述][2146dbc345ab4f6e8f1b689b359dca4a.png]  
![在这里插入图片描述][05f8d3b4beba4856b45949a5c7a50bfd.png]  
![在这里插入图片描述][d2a5e1dae6314665880dd94ffe5441c0.png]  
![在这里插入图片描述][6fb0b4472ae3451092fe3448ac6ab62c.png]  
![在这里插入图片描述][ac6bcaa248074dcfa32e4a3eff299249.png]  
![在这里插入图片描述][e6cc2b7b08764182a56c7b0f4be829b7.png]  
![在这里插入图片描述][8e0d51b5dc044fb79787ff67739290af.png]  
![在这里插入图片描述][06fd6c197034443eae540f541dadf531.png]  
![在这里插入图片描述][2e77b0d20a2e4661b5bf06542181be1d.png]  
![在这里插入图片描述][4df3f267a8c24e12898a2829ffaf90ac.png]  
![在这里插入图片描述][08fe35abd93048ffac9ad9fe8e72747c.png]  
![在这里插入图片描述][e601f7656b284c4fac3e6ab6138029d0.png]  
![在这里插入图片描述][9e5047443bb0428e90d34b73e74e273f.png]  
![在这里插入图片描述][6a79cd6e1efd48d398b590e23cab04fe.png]  
![在这里插入图片描述][cde58a1599a14b9b9716c9c1f4dbf04c.png]

## 九、总结 ##

RPN提出的proposals大部分质量不高，导致没办法直接使用高阈值的detector，Cascade R-CNN使用cascade回归作为一种重采样的机制，逐stage提高proposal的IoU值，从而使得前一个stage重新采样过的proposals能够适应下一个有更高阈值的stage。这篇论文的启发：

![在这里插入图片描述][9f6ded426984411394cbe5217ea8377a.png]

IoU阈值训练级联检测器。最关键的是逐渐提高的IoU阈值的stage要对应着高IoU阈值样本的分布，否则很容易发生过拟合；恰巧的是低IoU阈值的bbox在经过回归后，其IoU阈值一定会变大，故这样就级联起来了。

[e49c7c8e9e7b4d2b88f5dfd34646342a.png]: https://img-blog.csdnimg.cn/e49c7c8e9e7b4d2b88f5dfd34646342a.png
[d76ec11a0f6848c69618fe9f87075fa1.png]: https://img-blog.csdnimg.cn/d76ec11a0f6848c69618fe9f87075fa1.png
[ee32adca44634e978ada95262332a470.png]: https://img-blog.csdnimg.cn/ee32adca44634e978ada95262332a470.png
[d2fc9e2330994f2bb11a3c2142964b0f.png]: https://img-blog.csdnimg.cn/d2fc9e2330994f2bb11a3c2142964b0f.png
[80628e570c6a46a5bde7d2efb30421e1.png]: https://img-blog.csdnimg.cn/80628e570c6a46a5bde7d2efb30421e1.png
[fcb326036f6a428aa832a87086501721.png]: https://img-blog.csdnimg.cn/fcb326036f6a428aa832a87086501721.png
[2b459a7dfbb2439ab97793d9c670ab80.png]: https://img-blog.csdnimg.cn/2b459a7dfbb2439ab97793d9c670ab80.png
[542b2c020aea49b5968d05c122b47ca2.png]: https://img-blog.csdnimg.cn/542b2c020aea49b5968d05c122b47ca2.png
[d874ff9c3d584f96adb8142b6b6e521b.png]: https://img-blog.csdnimg.cn/d874ff9c3d584f96adb8142b6b6e521b.png
[fcb99aa156e04b19a1689d8f445ae54a.png]: https://img-blog.csdnimg.cn/fcb99aa156e04b19a1689d8f445ae54a.png
[8abdbb52e3564a7e90e9255bbaffa33f.png]: https://img-blog.csdnimg.cn/8abdbb52e3564a7e90e9255bbaffa33f.png
[85e265218ded43adaf52c61eec56407d.png]: https://img-blog.csdnimg.cn/85e265218ded43adaf52c61eec56407d.png
[bbee868110bd4ecd9cba74bd3c5bfa56.png]: https://img-blog.csdnimg.cn/bbee868110bd4ecd9cba74bd3c5bfa56.png
[d8cb3bb32a0b429dac2e0b656332de75.png]: https://img-blog.csdnimg.cn/d8cb3bb32a0b429dac2e0b656332de75.png
[eed52ea01ccd431ebbc065fd837f08a2.png]: https://img-blog.csdnimg.cn/eed52ea01ccd431ebbc065fd837f08a2.png
[7db13d50a02041faa2689aff5abbc6e1.png]: https://img-blog.csdnimg.cn/7db13d50a02041faa2689aff5abbc6e1.png
[1388163ade5543a4ae78d7937ab95d47.png]: https://img-blog.csdnimg.cn/1388163ade5543a4ae78d7937ab95d47.png
[fd9c9285fdf747898b2db3f35e6e6feb.png]: https://img-blog.csdnimg.cn/fd9c9285fdf747898b2db3f35e6e6feb.png
[1fcc7a76793e43feadd32492f1ac2e73.png]: https://img-blog.csdnimg.cn/1fcc7a76793e43feadd32492f1ac2e73.png
[e174c6dc55ea485f9097d080ddca39d0.png]: https://img-blog.csdnimg.cn/e174c6dc55ea485f9097d080ddca39d0.png
[a196a49b0d8b4685b3120162fb2cdd33.png]: https://img-blog.csdnimg.cn/a196a49b0d8b4685b3120162fb2cdd33.png
[24fec977fbca4491bfa6b12fd3edad59.png]: https://img-blog.csdnimg.cn/24fec977fbca4491bfa6b12fd3edad59.png
[ec184d41b44740e0896fde5083d58d81.png]: https://img-blog.csdnimg.cn/ec184d41b44740e0896fde5083d58d81.png
[2146dbc345ab4f6e8f1b689b359dca4a.png]: https://img-blog.csdnimg.cn/2146dbc345ab4f6e8f1b689b359dca4a.png
[05f8d3b4beba4856b45949a5c7a50bfd.png]: https://img-blog.csdnimg.cn/05f8d3b4beba4856b45949a5c7a50bfd.png
[d2a5e1dae6314665880dd94ffe5441c0.png]: https://img-blog.csdnimg.cn/d2a5e1dae6314665880dd94ffe5441c0.png
[6fb0b4472ae3451092fe3448ac6ab62c.png]: https://img-blog.csdnimg.cn/6fb0b4472ae3451092fe3448ac6ab62c.png
[ac6bcaa248074dcfa32e4a3eff299249.png]: https://img-blog.csdnimg.cn/ac6bcaa248074dcfa32e4a3eff299249.png
[e6cc2b7b08764182a56c7b0f4be829b7.png]: https://img-blog.csdnimg.cn/e6cc2b7b08764182a56c7b0f4be829b7.png
[8e0d51b5dc044fb79787ff67739290af.png]: https://img-blog.csdnimg.cn/8e0d51b5dc044fb79787ff67739290af.png
[06fd6c197034443eae540f541dadf531.png]: https://img-blog.csdnimg.cn/06fd6c197034443eae540f541dadf531.png
[2e77b0d20a2e4661b5bf06542181be1d.png]: https://img-blog.csdnimg.cn/2e77b0d20a2e4661b5bf06542181be1d.png
[4df3f267a8c24e12898a2829ffaf90ac.png]: https://img-blog.csdnimg.cn/4df3f267a8c24e12898a2829ffaf90ac.png
[08fe35abd93048ffac9ad9fe8e72747c.png]: https://img-blog.csdnimg.cn/08fe35abd93048ffac9ad9fe8e72747c.png
[e601f7656b284c4fac3e6ab6138029d0.png]: https://img-blog.csdnimg.cn/e601f7656b284c4fac3e6ab6138029d0.png
[9e5047443bb0428e90d34b73e74e273f.png]: https://img-blog.csdnimg.cn/9e5047443bb0428e90d34b73e74e273f.png
[6a79cd6e1efd48d398b590e23cab04fe.png]: https://img-blog.csdnimg.cn/6a79cd6e1efd48d398b590e23cab04fe.png
[cde58a1599a14b9b9716c9c1f4dbf04c.png]: https://img-blog.csdnimg.cn/cde58a1599a14b9b9716c9c1f4dbf04c.png
[9f6ded426984411394cbe5217ea8377a.png]: https://img-blog.csdnimg.cn/9f6ded426984411394cbe5217ea8377a.png