学术不端擦边球 Incremental Few-Shot Object Detection，CVPR 2020 小样本增量目标检测论文详解

亦凉 2023-01-21 13:22 120阅读 0赞

三星AI研究所发表在CVPR2020上的文章。解决小样本增量目标检测问题。

不过读完发现此文完全抄袭 ICCV 2019的这篇：[基于检测任务的小样本增量学习 Few-shot Object Detection via Feature Reweighting. ICCV 2019论文详解][Few-shot Object Detection via Feature Reweighting. ICCV 2019]

ICCV2019比此文早了一年半左右即挂了Arxiv，此文仅仅将上篇文章的YOLOv2换为了CentreNet，换了数据集，其他几乎没有变化，抄的如此简单赤裸。

**目录**

1.贡献点

2.结构框架

2.1 特征提取

2.2 类别生成器

3.实验

--------------------

# 1.贡献点 #

定义了iFSD（incremental Few-Shot Detection），小样本增量目标检测问题。（这个小样本增量学习被提出过）

本文提出了ONCE（OpeN-ended Centre nEt）框架，用于解决iFSD问题。模型由两部分优化构成：CentreNet目标检测器，和基于类别的编码生成模型，这个生成模型不是GAN中的生成器，而是一个生成卷积核的生成器，用于生成卷积核与CentreNet中的feature-map进行卷积进行特征提取。这个编码生成器也是抄了[Few-shot Object Detection via Feature Reweighting. ICCV 2019][] 的方法，换了个名字。

# 2.结构框架 #

本文选用CentreNet作为本文的检测模型，因为它具有以下优点：

高效的单阶段目标检测模型，能够在效率和准确率之间达到较好的平衡。优于SSD、RetinaNet、YOLO

运用基于类别的模型范式，可以通过plug-in manner解决增量中的新增类。（近似可以理解为，随着增量类别的增多，最后的目标检测层的结构可以随之增加）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

模型分为两个阶段，一个是特征提取阶段，用于提取特征，另一个是目标检测阶段，用小型的CNN预测目标检测结果。（注意，目标检测中的单阶段与这里的两个阶段的定义并不相同。目标检测任务中的双阶段相当于两个模型，一个模型用于给出备选框，另一个用于给备选框进行选择。目标检测中的单阶段是模型直接根据feature-map生成备选框，所以虽然CentreNet具有两个阶段，但是在目标检测阶段的定义中，依然是目标检测单阶段的目标检测模型。）

本文的ONCE模型，具有两个部分构成：

*  特征提取模块（Feature Extractor），用于提取图片特征，这个模块被原始任务和增量任务共享。
 *  目标检测模块（Object Locator），根据提取出的特征进行分类，这个模块根据任务的特征进行预测。

## 2.1 特征提取 ##

本文的ONCE框架主要依据CentreNet，分为两个阶段。首先训练特征提取模块*f()*，目标检测模块*h()*![20210516145650342.png][]，给定输入图片*I∈**Rh\*w\*3*，经过特征提取模块之后获得feature-map，*m=f(I)*![20210516145650386.png][]，*I∈**R**h**r**\***w**r\*c*![20210516145650389.png][]，其尺寸是*h**r**\***w**r\*c*，分别是宽、高和通道数。对应的目标检测模块*h()*![20210516145650381.png][]需要训练出一个卷积核*c**k**=**R1\*1\*c*用于获得类别heatmap：

![20210516150143876.png][]

其中，下标*k*![20210516145650381.png][]表示类别数量，一共有*Kb*![20210516145650390.png][]类。*Yk*![20210516145650385.png][]的尺寸是*Y**k**∈**R**h**r**\***wr*![20210516145650389.png][]，即相当于对feature-map上的每个像素点预测出一个针对类别*k*![20210516145650387.png][]的概率。同理，目标检测阶段的模型*h()*还需要获得预测框中心点输出*O∈**R**h**r**\***w**r\*2*![20210516145650344.png][]和尺寸输出*S∈**R**h**r**\***w**r\*2*![20210516145650343.png][]。这些输出均是基于特征提取模块的结果*m=f(I)*![20210516145650308.png][]获得。这点与YOLO非常相近。

## 2.2 类别生成器 ##

这个类别生成器不是GAN中的生成器，类别生成器*g()*用于生成类别向量*c*![20210516145650387.png][]（即上文公式（1）中用于与feature-map进行卷积，获得该类别heatmap的向量）。关于类别生成器本文运用meta-learning的方法，将对应的任务分为support set *Q*![20210516145650384.png][]和query-set *S*![20210516145650385.png][]，对于第*k*![20210516145650387.png][]类的类别生成器的训练方法：

本文根据*S*![20210516145650345.png][]中的*k*![20210516145650382.png][]类*Sk*![20210516145650347.png][]获得生成类别向量*ck*![20210516145650387.png][]，

![20210516145650384.png][]

然后在*Q*![20210516145650343.png][]上的第*k*![20210516145650383.png][]类进行验证，最小化*Qk*![20210516145650385.png][]在模型输出的误差。

这里我们可以发现，这里引入了元学习的概念，即YOLO用于类别预测的卷积核*c*![20210516145650390.png][]是直接通过模型训练获得的，这里的用于预测类别预测的卷积核*c*![20210516145650384.png][]是通过类别生成器*g()*![20210516145650347.png][]通过元学习的方法生成的。

![20210516145650384.png][]

新类到来时的训练流程：

新类到来后，划分为support set *Q*![20210516145650386.png][]和query-set *S*![20210516145650345.png][]，通过元学习的方法，根据公式（3）（4），训练好类别生成器*g()*，然后利用*g()*![20210516145650349.png][]生成的类别向量对模型进行预测，从而适应了增量训练的过程。

# 3.实验 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

可以看出，尽管ONCE取得了SOTA的实验效果，但是在COCO数据集上的性能依然非常低。究其原因，可能有三点，

*  COCO数据集本身较难，
 *  增量学习在检测任务中具有一定的挑战性。
 *  Few-shot的增量学习具有一定的难度。

但是本文运用元学习的方法，将单阶段的目标检测模型与双阶段的增量任务相结合。方法几乎完全抄袭了2019年的论文，仅仅将其中的YOLOv2换为CentreNet,

[Few-shot Object Detection via Feature Reweighting. ICCV 2019]: https://blog.csdn.net/weixin_36474809/article/details/116891816
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20221020/63bc534bbb71426ba9b837b0d1dda1f6.png
[20210516145650342.png]: https://img-blog.csdnimg.cn/20210516145650342.png
[20210516145650386.png]: https://img-blog.csdnimg.cn/20210516145650386.png
[20210516145650389.png]: https://img-blog.csdnimg.cn/20210516145650389.png
[20210516145650381.png]: /images/20221020/284992583d43497cbecc30f5c7626ec8.png
[20210516150143876.png]: /images/20221020/cbc2b6d4c41742c5b865f5488dabeb76.png
[20210516145650390.png]: https://img-blog.csdnimg.cn/20210516145650390.png
[20210516145650385.png]: /images/20221020/e8833139379844cc8e0896bfc906ecf4.png
[20210516145650387.png]: /images/20221020/1d214e8fb43f4832839d62fadffad965.png
[20210516145650344.png]: https://img-blog.csdnimg.cn/20210516145650344.png
[20210516145650343.png]: https://img-blog.csdnimg.cn/20210516145650343.png
[20210516145650308.png]: /images/20221020/5394f222d6494cc481c23f4a2fb89454.png
[20210516145650384.png]: /images/20221020/8fcc3dbf5d7b487cb4dee301a08c1b50.png
[20210516145650345.png]: https://img-blog.csdnimg.cn/20210516145650345.png
[20210516145650382.png]: https://img-blog.csdnimg.cn/20210516145650382.png
[20210516145650347.png]: /images/20221020/7f7c625eb7774f26862fd7b86941c535.png
[20210516145650383.png]: https://img-blog.csdnimg.cn/20210516145650383.png
[20210516145650349.png]: /images/20221020/9ce76f3072854dac80cb9e7941d4fa37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20221020/2b644d6f2a1f469a93d5342a9a99500f.png