Missing Labels in Object Detection(CVPR2019)解读

短命女 2021-12-11 16:51 234阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70]  
论文链接：[Missing Labels in Object Detection][]

--------------------

本文主要贡献：

1.  在不同丢失程度的instance-level 标签下全监督目标检测（FSOD）的影响。
2.  首次提出在全监督和弱监督中间（即：部分监督信息）的训练方式和训练网络。

## 1 在不同丢失程度的instance-level 标签下全监督目标检测（FSOD）的影响 ##

1.1 在不同instance-level missing label 比例下，WSOD和FSOD两类方法的mAP比较  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 1]  
对于全监督的网络作者采用了RCNN Faster-RCNN YOLO和SSD四种网络，弱监督网络采用的是经典的WSDDN网络。显而易见，示例级别的标签丢失越多，mAP越低。

> **博主有话说：**  
> 本文在Introdction就放一个这个实验图，虽然很好说明FSOD方法随着label的减少，mAP指标急剧下降。但是在这个部分讲的实验设置不全，本人读到这里的时候，对FSOD这四种网络的训练方式有很多疑问，但在3.1得到解答（后面再吐槽吧）。所以本人觉得在前期如果不能大篇幅说明，则要有一句详细实验情况见后文之类的说明，这样对读者会比较友好。

## 2 首次提出在全监督和弱监督中间（即：部分监督信息）的训练方式和训练网络 ##

2.1 丢失Label的数据集  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 2]  
在本文的主要方法部分，对之前本人提到的疑问进行了进行了实验数据集的说明。具体的算法如上图，简单的说：对于每一个类别，随机丢失Mr的比例的label，并把这些存到一个数组，另外剩下的也存到一个数组。

> **博主有话说：**  
> 通过对这一部分的阅读，尤其是这一句：“we also record images without any instance-level labels after dropping, which will not be sampled when training the FSOD models.”，本人理解是针对FSOD的网络，在训练过程中只对有label的进行训练，随机除去label的图片就不进行采样了；在测试过程中全部图片一起来。如果是这样子的话，本人觉得这有违背本文前面提到的弱监督训练定义，弱监督即只有image-level的信息输入网络训练，但是就这个实验而言，不训练只有image-level的图片，算是弱监督吗？难道这个就是Hybid Supervise Object Detection ？

--------------------

**博主题外话** ：顺便提一下，作者在3.2小节的第一段倒数第三行，单词写错了。不是off-the-shell，应该是off-the-shelf，中文意思是 现成的。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 3]

--------------------

2.2 teacher-student Learning

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 4]  
本文提出了一种“Teacher-Student”模式的训练网络，本文采用[W2F][]网络进行产生伪标签信息，以弥补那些没有标签（之前随机删除了）的图片信息。Student分支可以使用现成的Faster-RCNN等网络，Teacher分支结构如上图：主要由RPN、MID、ICRs三个模块组成。PRN就是Faster-RCNN这种two-stage的方法用的一样，用来产生proposals。MID用来预测区域结果，是一个loss（loss见下图）。ICRs这个模块是借用了2017年CVPR文章中的结构[Multiple Instance Detection Network with Online Instance Classifier Refinement][] 本文的K设置为3。  
MID的loss如右图：![在这里插入图片描述][20190709161850251.png]  
其中，Llab和Lcls都是普通的交叉熵损失，Llab就是利用了[WSDDN][]这篇论文中的loss。最后一个Lreg回归损失使用的是L1损失。

> **博主有话说：**  
> 第一，本人感觉“Teacher-Student”模式和级连网络相似，都是一个分支训练好后的输出作为下一个网络的输入进行训练，这里要单独训练Teacher这个分支。通过Teacher分支来把弱监督的信息转换成强监督的信息用来训练Student分支。  
> 第二，根据论文对Teacher分支的介绍和上图结构，输入的训练图像的真实标签（GT）只有一只羊，而训练的Teacher模型预测的伪标签（PGT）全部三只羊都框住了，本人觉得不可思议，如此的话可以直接只用Teacher模型做预测，实验部分也没有对此实验。另外，这一部分让本人产生另一种功能假想：上图网络输入的图片，真实标签其实有三只羊全部框住的，在上面提到的随机删除标签中，把两只羊的label删除了。一张图的真实的标签不全，本人觉得好像也可以一定程度上理解为弱监督。  
> 第三，ICRs模块这个结构就是一个级连的分支，和本文提出的“Teacher-Student”网络模式有异曲同工之妙。

最后，本文loss由三部分组成：  
![在这里插入图片描述][20190709164027619.png]  
第一个RPN loss和Faster-RCNN一样，第二个MID loss上面提过，第三个ICR loss 和Multiple Instance Detection Network with Online Instance Classifier Refinement论文的loss是一样的，也是和WSDDNloss有类似之处。

## 3 实验部分 ##

讲两个本人觉得比较有意思的实验  
3.1  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 5]  
在这个实验中，两个发现：1）在coco数据集少量标签的缺失不会影响准确率。2）牛和桌子的mAP相比，随着missing Label rate 的上升，牛的mAP下降的更剧烈。

> **博主有话说：**  
> 本人觉得实验有意思的地方在 探究了一张图片目标个数的问题。在弱监督目标检测的领域，只有image-level的标签，检测全是一个比较难的问题。在这个实验中，说明了一张图片中，由于牛的数量会比桌子的数量多，所以影响mAP，上面的右边图也可以看出，在含有牛的图片中，一般有多只牛，而桌子的图片中一般只包含一张桌子。本人觉得，从这个角度探究提升弱监督mAP是一个挺好的点子?

3.2

![在这里插入图片描述][20190709165411748.png]  
这里作者诠释了小目标，提出的在一个数据集中去除小目标的方法可以参考～  
1）计算所有instance的平均面积：u  
2）保留所有面积大于u的instance。  
保留下来的都是normal object了。

--------------------

其他实验就比较普通了，一大波截图来了：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 9]

--------------------

本人拙见，请各位读者指教！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70]: /images/20211211/3f7ae9f2044a4267adea67df1e2bce48.png
[Missing Labels in Object Detection]: http://openaccess.thecvf.com/content_CVPRW_2019/papers/Weakly%20Supervised%20Learning%20for%20Real-World%20Computer%20Vision%20Applications/Xu_Missing_Labels_in_Object_Detection_CVPRW_2019_paper.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 1]: /images/20211211/7d95d972a3004f528eb4610ea4740726.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 2]: /images/20211211/d1535b7f417b4c459c4acb974d1a0e8a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 3]: /images/20211211/bc9886cbdb214ef28b58b43607d22761.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 4]: /images/20211211/192263cafc054ffe8730279110e907c0.png
[W2F]: https://ivul.kaust.edu.sa/Documents/Publications/2018/W2F%20A%20Weakly-Supervised%20to%20Fully-Supervised%20Framework.pdf
[Multiple Instance Detection Network with Online Instance Classifier Refinement]: http://openaccess.thecvf.com/content_cvpr_2017/papers/Tang_Multiple_Instance_Detection_CVPR_2017_paper.pdf
[20190709161850251.png]: /images/20211211/823a144f6bb940039ac8e59b7b08f91b.png
[WSDDN]: https://www.robots.ox.ac.uk/~vgg/publications/2016/Bilen16/bilen16.pdf
[20190709164027619.png]: /images/20211211/cdc4ddb3bb68484ca12cb1a2669f2444.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 5]: /images/20211211/1500127b15c3454784137776fe7510d9.png
[20190709165411748.png]: /images/20211211/b0bb666ba6574d42b9bd8ad589bbcd9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 6]: /images/20211211/d8b9ccd270304ed4b9d3bebd39e371c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 7]: /images/20211211/b83c0772789f4f73bbd9455619af04b2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 8]: /images/20211211/ba5582e9f2824a51990dc4f0609a565d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3X19jaGVu_size_16_color_FFFFFF_t_70 9]: /images/20211211/f5d137a73d02480694b51f1a8ce3f6e0.png