[Intensive Reading]目标检测(object detection)系列（十四） FCOS：用图像分割处理目标检测

男娘i 2023-02-20 14:58 50阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center]

**目标检测系列：**  
[目标检测(object detection)系列（一） R-CNN：CNN目标检测的开山之作][object detection_ R-CNN_CNN]  
[目标检测(object detection)系列（二） SPP-Net：让卷积计算可以共享][object detection_ SPP-Net]  
[目标检测(object detection)系列（三） Fast R-CNN：end-to-end的愉快训练][object detection_ Fast R-CNN_end-to-end]  
[目标检测(object detection)系列（四） Faster R-CNN：有RPN的Fast R-CNN][object detection_ Faster R-CNN_RPN_Fast R-CNN]  
[目标检测(object detection)系列（五） YOLO：目标检测的另一种打开方式][object detection_ YOLO]  
[目标检测(object detection)系列（六） SSD：兼顾效率和准确性][object detection_ SSD]  
[目标检测(object detection)系列（七） R-FCN：位置敏感的Faster R-CNN][object detection_ R-FCN_Faster R-CNN]  
[目标检测(object detection)系列（八） YOLOv2：更好，更快，更强][object detection_ YOLOv2]  
[目标检测(object detection)系列（九） YOLOv3：取百家所长成一家之言][object detection_ YOLOv3]  
[目标检测(object detection)系列（十） FPN：用特征金字塔引入多尺度][object detection_ FPN]  
[目标检测(object detection)系列（十一） RetinaNet：one-stage检测器巅峰之作][object detection_ RetinaNet_one-stage]  
[目标检测(object detection)系列（十二） CornerNet：anchor free的开端][object detection_ CornerNet_anchor free]  
[目标检测(object detection)系列（十三） CenterNet：no Anchor，no NMS][object detection_ CenterNet_no Anchor_no NMS]  
[目标检测(object detection)系列（十四） FCOS：用图像分割处理目标检测][object detection_ FCOS]  
**目标检测扩展系列：**  
[目标检测(object detection)扩展系列（一） Selective Search：选择性搜索算法][object detection_ Selective Search]  
[目标检测(object detection)扩展系列（二） OHEM：在线难例挖掘][object detection_ OHEM]  
[目标检测(object detection)扩展系列（三） Faster R-CNN，YOLO，SSD，YOLOv2，YOLOv3在损失函数上的区别][object detection_ Faster R-CNN_YOLO_SSD_YOLOv2_YOLOv3]

# 简介 #

FCOS的paper是[《FCOS: Fully Convolutional One-Stage Object Detection》][FCOS_ Fully Convolutional One-Stage Object Detection]，来自阿德莱德大学[沈春华老师团队][Link 1]，作者是[田植][Link 2]，同时也是在实例分割方向表现非常惊艳的[BoxInst][]的作者。  
此外阿德莱德大学还有另外一个非常著名的工作就是[AdelaiDet][]，是一个base在detectron2上的检测工具箱，AdelaiDet同样支持FCOS。  
FCOS旨在利用全卷积的思路处理目标检测问题，它是一个anchor free的单阶段检测器，一个很有意思的地方是，FCOS和[CenterNet][]都是在[CornerNet][object detection_ CornerNet_anchor free]之后，但是这它们几乎是同时挂到arxiv上，都在2019年的4月，且相差不到半个月。区别在于CornerNet是找目标的角点，而CenterNet是找目标的中心点，FCOS在找所有的点，CornerNet和CenterNet像是bottom-up的人体姿态估计任务，而FCOS像是一个实例分割任务。  
我们在把FCOS作者的一系列工作串起来看，就不难发现这个问题，[BoxInst][]与[CondInst][]都是实例分割方向非常优秀的工作，同时，BoxInst更是在只有bbox的情况下做实例分割，单纯的从输入来看，这和FCOS就是一致的。

# FCOS原理 #

## Motivation ##

与其他anchor-free检测器类似，FCOS也是例行的说明anchor-base检测器的缺点，常规操作如下：

*  检测表现效果对于锚框的尺寸、长宽比、数目非常敏感，这些超参数依赖人工设计
 *  锚框的尺寸和长宽比是固定的，因此，检测器在处理形变较大的候选对象时比较困难，尤其是对于小目标。预先定义的锚框还限制了检测器的泛化能力，因为，它们需要针对不同对象大小或长宽比进行设计。
 *  为了提高召回率，需要在图像上放置密集的锚框。而这些锚框大多数属于负样本，这样造成了正负样本之间的不均衡。

## Inference ##

1.  Classification: C × H × W C\\times H\\times W C×H×W，C为要分类的类别数，每一个通道上都是一个二分类；
2.  Center-ness:  1 × H × W 1\\times H\\times W 1×H×W, 对距离中心很远的点的抑制
3.  Box size:  4 × H × W 4\\times H\\times W 4×H×W，对每个点针对于所在的目标回归边界  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70]  
    这样一来，FCOS执行inference的过程中，Headmap上的每一个点都会被划分类别，及其预测的与bbox的关系，并且由center-ness分支的分数，抑制那些与中心偏离太远的点，也就是输出结果很不可靠的点，那么同一个GT，会有多个预测值，最后一定要通过NMS得到最终输出。  
    这就是为什么CenterNet理论上不需要NMS，而FCOS是需要的。

## 样本标定 ##

根据上面的介绍，FCOS在训练时需要给每一个点分配类别标签，同时还要之后每个点对应边界的关系，或者比较好计算，那么前者应该怎么做？  
如果位置某个点落入任何真实边框，就认为它是一个正样本，它的类别标记为这个真实边框的类别。  
这样会带来一个问题，如果标注的真实边框重叠，某个点映射到原图中落到多个真实边框，这个位置被认为是模糊样本，FCOS中使用了多级预测的方式处理模糊样本的问题，改善这种界定不清晰的情况，但是如果还有的话，那就直接用多个真实目标中最小的那个作为这个点的标定。  
其实这个设置也很好理解，就拿下面这个图来说：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70 1]  
右侧的网球拍和人，有一部分交叠，但是起码网球拍嗨哟偶属于自己这部分的点，但是如果左侧的棒球棒也是一个类别的话，那它都在人的bbox里面，没有是完全只属于自己的点的，所以这个时候只能按照小的来。  
当然上述两个种情况，都会在多级预测机制中被消除。

## 损失函数 ##

![在这里插入图片描述][20210131223744361.png]

损失函数就是分类和回归损失。

## 多级预测 ##

多级预测就是之前目标检测领域多被用到的多尺度预测，同来捕捉不同size的object，但是FCOS中的多级预测形式有所区别，并且有更多的作用。FCOS通过直接限定不同特征级别的边界框的回归范围来进行分配，这个值由需要回归的 l, t, r 和 b中的最大的那个决定，这样一来，之前提到的模糊样本问题就大概率的被分到的不同的层级中预测，也就缓解了这个类别界定问题。

## Center-ness ##

通过上述方法，作者实验后还是发现FCOS与主流anchor-base方法之前的效果存在不小的差距，分析后得出，是因为很多偏离目标中心点的框产生的预测结果差导致的。既然如此，那就需要抑制这些点。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70 2]  
上图反应的是越是红的地方，离中心点越近，越是蓝色的地方，离中心点越远。那么首先需要一个度量方式反应某个点与中心点的距离，这个值越大，与中心点的距离应该更近，相反的应该更远：  
![在这里插入图片描述][20210131215540101.png]  
由于l， r， t 和b本身就是要预测的值，centerness可以作为一个约束参与训练，centerness是一个0-1之间的值，作者使用了二值交叉熵loss，不过感觉回归loss也是可以的。  
可能是因为本身就是辅助作用，影响不大。  
之前也提到了，FCOS一定需要NMS，而因为centerness的存在，用于排序的分数不能只是confidence，而是在confidence的基础上乘以centerness分数。

## 下采样倍率 ##

最后是FCOS的下采样倍率，这个和centernet，cornernet是不同的，FCOS的下采样和anchor-base方法一直，比如在论文中的示例中，由于使用了FPN的方法，FCOS下采样倍率是8，16，32，64，128。

# FCOS性能评价 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70 3]  
从paper给出的结果看，FCOS的表现要好与CenterNet，但是需要注意的是，CenterNet的结构设计太过简洁了，它的最后输出只有一层，只下采样4倍，整个Head的部分非常干净，并且CenterNet的实验结果是在固定的512\*512输入下跑出来的，FCOS虽然也是single scale结果，但是随即缩放短边到640-800之间。  
此外，CenterNet的paper更像要表达一种思路是，anchor free的center思想去处理2D检测，3D检测，姿态估计等等任务，而FCOS只做了检测，它们都是在CornerNet之后非常优秀的anchor free方法，但是各有侧重。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200929203851221.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc=,size_16,color_FFFFFF,t_70#pic_center
[object detection_ R-CNN_CNN]: http://blog.csdn.net/chaipp0607/article/details/78112861
[object detection_ SPP-Net]: http://blog.csdn.net/chaipp0607/article/details/78446708
[object detection_ Fast R-CNN_end-to-end]: http://blog.csdn.net/chaipp0607/article/details/78458883
[object detection_ Faster R-CNN_RPN_Fast R-CNN]: http://blog.csdn.net/chaipp0607/article/details/78492328
[object detection_ YOLO]: https://zhangxu.blog.csdn.net/article/details/78535113
[object detection_ SSD]: https://zhangxu.blog.csdn.net/article/details/98962500
[object detection_ R-FCN_Faster R-CNN]: http://blog.csdn.net/chaipp0607/article/details/78525483
[object detection_ YOLOv2]: https://zhangxu.blog.csdn.net/article/details/79318396
[object detection_ YOLOv3]: https://zhangxu.blog.csdn.net/article/details/99700184
[object detection_ FPN]: https://zhangxu.blog.csdn.net/article/details/99988305
[object detection_ RetinaNet_one-stage]: https://zhangxu.blog.csdn.net/article/details/100035827
[object detection_ CornerNet_anchor free]: https://blog.csdn.net/chaipp0607/article/details/100057803
[object detection_ CenterNet_no Anchor_no NMS]: https://blog.csdn.net/chaipp0607/article/details/106991047
[object detection_ FCOS]: https://zhangxu.blog.csdn.net/article/details/106991074
[object detection_ Selective Search]: https://zhangxu.blog.csdn.net/article/details/99442318
[object detection_ OHEM]: https://zhangxu.blog.csdn.net/article/details/100564629
[object detection_ Faster R-CNN_YOLO_SSD_YOLOv2_YOLOv3]: https://zhangxu.blog.csdn.net/article/details/102094625
[FCOS_ Fully Convolutional One-Stage Object Detection]: https://arxiv.org/abs/1904.01355
[Link 1]: https://cshen.github.io/
[Link 2]: https://zhitian.xyz/
[BoxInst]: https://arxiv.org/abs/2012.02310
[AdelaiDet]: https://github.com/aim-uofa/AdelaiDet
[CenterNet]: https://zhangxu.blog.csdn.net/article/details/106991047
[CondInst]: https://arxiv.org/abs/2003.05664
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210130172308951.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210131200948167.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc=,size_16,color_FFFFFF,t_70
[20210131223744361.png]: https://img-blog.csdnimg.cn/20210131223744361.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210131223606493.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc=,size_16,color_FFFFFF,t_70
[20210131215540101.png]: https://img-blog.csdnimg.cn/20210131215540101.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210131221033354.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc=,size_16,color_FFFFFF,t_70