Mask R-CNN

╰半夏微凉° 2022-12-18 01:53 89阅读 0赞

https://arxiv.org/abs/1703.06870  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]

### 摘要 ###

我们提供了一个概念简单、灵活、通用的对象实例分割框架。我们的方法有效地检测图像中的目标，同时为每个实例生成高质量的分割掩模。该方法被称为Mask R-CNN，它扩展了Faster R-CNN，增加了一个用于预测对象蒙版的分支，与现有的用于边界盒识别的分支并行。Mask R-CNN是简单的训练，只增加一个小开销更快的R-CNN，运行在5帧每秒。此外，Mask R-CNN很容易推广到其他任务，例如，让我们在相同的框架下估计人体姿势。我们展示了COCO挑战套件的所有三条轨迹中最顶端的结果，包括实例分割、boundingbox对象检测和person关键点检测。没有铃铛和哨子，Mask R-CNN优于所有现有的，单一模式的参赛项目在每项任务，包括可可2016挑战的获胜者。我们希望我们简单而有效的方法将作为一个坚实的基线，帮助简化未来在实例级识别方面的研究。代码已提供:https://github.com/ facebookresearch/Detectron。

### 1 引言 ###

视觉社区在短时间内迅速提高了目标检测和语义分割的结果。在很大程度上，这些进步是由强大的基线系统驱动的，例如Fast/Faster RCNN\[12,36\]和用于对象检测和语义分割的全卷积网络(FCN)\[30\]框架。这些方法具有概念直观、效率灵活、训练和推理时间快等优点。我们在这项工作的目标是开发一个类似的启用框架工作实例分割。  
实例分割是具有挑战性的，因为它要求正确地检测图像中的所有对象，同时也精确地分割每个实例。因此结合了古典元素从计算机视觉任务的对象检测、目标是单个对象进行分类和定位每一个使用一个边界框,和语义分割,目标是每个像素分类为一组固定的类别没有区分对象实例。鉴于此，人们可能会认为需要复杂的方法才能获得良好的结果。然而，我们证明了一个惊人的简单，灵活，和快速的系统可以超过先进的实例分割结果。  
我们的方法,称为Mask R-CNN,通过在每个感兴趣的区域(RoI)添加一个分支预测分割mask延伸Faster R-CNN\[36\],与现有的并行分支分类和边界框回归(图1)。mask分支是一个小FCN应用于每一个RoI,预测在一个像素的像素分割掩模的方式。Mask R-CNN是简单的实现，在给定的Faster R-CNN框架上预测，这有利于广泛的灵活的架构设计。此外，掩码分支只增加了很小的计算开销，从而实现了快速系统和快速实验。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]

原则上，Mask R-CNN是Faster R-CNN的直观扩展，但是正确地构造Mask分支对于好的结果至关重要。最重要的是，Faster RCNN不是为网络输入和输出之间的像素到像素对齐而设计的。这一点在RoIPool\[18, 12\]中最为明显，RoIPool\[18, 12\]实际上是处理实例的核心操作，它为特征提取执行粗略的空间量化。为了解决这个问题，我们提出了一个简单的、没有量化的层，称为RoIAlign，它忠实地保留了精确的空间位置。尽管是一个看起来很小的变化，但RoI Align却有很大的影响:它将掩码精度提高了10%到50%，在更严格的本地化指标下显示出更大的增益。其次，我们发现必须将掩码和类预测解耦:我们独立地预测每个类的二进制掩码，类之间没有竞争，并依赖网络的RoI分类分支来预测类别。相比之下，FCNs通常采用逐像素多类分类，将分割和分类结合在一起，在实例分割方面效果较差。  
在没有铃铛和哨子的情况下，Mask R-CNN在COCO实例分割任务\[28\]中超越了之前所有最先进的单模型结果，包括来自2016年竞赛获胜者的经过高度设计的作品。作为一个副产品，我们的方法在COCO对象检测任务上也有优势。在消融实验中，我们评估了多个基本实例，这使我们能够证明其稳健性并分析核心因素的影响。  
我们的模型在GPU上可以运行约200ms / 帧，在一台8-GPU机器上对COCO进行训练需要1到2天。我们相信，快速的训练和测试速度，以及框架的灵活性和准确性，将有利于和简化未来的研究实例分割。  
最后，我们通过对COCO关键点数据集\[28\]进行人体姿态估计的任务来展示我们的框架的通用性。通过将每个关键点视为one-hot 二进制掩模，用最小的修改Mask R-CNN可以应用于检测实例特有的姿态。Mask R-CNN超越2016年COCO keypoint比赛的冠军，同时以5帧每秒的速度运行。因此，Mask R-CNN可以更广泛地作为实例级识别的灵活框架，并且可以很容易地扩展到更复杂的任务。  
我们已经发布了代码，以促进未来的研究。

### 2 相关工作 ###

**R-CNN:** 基于区域的CNN (R-CNN)方法\[13\]对边界盒目标检测是关注可管理数量的候选目标区域\[42,20\]，在每个RoI上独立评估卷积网络\[25,24\]。R-CNN被扩展\[18,12\]，允许使用RoIPool对feature map上的RoIs进行关注，使得速度更快，准确性更高。Faster R-CNN\[36\]通过学习区域建议网络(RPN)的注意机制来推进这个流。更快的R-CNN对于许多后续改进(例如\[38,27,21\])来说是灵活和健壮的，并且在几个基准测试中领先框架。  
**实例分割:** 由于RCNN的有效性，许多实例分割方法都是基于分割建议的。早期的方法\[13,15,16,9\]采用自下而上的分段\[42,2\]。DeepMask\[33\]和后续的工作\[34,8\]学习提出候选分段，然后用Fast R-CNN进行分类。在这些方法中，分割优于识别，速度慢，准确率低。同样地,Daietal\[10\]提出了一种复杂的多级级联方法，该方法从限定框方案预测细分方案，然后是分类。相反，我们的方法是基于掩码和类标签的并行预测，更加简单灵活。  
最近，Li等人\[26\]将\[8\]中的分割建议系统和\[11\]中的目标检测系统结合起来，实现了“全卷积实例分割”(FCIS)。在\[8,11,26\]中常见的想法是完全卷积地预测一组位置敏感的输出通道。这些通道同时定位对象类、盒子和掩码，使系统快速。但是FCIS在重叠实例上显示了系统错误，并产生了假边(图6)，这表明它面临着分割实例的基本困难。  
另一个例子分割的家族解决方案\[23,4,3,29\]是由语义分割的成功驱动的。这些方法从逐像素分类结果(如FCN输出)开始，尝试将同一类别的像素分割成不同的实例。与这些方法的分段优先策略不同，Mask R-CNN基于实例优先策略。我们期望在未来研究更深入地结合这两种策略。

### 3 Mask RCNN ###

Mask RCNN概念非常简单：对于每个候选对象fasterr - cnn有两个输出，一个类标签和一个限定框偏移量;在此基础上，我们添加了输出对象掩码的第三个分支。因此，mask - cnn是一个自然和直观的想法。但是额外的掩码输出与类和框输出不同，需要提取更精细的对象空间布局。接下来，我们介绍Mask R-CNN的关键元素，包括像素到像素的对齐，这是Fast/Faster的R-CNN缺失的主要部分。  
**Faster R-CNN:** 我们首先简要回顾一下Faster R-CNN检测器\[36\]。FasterR-CNN包括两个阶段。第一阶段称为区域建议网络(RPN)，提出候选对象包围盒。第二阶段实质上是Fast R-CNN\[12\]，使用RoIPool从每个候选框中提取特征，并进行分类和边界盒回归。这两个阶段使用的特征可以共享，以便更快地进行推断。我们建议读者通过\[21\]了解更快的R-CNN和其他框架之间最新的、全面的比较。  
**Mask R-CNN:** Mask R-CNN采用相同的 two-stage程序，第一阶段(RPN)相同。在第二阶段，在预测类和框偏移量的同时，Mask R-CNN也为每个RoI输出一个二进制掩模。这与最近的系统形成了对比，后者的分类依赖于掩模预测(例如\[33,10,26\])。我们的方法遵循了Faster R-CNN\[12\]的精神，同时应用了边界盒分类和回归(这大大简化了原来R-CNN\[13\]的多级流水线)。  
正式地，在训练过程中，我们将每个抽样RoI上的多任务损失定义为L = Lcls + Lbox + Lmask。分类损失Lcls和边界盒丢失Lbox与\[12\]中定义的相同。掩码分支对每个RoI都有一个 k m 2 km^2 km2维的输出，为m×m的二进制掩码编码K个分辨率，K个类中每个有一个。为此，我们应用一个逐像素的sigmoid，并定义Lmask为平均二值交叉熵损失。对于与真类k相关联的情况，Lmask只定义在第k个mask上(其他mask的输出不会造成损失)。  
我们对Lmask的定义允许网络为每个类生成掩码，而不存在类之间的竞争;我们依赖于专用的分类分支来预测用于选择输出掩码的类标签。这就解耦了掩码和类预测。这与将FCNs\[30\]应用于语义分割时的常见做法不同，语义分割通常使用每个像素的softmax和多项交叉熵损失。在这种情况下，各个类的Mask竞争;在我们的例子中，每个像素的sigmoid和二进制的损失，各类之间不存在竞争。实验表明，该公式是获得良好实例分割结果的关键。  
**掩码表示:** 掩码对输入对象的空间布局进行编码。因此，与完全连接(fc)层不可避免地折叠成短输出向量的类标签或框偏移量不同，卷积提供的像素到像素对应关系可以自然地解决掩码空间结构的提取问题。  
具体来说，我们使用FCN\[30\]从每个RoI中预测一个m×m掩模。这允许掩码分支中的每一层保持显式的m×m对象空间布局，而不将其折叠成缺乏空间维度的向量表示。与以往使用fc层进行掩码预测的方法不同\[33,34,10\]，我们的全卷积表示需要的参数更少，实验证明其准确性更高。  
这种像素到像素的行为要求我们的RoI特征(它们本身就是小的特征映射)很好地对齐，以忠实地保持明确的每像素空间对应关系。这促使我们开发以下在掩模预测中扮演关键角色的RoIAlign层。  
**RoIAlign:** RoIPool\[12\]是从每个RoI中提取小特征图(如7×7)的标准操作。RoIPool首先将一个浮点感兴趣区域量化到特征图的离散粒度，然后将量化后的感兴趣区域再细分为自己量化的空间bin，最后将每个bin覆盖的特征值进行聚合(通常采用最大pooling)。例如，在连续坐标x上通过计算\[x/16\]进行量化，其中16为feature map步长，\[·\]为舍入;同样，在划分bin时进行量化(如7×7)。  
这些量化引入了RoI和提取的特征之间的不一致。虽然这可能不会影响分类(分类对于小的翻译是健壮的)，但它对预测像素精度的遮罩有很大的负面影响。  
为了解决这个问题，我们提出了一个RoIAlign层，它消除了RoIPool的苛刻量化，正确地将提取的特征与输入对齐。我们提议的改变很简单:我们避免了对RoI边界或bin的任何量化(例如，我们使用x/16而不是\[x/16\])。我们使用双线性插值\[22\]来计算每个RoI bin中四个定期采样位置的输入特征的精确值，并聚合结果(使用max或average)，见图3。我们注意到，只要不进行量化，结果对精确的采样位置或采样的点数并不敏感。  
![在这里插入图片描述][20201024223526504.png_pic_center]  
正如我们在§4.2中所示，RoIAlign带来了巨大的改进。我们还将其与\[10\]中提出的RoIWarp操作进行了比较。与RoIAlign不同，RoIWarp忽略了对齐问题，在\[10\]中实现为RoIPool一样的RoI量化。因此，虽然RoIWarp也采用了\[22\]驱动的双线性重采样，但其性能在实验中与RoIPool相当(详见表2c)，说明了对齐的关键作用。  
**网络架构:** 为了演示我们方法的通用性，我们实例化了Mask R-CNN的多种架构。为了清晰起见，我们区分:(i)用于在整幅图像上提取特征的卷积骨干架构，(ii)分别应用于每个RoI的网络头用于边界盒识别(分类和移位)和掩模预测。  
我们使用术语网络深度特征来表示骨干体系结构。我们评估了50或101层深度的ResNet\[19\]和ResNeXt\[45\]网络。最初使用ResNets\[19\]实现的Faster R-CNN从第4阶段的最后卷积层提取特征，我们称之为C4。例如，带有ResNet-50的主干由ResNet-50- c4表示。这是常用的选择\[19,10,21,39\]。  
我们还探索了Lin等人\[27\]最近提出的另一种更有效的骨干网络，称为特征金字塔网络(FPN)。FPN使用一种自上而下的架构和横向连接，从单尺度输入构建一个网络内特征金字塔。带有FPN主干的FasterR-CNN从特征金字塔的不同层次中根据其规模提取RoI特征，但除此之外，该方法的其余部分类似于vanilla ResNet。使用ResNet-FPN骨干进行特征提取和掩模RCNN在准确性和速度上都有很好的提高。有关FPN的更多细节，请参阅\[27\]。  
对于网络头，我们紧跟之前工作中提出的架构，我们添加了一个完全卷积掩码预测分支。具体来说，我们从ResNet\[19\]和FPN\[27\]文件中扩展了Faster R-CNN盒头。详细信息如图4所示。ResNet- c4骨干上的头部包括ResNet的第5阶段(即9层’ res5 '\[19\])，这是计算密集型的阶段。对于fpn，脊骨已经包括res5，因此允许使用更少的过滤器更有效的头部。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]  
我们注意到掩码分支有一个简单的结构。更复杂的设计有提高性能的潜力，但不是这项工作的重点。

##### 3.1 实现细节 #####

我们根据现有的Fast/Faster R-CNN工作设置超参数\[12,36,27\]。虽然在原始论文中这些决定都是针对对象检测做出的\[12,36,27\]，但我们发现我们的实例分割系统对它们是鲁棒的。  
**训练:** 正如Fast R-CNN，如与地面真值盒的IoU至少为0.5,则ROI被认为是阳性的，否则为阴性。只有RoIs为正数时才定义。掩码目标是RoI与其关联的地真掩码的交集。  
我们采用以图像为中心的训练\[12\]。图像将调整大小，使其规模(较短的边缘)为800像素\[27\]。每个迷你批处理每个GPU有2个图像，每个图像有N个采样RoIs，与1:3的正\[12\]负\[12\]的比率。对于C4骨干，N为64(如\[12,36\])，对于FPN(\[27\])， N为512。我们在8gpu(所以有效的小批量大小是16)上训练160k迭代，学习率为0.02，在120k迭代时降低了10。我们使用重量衰减为0。0001动量为0.9。使用ResNeXt\[45\]，我们用每GPU一张图像和相同的迭代次数进行训练，初始学习率为0.01。  
RPN锚跨5个尺度和3个纵横比，\[27\]之后。为了方便消融，RPN是单独训练的，除非指定，它不与Mask R-CNN共享特征。对于本文中的每个条目，RPN和Mask r - cnn都有相同的靠背，所以它们是可共享的。  
**推断:** 在测试时，C4骨干的建议数是300(\[36\]中)，FPN的提案号是1000(\[27\]中)。我们在这些建议上运行框预测分支，然后是非最大抑制\[14\]。掩码分支应用于得分最高的100个检测盒。尽管这与训练中使用的并行计算不同，但它加速了推理并提高了准确性(由于使用了更少、更准确的roi)。每个RoI的掩模分支可以预测K个掩模，但我们只使用第K个掩模，其中K为分类分支预测的类。然后将m×m的浮点掩码输出大小调整为RoI大小，并在0.5的阈值下进行二值化。  
注意，由于我们只计算前100个检测盒上的Mask, Mask R-CNN会给其更快的R-CNN对手增加一点开销(例如，对于典型模型约为20%)。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]: /images/20221122/f5c1f87945e94abea37e910867988b25.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221122/4ebef03e67ec4689a46cb99be553bc4e.png
[20201024223526504.png_pic_center]: /images/20221122/dfecaa7f80734d299283793bce558999.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221122/d8a6d980428345cc86a86c09cc44c560.png