detectron2学习|以CenterNet2的训练流程为例分析

拼搏现实的明天。 2023-01-17 03:26 322阅读 0赞

### detectron2学习|以CenterNet2的训练流程为例分析 ###

*  摘要
 *  项目结构
 *  启动训练：
 *   *  整合配置文件cfg
     *  build model
     *  训练准备
     *  训练
     *   *  backbone
         *  proposal\_generator
         *  RoI\_Head
         *  总loss
     *  反向传播
 *  Idea

# 摘要 #

本文为detectron2的学习笔记，具体以CenterNet2为例来分析。一般而言，训练时可以使用detectron2自带的tools/train\_net.py中的训练流程来训练，也可以自己自定义一个train\_net.py按照自己想要到pipeline来训练，这里的CenterNet2就是自己自定义了一个train\_net.py，但是过程其实和detectron2自带的大同小异。

**CenterNet2算法介绍：**[论文阅读|CenterNet 2， Probabilistic two-stage detection概率二阶段目标检测][CenterNet 2_ Probabilistic two-stage detection]

# 项目结构 #

detectron2的项目结构如下所示，其中部分非关键内容已经省略。  
├── build  
├── checkpoints  
│ ├── CenterNet2\_R50\_1x.pth  
├── configs  
├── datasets  
├── demo  
│ ├── demo.py  
│ └── README.md  
├── detectron2  
│ ├── checkpoint  
│ │ ├── catalog.py  
│ │ ├── detection\_checkpoint.py  
│ ├── config  
│ │ ├── config.py  
│ │ ├── defaults.py  
│ ├── data  
│ │ ├── build.py  
│ │ ├── catalog.py  
│ │ ├── common.py  
│ │ ├── dataset\_mapper.py  
│ │ ├── datasets  
│ │ ├── detection\_utils.py  
│ │ ├── samplers  
│ │ └── transforms  
│ ├── engine  
│ │ ├── defaults.py  
│ │ ├── hooks.py  
│ │ ├── launch.py  
│ │ └── train\_loop.py  
│ ├── evaluation  
│ │ ├── coco\_evaluation.py  
│ ├── export  
│ ├── **init**.py  
│ ├── layers  
│ ├── modeling  
├── detectron2.egg-info  
├── dev  
├── docker  
├── docs  
├── GETTING\_STARTED.md  
├── INSTALL.md  
├── LICENSE  
├── MODEL\_ZOO.md  
├── output  
├── projects  
│ ├── CenterNet2  
│ │ ├── centernet  
│ │ ├── centernet2\_docs  
│ │ ├── configs  
│ │ ├── demo.py  
│ │ ├── output  
│ │ ├── predictor.py  
│ │ ├── **pycache**  
│ │ └── train\_net.py  
│ ├── datasets  
│ │ └── coco  
├── README.md  
├── setup.cfg  
├── setup.py  
├── tests  
└── tools  
├── train\_net.py  
└── 其它的省略.py

# 启动训练： #

python projects/CenterNet2/train_net.py  --config-file projects/CenterNet2/configs/CenterNet2_R50_1x.yaml

## 整合配置文件cfg ##

进入train\_net.py的程序入口，然后调用参数解析器解析得到args，其中包含配置文件路径和model权重文件路径等参数，然后在main函数中将这些参数和detectron2内置配置文件default.py中的配置、CenterNet2自己的默认配置，以及选定的配置文件中的配置，最后还有自己在命令行中参数形式输入的配置整合起来得到最终配置文件对象cfg，整合时如遇到相同属性不同内容，后面的覆盖前面的。

## build model ##

得到配置文件对象cfg后，调用build\_model(cfg)函数构造model，该函数会首先根据cfg中的cfg.MODEL.META\_ARCHITECTURE指定的检测器来调用相应模型的构造函数，而这里的调用原理则是一种注册机制（registry）。在该检测器的构造函数中， 会使用build函数如build\_backbone、build\_roi\_heads等根据cfg中的相应配置如cfg.MODEL.BACKBONE.NAME、cfg.MODEL.ROI\_HEADS.NAME来调用对应部分的构造函数构造该检测器的各个组件。

> 这里的调用方式采用注册机制，用户首先自己实现具体组件，然后通过在该组件类声明的上方添加注解如@META\_ARCH\_REGISTRY.register()即可实现关联，相当于将其加入了register中的一个字典中，key为类名，value为对应类，通过字典的get（key）函数即可得到相应的类，然后传入参数构造module，如model = META\_ARCH\_REGISTRY.get(meta\_arch)(cfg)。

## 训练准备 ##

构造完模型后模型加载权重或恢复训练，然后model.train()开启训练模式（训练模式和test模式下bn实现不同），然后构造optimizer、scheduler、DetectionCheckpointer，PeriodicCheckpointer等，后两个配合使用来间断性的save checkpoint，如果是恢复训练的话还要恢复之前训练到iter次数，然后关键的还有构造DatasetMapper和data\_loader，detectron2中的数据读取都是通过mapper获取然后传入dataloader，通过data\_loader这个迭代器每次获取batch长度的data数组。

## 训练 ##

通过如下的一个经典for循环，我们开始了训练过程，即每次迭代地获取dataloader中一个batch的数据，这里data中的数据是一个长为batch的dict数组，每个dict中包括image、instance以及图片宽高等meta信息,其中每个instance包括该图片的gt\_boxes和gt\_classes（detectron2中有对mapper获取的数据格式做要求，所以一般都至少包括这些必要信息）。

for data, iteration in zip(data_loader, range(start_iter, max_iter)):

迭代得到data后将data“喂”给model，

loss_dict = model(data)

然后model返回一个loss的dict，里面包含各种损失，如下所示

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center]

这里前6个loss对应CenterNet2的Cascade R-CNN的3个Head的cls和reg的loss，最后3个loss分别是CenterNet作为第一阶段生成proposal时的类别无关的loc loss，置信度loss之正负样本loss。

### backbone ###

data进入model后，即前面meta\_arch构建的detector的forward，首先会调用preprocess\_image预处理，但是这里的预处理只是Normalize, pad and batch the input images.。

得到backbone输出的features

features = self.backbone(images.tensor)

然后将图片转到gpu后送入backbone，得到cfg中指定的输出特征图，这里是通道256、stride为8-128的p3-p7的FPN输出特征图（detectron2把FPN部分也算作backbone）。

### proposal\_generator ###

proposals, proposal_losses = self.proposal_generator(images, features, gt_instances)

将图片、backbone输出的features以及gt\_instance输入proposal\_generator（这里proposal\_generator是CenterNet），CenterNet将features传入CenterNetHead得到logits\_pred, reg\_pred, agn\_hm\_pred ，分别是每层特征图的clss概率得分，reg预测以及类别无关的置信度预测，这里如果只将CenterNet作为生成Proposals的第一阶段，则logits\_pred是None，只有类别无关的置信度agn\_hm\_pred，反之，如果是单独的一阶段检测器CenterNet则没有类别无关的置信度。

然后计算得到每层特征图上的gird坐标grids, 获取每层特征图的尺寸shapes\_per\_level。

通过grids, shapes\_per\_level, gt\_instances计算得到每个图片中每个gt中心关键点对应的grid的index：pos\_inds，以及对应每个gt的类别：label，还有所有特征图上每个位置的4个回归对象reg\_targets（每个grid和其距离最近的gt的四个回归对象，如果grid不再任何gt的半径内，则其回归值为负无穷），特征图上每个位置的高斯权重特征图flattened\_hms。![在这里插入图片描述][20210426214417613.png_pic_center]

然后根据已有的target信息和pred信息，以及权重信息计算loss。

losses = self.losses(
        pos_inds, labels, reg_targets, flattened_hms,
        logits_pred, reg_pred, agn_hm_pred)

这里的loss除了回归loss外，如果是单独做检测器，就还有各类的类别loss，包括正负样本loss  
如果是作为二阶段概率检测的第一阶段，那就包含置信度的正负样本loss。

类别损失或置信度损失按照这个计算:

![在这里插入图片描述][20210426214337785.png_pic_center]

回归损失使用IoU\_loss。

计算损失后就是调用predict\_instances得到proposals，这里proposals内包括了每个proposals的pre\_boxes,scores.

### RoI\_Head ###

得到一阶段的proposals之后，将proposals，特征图features，图片，以及实例送入roi\_heads。

_, detector_losses = self.roi_heads(images, features, proposals, gt_instances)

进入RoI\_Head后首先是对proposals做处理，即给每个proposals增加gt\_classes and gt\_boxes。

然后RoIHead对proposals做pooling操作后得到每个proposals特征，然后送入cascade r-cnn的第一个head得到预测（分类和回归），然后用预测的回归对之前的proposals处理得到新的proposals，存储此阶段的(predictor, predictions, proposals)，然后将proposals送入下一个head进行上述重复操作，直到所有head都经历上述步骤。

然后，使用之前存储的每个head的(predictor, predictions, proposals)来计算每个head的loss，这里的loss包括cls和reg的loss，然后返回proposals（第一阶段传来的proposals，加了gt\_classes，gt\_boxes）和这n个head的每个损失。**但是有个问题是，为什么在计算loss的时候每个head预测的类别score不和proposals的objectness\_logits交互（相乘然后开放），只在inference的时候才有这一步。**

### 总loss ###

将一阶段的loss和二阶段的loss整合得到所有的loss，即model(data)返回的loss\_dict。

losses = {}
        losses.update(detector_losses)
        losses.update(proposal_losses)

## 反向传播 ##

有了所有部分的loss之后将他们相加，然后开始反向传播。

losses = sum(
        loss for k, loss in loss_dict.items())
    optimizer.zero_grad()
    losses.backward()
    optimizer.step()
    scheduler.step()
    periodic_checkpointer.step(iteration)

# Idea #

观察代码发现第二阶段的score和第一阶段的score相乘只发生在inference的时候，是否可以在训练的时候将第一阶段输出的score（置信度）和第二阶段输出的score相乘呢？这样是否有意义？

论文中的概率公式没在代码中体会到~（修正，在仔细看论文中代码后感觉其概率公式部分是为了论证使用一个一阶段检测器作为proposals\_generator的可行性）

cascade r-cnn中的几个head那里，inference时可以将每个head的score相乘然后开方吗？

另外一个思路，可不可以把multi\_head运用在第一个stage生成一个精度越来越高的置信度和一个越来越准确的边框，即得到更高质量的proposals，然后第二stage转而使用一个head而不是multi-head。

—分割线  
以上idea应该没有意义，希望没有干扰到您

[CenterNet 2_ Probabilistic two-stage detection]: https://editor.csdn.net/md/?articleId=115934685
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center]: /images/20221022/18fadcfd750c4c5d9163d319c20bb07e.png
[20210426214417613.png_pic_center]: /images/20221022/d93cd6f19748425eb4e2ad20d4b6fccf.png
[20210426214337785.png_pic_center]: /images/20221022/85de5683680d4c46a0ef1d00ee98f64f.png