Rethinking of Pedestrian Attribute Recognition: Realistic Datasets and A Strong Baseline

灰太狼 2022-10-31 00:41 10阅读 0赞

论文：[https://arxiv.org/pdf/2005.11909v2.pdf][https_arxiv.org_pdf_2005.11909v2.pdf]  
代码：[https://github.com/valencebond/Strong\_Baseline\_of\_Pedestrian\_Attribute\_Recognition][https_github.com_valencebond_Strong_Baseline_of_Pedestrian_Attribute_Recognition]

# 1 论文 #

本文分析了行人重识别常用数据集PETA和RAP的缺陷，对数据集进行了修正，得到了 P E T A z s PETA\_\{zs\} PETAzs和 R A P z s RAP\_\{zs\} RAPzs两个数据集。并且作者提出了强的baseline模型已经具有了很好的属性定位能力，无需使用额外的注意力机制或STN进行关注区域定位。

**PETA和RAP数据集的缺陷**：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70]PETA和RAP数据集中最大的缺陷是，**训练集中和测试集中包含了同一人的图像且图像间的差异很小**，如Fig. 1(a)(b)所示，这和实际的项目应用场景是不符的。这会**造成各算法的测试结果优于其实际应用结果**，如Fig. 2所示，作者使用PETA测试数据集中不同重叠度的数据子集进行测试，可以明确发现**当训练集和测试集没有人员重复时，模型的准确率会显著下降**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 1]**修正PETA和RAP数据集**：

作者统计了原有PETA数据集划分方式下，训练集和测试集中来自于同一人的数据重复情况，如Fig. 3(a)所示，可以看出训练集和测试集中出现了很多的同一人的情况，具体是在训练集和测试集中，有1106个人重复出现，占测试集总人数的26.91%，重复出现的人的总图像量占总测试集的57.7%。而在实际应用中，基本上不会出现训练集和测试集是同一人的情况，Fig. 2也给出了，在PETA数据集上，如果只用不重复人的测试图像进行模型测试，精度相比使用现有的测试集会下降很多，所以非常有必要对现有的数据集进行修正。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 2]作者提出了下面五个原则进行数据集的修正：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 3]  
 I I I是指Identity，指人数；N是图片数量；R是指各属性正样本的比例；T指阈值。

1,2,3是为了保证训练、验证和测试集分别包含的是不同人的图像，比例为3:1:1，且验证集中包含的人数和测试集包含的人数差异要小于 ∣ I a l l ∣ × T i d |I\_\{all\}| \\times T\_\{id\} ∣Iall∣×Tid， T i d T\_\{id\} Tid设置为0.01；

4,5是为了保证训练集和测试集的属性分布(不理解作者的意图)， T i m g T\_\{img\} Timg设置为300， T a t t r T\_\{attr\} Tattr设置为0.03.

作者按照上述五条规则对PETA和RAP数据集进行了重新划分，得到了 P E T A z s PETA\_\{zs\} PETAzs和 R A P z s RAP\_\{zs\} RAPzs数据集，如下表所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 4]**Baseline**：

**数据集**：  
![在这里插入图片描述][20210220154405849.png]  
N表示图像数量，M表示属性数量， y i y\_i yi表示各图像的属性label，这里是默认按照对各属性进行二分类判别的。

**损失函数**：

因为把行人属性识别看成了是多个二分类问题，因此采用`sigmoid`激活函数，损失函数表示为：  
![在这里插入图片描述][20210220155112994.png] w j w\_j wj是为了解决属性不均衡问题引入的参数，可以表示为：

![在这里插入图片描述][20210220155227302.png] r j r\_j rj表示训练集中第 j j j个属性为正的比例值。

**度量标准**：

采用了五个度量标准：

*  一个基于label的标准(mA)，计算各属性的正样本和负样本分类的准确率的均值；
 *  四个基于instance的标准，分别是Acc、P、R和F1；
 *  主要使用mA和F1作为度量标准；

**训练细节**：

*  骨干网络：ResNet50
 *  输入图像大小：256 \* 192，使用随机水平镜像
 *  SGD，momentum=0.9，weight decay = 5e-4
 *  初始学习率 0.01
 *  batchsize = 64
 *  plateau学习率衰减策略，衰减比例0.1
 *  训练30个epoch

**实验结果**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 5]`existing`表示原有数据集；`zero-shot`表示处理后的数据集，也就是 P E T A z s PETA\_\{zs\} PETAzs。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 6]在原有数据集上的对比，也可以作为各算法的效果对比。有三点发现：

*  PA100K中训练集和测试集人员重叠较少，结果更可信；
 *  作者使用ResNet50比MsVAA效果更好，后者使用ResNet101，参数量更多；
 *  相比于VAC，使用了更多的数据增广策略，网络上也有两个额外的分支网络，作者使用ResNet50参数量少，但效果相当；
 *  将线性分类器替换为基于余弦距离的分类器，模型的效果可以小幅度提升；
 *  对各属性 分类器的权重进行归一化可以使其独立于正样本，有助于提升性能。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 7]作者实现的baseline效果更好的原因是，**一个效果更好的baseline可以进行更好地进行感兴趣区域的定位**。作者用GradCAM测试了其方法定位的感兴趣区域，发现已经很准确了，所以无需使用额外的注意力机制了。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 8]

# 2 代码分析 #

作者使用了四个trick，分别为：

*  sample-wise loss not label-wise loss;
    
        loss = loss.sum() / batch_size if self.size_average else loss.sum()
 *  big learning rate combined with clip\_grad\_norm;
    
        clip_grad_norm_(model.parameters(), max_norm=10.0)
 *  augmentation Pad combined with RandomCrop;
    
        train_transform = T.Compose([
                T.Resize((height, width)),
                T.Pad(10),
                T.RandomCrop((height, width)),
                T.RandomHorizontalFlip(),
                T.ToTensor(),
                normalize,
            ])
 *  add BN after classifier layer.
    
        self.logits = nn.Sequential(
                    nn.Linear(2048, nattr),
                    nn.BatchNorm1d(nattr)
                )

其余的也就是正常的训练resnet模型。

[https_arxiv.org_pdf_2005.11909v2.pdf]: https://arxiv.org/pdf/2005.11909v2.pdf
[https_github.com_valencebond_Strong_Baseline_of_Pedestrian_Attribute_Recognition]: https://github.com/valencebond/Strong_Baseline_of_Pedestrian_Attribute_Recognition
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70]: /images/20221024/016011a7433143c9ab20a23142cc8085.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 1]: /images/20221024/cae8cc7c311c42ad82d261c2de5de19f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 2]: /images/20221024/42aa702ecae44e39ad6467962e88a2ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 3]: /images/20221024/240dcaa8558b40c282964bcbd3f2b78e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 4]: /images/20221024/be021a970a61463898d831c254b16f29.png
[20210220154405849.png]: /images/20221024/919cfbcde5334424b9f2034fd66e8a53.png
[20210220155112994.png]: /images/20221024/581b1031aafd4ac68b4b1bf662aecfef.png
[20210220155227302.png]: /images/20221024/a6884183304f4f3ab3c1774f26928d81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 5]: /images/20221024/cd1cc24182364ba9910bcc63015d3ef7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 6]: /images/20221024/3cbc03992d7b4ae8b79ab3f704c8895a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 7]: /images/20221024/17039fd7cead437cbb6ea76fa4f69f0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70 8]: /images/20221024/63176c3bd5db40d5915069d007784846.png