ReID：通用性能评价标准

超、凢脫俗 2022-11-09 03:53 151阅读 0赞

# 简介 #

Market-1501是行人重识别领域最为常用的benchmark，数据集在清华大学校园中采集，夏天拍摄，在 2015 年构建并公开。它包括由6个摄像头（其中5个高清摄像头和1个低清摄像头）拍摄到的 1501 个行人、32668 个检测到的行人矩形框。每个行人至少由2个摄像头捕获到，并且在一个摄像头中可能具有多张图像。训练集有 751 人，包含 12,936 张图像，平均每个人有 17.2 张训练数据；测试集有 750 人，包含 19,732 张图像，平均每个人有 26.3 张测试数据。3368 张查询图像的行人检测矩形框是人工绘制的，而 gallery 中的行人检测矩形框则是使用DPM检测器检测得到的。该数据集提供的固定数量的训练集和测试集均可以在single-shot或multi-shot测试设置下使用。

## 结构 ##

Market-1501
    　　├── bounding_box_test
    　　　　　　　├── 0000_c1s1_000151_01.jpg
    　　　　　　　├── 0000_c1s1_000376_03.jpg
    　　　　　　　├── 0000_c1s1_001051_02.jpg
    　　├── bounding_box_train
    　　　　　　　├── 0002_c1s1_000451_03.jpg
    　　　　　　　├── 0002_c1s1_000551_01.jpg
    　　　　　　　├── 0002_c1s1_000801_01.jpg
    　　├── gt_bbox
    　　　　　　　├── 0001_c1s1_001051_00.jpg
    　　　　　　　├── 0001_c1s1_009376_00.jpg
    　　　　　　　├── 0001_c2s1_001976_00.jpg
    　　├── gt_query
    　　　　　　　├── 0001_c1s1_001051_00_good.mat
    　　　　　　　├── 0001_c1s1_001051_00_junk.mat
    　　├── query
    　　　　　　　├── 0001_c1s1_001051_00.jpg
    　　　　　　　├── 0001_c2s1_000301_00.jpg
    　　　　　　　├── 0001_c3s1_000551_00.jpg
    　　└── readme.txt

## 介绍 ##

*  bounding\_box\_test文件夹用于测试集的 750 人，包含 19,732 张图像，前缀为 0000 表示在提取这 750 人的过程中DPM检测错的图（可能与query是同一个人），-1 表示检测出来其他人的图（不在这 750 人中）
 *  bounding\_box\_train文件夹用于训练集的 751 人，包含 12,936 张图像
 *  query文件夹为 750 人在每个摄像头中随机选择一张图像作为query，因此一个人的query最多有 6 个，共有 3,368 张图像
 *  gt\_query文件夹中存储matlab格式的标注文件，用于判断一个query的哪些图片是好的匹配（同一个人不同摄像头的图像）和不好的匹配（同一个人同一个摄像头的图像或非同一个人的图像）
 *  gt\_bbox为手工标注的bounding box，用于判断DPM检测的bounding box是不是一个好的box

## 命名规则 ##

以 0001\_c1s1\_000151\_01.jpg 为例  
1） 0001 表示每个人的标签编号，从0001到1501；  
2） c1 表示第一个摄像头(camera1)，共有6个摄像头；  
3） s1 表示第一个录像片段(sequece1)，每个摄像机都有数个录像段；  
4） 000151 表示 c1s1 的第000151帧图片，视频帧率25fps；  
5） 01 表示 c1s1\_001051 这一帧上的第1个检测框，由于采用DPM检测器，对于每一帧上的行人可能会框出好几个bbox。00 表示手工标注框

# 评价指标 #

## Rank1 ##

Rank1是我们在阅读ReID相关论文中最常见的两个指标之一，它的计算如下：  
1）首先定义一个指示函数表示 q，i 两张图片是否具有相同标签：  
![在这里插入图片描述][20210314164248243.png]  
2）那么计算rank1时，只需统计所有查询图片与他们的第一个返回结果是否相同，Q为全体查询图片query的集合， 为q这张查询图片对应的图像库中第 i 个返回结果的标签：  
![在这里插入图片描述][2021031416430171.png]  
Rank1可以表示图像的第一检索目标的准确率，同样的计算方式也可以获得Rank5，Rank10等指标。

## MAP ##

在ReID中MAP表示所有检索结果的准确率，是常用的两个ReID指标之一。计算过程如下：

1.  P：精度，即对某一张probe图片，计算前k个返回结果中与查询图片相同ID的数量比例。
2.  AP@n：平均精度，即在前n个返回结果中，只对那些返回结果正确的位置的精度进行平均，即nq为q这张查询图片在前k个返回结果中有多少个正确返回结果。
3.  mAP@n：对所有pro图片，均计算其AP，将这些结果求均值。  
    完整公式如下：  
    ![在这里插入图片描述][20210314165243384.png]

[20210314164248243.png]: /images/20221023/5410a625e54a41539c67c18a28b36fff.png
[2021031416430171.png]: /images/20221023/02537535f3614b3c9420c4b9319630de.png
[20210314165243384.png]: /images/20221023/dd7e05b943c54a67b2fe27985384beb2.png