翻译: 如何使用 HOTA 指标评估跟踪

深藏阁楼爱情的钟 2022-09-16 03:56 1015阅读 0赞

HOTA（高阶跟踪精度）是一种用于评估多目标跟踪 (MOT) 性能的新指标。它旨在克服先前指标（如 MOTA、IDF1 和 Track mAP）的许多限制。  
这篇简短的博客文章从三个部分概述了 HOTA 最重要的方面：

1.  如何计算 HOTA 指标。
2.  如何将跟踪器与 HOTA 指标进行比较。
3.  HOTA 与替代跟踪指标相比如何。  
    有关 HOTA 的更多详细信息，请查看[IJCV 2020 论文][IJCV 2020]和[GitHub 上的指标代码][GitHub]。

# 第 1 部分：如何计算 HOTA 指标。 #

HOTA CA ñ被视为组合3个欠条得分。它将评估跟踪的任务分为三个子任务（检测、关联和定位），并使用 IoU（交集对联合）公式（也称为 Jaccard 指数）计算每个子任务的分数。然后它将每个子任务的这三个 IoU 分数组合成最终的 HOTA 分数。  
下面我们来看看这三个子任务的 IoU 分数是如何计算的。

## 1.1 本土化： ##

定位测量一个预测检测和一个真实检测之间的空间对齐。定位 IoU (Loc-IoU) 通常用于许多评估指标中以衡量定位精度。它被计算为两个检测之间的重叠（交集）与它们覆盖的总面积（联合）的比率。这可以在下图中看到。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16]  
这个概念简单地从边界框扩展到分割掩码。可以看出，当这里的 Loc-IoU 分数增加时，预测和真实检测在空间上更好地对齐并且定位得到改善。  
我们可以通过平均整个数据集中所有匹配预测和真实检测对的 Loc-IoU 来测量整体定位精度 (LocA)（我们将在下面描述我们如何获得这些匹配）：  
![在这里插入图片描述][905079a2d370412a870feaa452e01ea2.png]

## 1.2 检测： ##

检测测量所有预测检测集与所有真实检测集之间的对齐。检测IoU（Det-IoU）也常用于测量检测精度。在这里，我们需要定义预测和真实检测集之间的哪些检测是相交的。为此，我们定义了一个定位阈值（例如 Loc-IoU > 0.5），高于该阈值我们说两个检测相交。然而，一个预测检测可能会与多个地面实况检测重叠（反之亦然）。为了解决这个问题，我们运行匈牙利算法来确定预测和真实检测之间的一对一匹配。这些匹配的检测对称为 True Positives (TP)，可以认为是交集在两组检测之间。不匹配的预测检测是误报 (FP)，不匹配的真实检测是误报 (FN)。检测 IoU 由下式给出：  
![在这里插入图片描述][559907688348456eac2d8b26b899fafc.png]  
我们可以看到，这与 Loc-IoU 的结构基本相同。它是交叉区域（匹配或 TP）除以总面积（所有检测的联合）。Loc-IoU 测量单个预测和真实检测之间的对齐，而 Det-IoU 现在测量所有预测检测集和所有真实检测集之间的对齐。这种基于集合的 IoU 公式通常也称为 Jaccard 指数。

我们可以通过使用整个数据集上的 TP、FN 和 FP 的数量简单地计算 Det-IoU 来测量整体检测精度 (DetA)：  
![在这里插入图片描述][f0bcac8800764603b05bd64491a8c1f9.png]

## 1.3 协会： ##

关联测量跟踪器随着时间的推移将检测链接到相同身份 (ID) 的程度，给定真实轨迹中的真实身份链接集。我们可以通过采用匹配在一起的预测检测和地面实况检测（使用如上所述的匈牙利匹配）并测量该预测检测的整个轨迹与地面实况检测的整个轨迹之间的对齐来衡量这一点。这种对齐可以再次用 IoU 公式表示。

两条轨道之间的交集可以衡量为两条轨道之间真阳性匹配的数量，我们称之为真阳性关联 (TPA)。预测轨迹中的任何剩余检测（与其他真实轨迹匹配或根本不匹配）都是误报关联 (FPA)，而真实轨迹中的任何剩余检测都是误报关联 (FNA)。关联 IoU (Ass-IoU) 可以以与之前看到的类似的方式计算：  
![在这里插入图片描述][27fe5213e1d648df9f12eac1b830e213.png]  
这现在测量两个轨道之间的对齐，这为我们提供了每对匹配检测（TP）的测量关联对于该检测的好坏程度。

我们可以在下面看到定义 TPA、FNA 和 FPA 的直观示例：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
红色方块表示预测和地面实况检测的匹配 TP 对，我们希望为其找到关联分数。为了测量这些检测之间的时间关联对齐的程度，我们找到了这两个轨道中匹配这些轨道（绿色 TPA）的所有检测以及它们不匹配的所有检测（黄色的 FPA 和 FNA棕色的）。

我们可以通过对整个数据集中所有匹配预测和地面实况检测对的 Ass-IoU 求平均值来测量整体关联准确度 (AssA)：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 2]

## 1.4 从三个不同的 IoU 分数构建 HOTA： ##

自然，所有三个组件（定位、检测和关联）对于跟踪成功都很重要，因此衡量所有这些组件很重要。然而，我们通常需要一个单一的指标，我们可以用它来对跟踪器的整体表现进行排名。这个指标是 HOTA，它是上面定义的所有三个 IoU 分数的组合：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
请注意，早些时候，DetA 和 AssA 都是使用基于特定 Loc-IoU 阈值 (α) 的匈牙利匹配定义的。由于 DetA 和 AssA 分数都取决于 Loc-IoU 值，我们在一系列不同的 α 阈值上计算这些分数。对于每个阈值，我们将最终分数计算为检测分数和关联分数的几何平均值。然后通过对不同的 α 阈值进行积分，我们将定位精度包含到最终分数中。

将几何平均值用于组合检测和关联可确保两者在最终得分中的权重均匀，并且如果检测或关联为零，则得分为 0。此外，这有一种解释，即 HOTA 分数可以被认为是一个 Det-IoU 公式，其中分子中的每个 TP 都由该 TP 的 Ass-IoU 加权。例如，所有检测的联合的 Ass-IoU 得分的平均值。

# 第 2 部分：如何将跟踪器与 HOTA 指标进行比较。 #

借助 HOTA 指标系列，我们现在可以以前所未有的方式评估多目标跟踪。我们现在不仅可以看到跟踪器有多好，还可以看到它在哪里好，这对于在决定应用程序的跟踪器以及调查如何改进当前跟踪器时理解跟踪器的基本行为至关重要。

例如，让我们看看[KITTI行人跟踪排行榜上][KITTI]排名前 20 的方法（截至撰写本文时）的结果：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 4]  
排名（红色数字）给出了方法的顺序，按 HOTA 总分排序。但是，现在我们可以分别看到方法在检测（x 轴）和关联（y 轴）的每个维度上的表现如何，背景中的曲线显示了整体 HOTA 分数如何随着检测和关联分数的增加而增加增加。

排名前 3 的跟踪器的整体 HOTA 得分非常相似（46.3%、45.9% 和 45.7%），但我们可以从该图中看出，在哪些方面存在明显差异一个比另一个好。跟踪器 1 在关联方面是最好的，而跟踪器 2 在检测方面更好，而跟踪器 3 介于两者之间。如果您想为特定应用程序选择跟踪器，您现在可以决定关联还是检测对您的应用程序更重要，并相应地选择最合适的跟踪器。事实上，这三个跟踪器中的每一个都位于帕累托最优前沿（红色虚线），因此对于关联和检测精度之间的某种程度的权衡，每一个都是最佳选择。借助 HOTA 指标，现在不仅有一个位于排行榜顶部的最佳跟踪器，而且还有许多在帕累托最优前沿具有不同权衡的最佳跟踪器（感谢 Jack Valmadre 和 Alex Bewley 的想法）绘制帕累托前沿）。

如果 Tracker 2 的作者希望改进他的跟踪器，这些结果现在表明他可以通过研究 Tracker 1 如何执行关联来改进它，而相反，Tracker 1 的作者可能想研究 Tracker 2（或更好的 Tracker 4) 执行检测。

我们可以走得更远，而不仅仅是比较检测和关联。因为每个都是使用 IoU 公式设计的，所以它们都可以自然地分解为一个只测量召回率的组件，一个只测量精度的组件。我们可以执行这种分解并绘制结果以进一步了解跟踪结果：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 5]  
上图中的跟踪器编号仍按 HOTA 总分排序，因此相同的编号指代与上述相同的跟踪器。检测召回 (DetRe) 衡量跟踪器找到所有真实检测的效果，而检测精度 (DetPr) 衡量跟踪器设法不预测不存在的额外检测的效果。从上面的第一个图中，我们可以看到 Tracker 1 和 Tracker 3 总体上具有相似的检测精度，但 Tracker 3 通常找到更多的真实对象（更高的召回率），但也预测了更多的错误检测（更低的精度） ）。

精度和召回率通常用于评估检测，但现在有了 HOTA 指标，我们可以扩展这些概念来衡量关联。关联召回 (AssRe) 衡量跟踪器如何避免将同一对象分成多个较短的轨迹。相比之下，关联精度 (AssPr) 衡量轨迹可以避免将多个对象合并为单个轨迹的程度。例如，跟踪器 15 比跟踪器 20 更有可能将轨道分割成多个更小的轨道，但它更擅长不将轨道合并在一起。与检测精度和召回率一样，在设计跟踪器时，关联精度和召回率之间存在自然的权衡。

HOTA 指标允许在所有四个维度（缺失检测、额外检测、拆分轨道和合并轨道）上对跟踪器进行有意义的分析和比较，同时还将所有这些分数有意义地组合成对跟踪器进行排名的总体分数。

最后，HOTA 还允许分析定位精度：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 6]  
在上面的第一个图中，我们将 HOTA(0)（HOTA 在单个最低 alpha 阈值处，因此不包括定位精度的影响，在这种情况下为 alpha=0.05）与定位精度 LocA(0)（LocA at the相同的阈值）。我们可以看到 Tracker 3 在 HOTA(0) 上的表现略好于 Tracker 1，例如当允许检测匹配时，即使它们只有一点点重叠，Tracker 3 总体上具有更好的检测 + 关联，但是这些匹配检测的定位是更糟糕的是，当我们通过计算定位阈值范围来计算最终的 HOTA 分数时，跟踪器 1 的分数更高。这表明 HOTA 如何能够分解和组合跟踪器行为，不仅用于检测和关联，还用于定位。

在第二个图中，我们比较了不同 alpha 阈值范围内的前 5 个跟踪器的 HOTA 分数。当增加 alpha 阈值时，所有跟踪器都会变得更糟，但它们变坏的速度很有趣，并且对于比较跟踪器之间的行为很有用。

# 第 3 部分：HOTA 如何与替代跟踪指标进行比较。 #

以前，其他三个主要指标已用于评估多目标跟踪，它们是 MOTA、IDF1 和 Track mAP。我们不会在此处详细介绍每个指标，而是通过一个简单的示例来突出 HOTA 与之前指标之间的差异：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 7]  
在这个例子中，我们有一个真实的对象，它出现在 100 帧视频的所有帧中。然后我们有三个不同的跟踪器（A、B 和 C），它们的检测精度提高，关联精度降低。在这个例子中，每个预测的检测都是一个 TP（例如，与地面实况匹配）。

A、B 和 C 中哪个跟踪器更好？这不是一个明确定义的问题，因为每个跟踪器都非常不同，有些更擅长检测，有些更擅长关联，所以这取决于哪些对您的应用程序更重要。由于检测和关联通常都非常重要，因此 HOTA 被设计为在计算总分时对它们中的每一个进行同等加权。这可以在上面的例子中看到。检测分数 (DetA) 增加，而关联分数 (AssA) 减少，因此对于所有三个组合，HOTA 分数保持不变。

相比之下，可以看出 MOTA 分数严重偏向于以忽略关联为代价的测量检测。相比之下，IDF1 分数严重偏向于测量关联，以忽略检测为代价。HOTA 通过对检测和关联进行同等加权，在这两个极端之间找到了完美的平衡，同时允许使用 DetA 和 AssA 子分数分别分析每个组件。

最后，Track mAP 指标是我们示例中所有指标中信息量最少的，因为它需要预测轨迹与真实轨迹重叠 50% 以上才能计数。因此，我们示例中的所有三个跟踪器的 Track mAP 分数都为 0，就好像跟踪器根本没有运行一样。

# 概括： #

在这篇简短的博客文章中，我们介绍了 HOTA 指标，这是一个用于评估多对象跟踪的新指标系列。我们已经介绍了 HOTA 如何计算为三个独立的 IoU 分数的组合，分别用于检测、关联和定位。我们已经了解了如何使用不同的 HOTA 子指标沿这些不同维度评估和分析跟踪器，以及如何将这些指标中的每一个拆分为召回和精度组件以进行更细粒度的分析。最后，我们简要了解了这些 HOTA 指标与之前用于多目标跟踪评估的其他指标的比较，并强调了为什么使用 HOTA 通常更可取的一些原因。

关于 HOTA 的更多细节，请查看[IJCV 2020 论文][IJCV 2020]（特别是不同指标之间的详细比较和分析）和[GitHub 上的指标代码][GitHub]。此代码可用于使用 HOTA 评估您自己的跟踪器，同时还提供本文中的所有分析和绘图。为了便于比较，还提供了其他指标的代码，并且很容易添加新的基准和新指标。HOTA 指标目前正在向许多不同的跟踪基准推出，请查看[GitHub 自述文件][GitHub]以获取更新。

# 参考 #

https://jonathonluiten.medium.com/how-to-evaluate-tracking-with-the-hota-metrics-754036d183e1

https://link.springer.com/article/10.1007/s11263-020-01375-2

[IJCV 2020]: https://link.springer.com/article/10.1007/s11263-020-01375-2
[GitHub]: https://github.com/JonathonLuiten/TrackEval
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/189081d4dc15496fa05bdbe8f5ad1ada.png
[905079a2d370412a870feaa452e01ea2.png]: /images/20220828/cadb3e4eab4f4dbb9ac8fedfe034747a.png
[559907688348456eac2d8b26b899fafc.png]: /images/20220828/840fa35c677d4fdb9678daf7f762901e.png
[f0bcac8800764603b05bd64491a8c1f9.png]: /images/20220828/40e1bab0403e423aabef7736e01afa71.png
[27fe5213e1d648df9f12eac1b830e213.png]: /images/20220828/c463f52f04b244779f71fc028a8dbaf9.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/4badd6c2468c471fb76e5ef6bd9dc3f5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/9d5628ff37ee406ca1453445052678a8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/947e9a5d3df5461fa913a8362d4bb2ae.png
[KITTI]: http://www.cvlibs.net/datasets/kitti/eval_tracking.php
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/dc3c82f342b3432fa485c1684196b3af.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/b5994c49977b49fdbb7874e57b7812ad.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/decec65e0bc54943a6694e88cfa8934d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p625p6E5biI5piT562L_size_20_color_FFFFFF_t_70_g_se_x_16 7]: /images/20220828/b26fdc4059b6419d8e515bda3b192b6b.png