《ATOM：Accurate Tracking by Overlap Maximization》论文笔记

偏执的太偏执、 2022-11-10 05:22 196阅读 0赞

参考代码：[pytracking][]

# 1. 概述 #

> 导读：现有的跟踪网络很多都着力于将目标从背景中区分开来，也就是提升前景背景的分辨能力，但是对目标位置估计的准确性（跟踪框于实际目标的重合度）却被低估了，这也就导致了下图1中出现的目标定位位置并不准确的问题。对此文章提出了一个新的跟踪方法ATOM，它由两部分组成：目标位置估计和目标辨别。目标位置估计参考了IoU-Net的位置回归思路（因而在读这篇文章之前**需要先搞懂IoU-Net**的工作原理），将其移植到了跟踪网络中，因为该任务需要高层级的语义信息用以预测IoU值，因而并不适合在线训练，从而文章使用现有的跟踪数据集和COCO数据集一起进行离线训练。对于目标的分辨，由于需要提供鲁棒的目标分辨能力和较小的计算开销，文章使用在线学习（优化方法为：Conjugate-Gradient-based）的方式进行训练，由两层卷积网络构成。文章的方法使用ResNet-18为backbone能在1080 GPU上跑到30FPS。

图1：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]

# 2. 方法设计 #

## 2.1 整体pipline组成 ##

文章的方法大体由两个部分组成：负责跟踪框位置的估计模块和前景背景的分类模块，其整体pipeline见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]

*  1）目标位置估计：这部分采用在ImageNet上预训练的ResNet-18作为backbone，之后整个网络在跟踪数据集和检测数据集上进行训练，之后在进行在线跟踪的时候这部分参数是固化的。其输入有4个部分：参考帧的backbone特征和目标框以及当前的帧的backbone特征和目标框估计，之后输出这个目标框估计的IoU得分；
 *  2）前景背景区分：这部分是完全在线训练的方式实现的，在backbone特征的基础上得到目标的置信度，从而将目标与其它区域区分开；

## 2.2 目标边界框估计 ##

这里的估计方式参考自IoU-Net，文中将IoU-Net的边界框优化方式引入到跟踪网络中，但是对其做了任务适应的更改。对于采用什么样的feature进行预测可以很好结合参考帧和当前帧，文章指出使用文章提出的modulation-based方法比直接特征融合和Siamese方式要好（具体的比较细节请参见原文），从而提出了下图中的特征融合方式：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]  
对于参考帧抽取backbone的block3和block4的特征，之后在参考帧目标框的指引下进行PrPool操作，之后经过全链接得到一组正数组成的系数向量 c ( x 0 , B 0 ) ∈ R 1 ∗ 1 ∗ D z c(x\_0,B\_0)\\in R^\{1\*1\*D\_z\} c(x0,B0)∈R1∗1∗Dz，可看作为权重。

对于当前帧经过backbone之后也是抽取相同block处的特征但是处理的方式不太一样，具体见图3所示，其得到的是当前帧的特征表达 z ( x , B ) ∈ R K ∗ K ∗ D z z(x,B)\\in R^\{K\*K\*D\_z\} z(x,B)∈RK∗K∗Dz，其中 K K K是特征的空间分辨率。

之后将当前帧的特征表达和参考帧的系数向量进行channel-wise的组合，之后经过IoU预测模块 g g g得到当前当前提取边界框的IoU预测值：  
 I o U ( B ) = g ( c ( x 0 , B 0 ) ⋅ z ( x , B ) ) IoU(B)=g(c(x\_0,B\_0)\\cdot z(x,B)) IoU(B)=g(c(x0,B0)⋅z(x,B))

不同的特征融合方式对于最后性能的影响见下表所示（文章使用的是modulation）：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]

**训练过程：**  
这里使用LaSOT（Large-scale Single Object Tracking）/TrackingNet跟踪数据集，一个视频中的最大采样间隔为50。此外，还引入COCO数据集用以提供更多样化的训练素材。对于参考图像截取的是以目标为中心长宽5倍的区域。对于测试帧也是采样类似的区域，但是在目标位置和尺度上引入扰动去模拟跟踪的场景。之后将这些区域进行剪裁并resize到固定的大小。参考IoU-Net这里也在GT box的基础上使用高斯噪声引入扰动生成16个候选bounding boxes，但是它们与GT box的IoU最小为0.1。

## 2.3 目标区域的判别 ##

通过目标区域位置估计得到了目标的精确位置，但是单单靠定位的结果是很难鲁棒对目标进行区分的，因而这里引入了目标判别分支，从而为跟踪提供2D维度下的目标位置确定。

文章的目标区域判别由两个卷积组成，可以描述为：  
 f ( x ; w ) = ϕ 2 ( w 2 ∗ ϕ 1 ( w 1 ∗ x ) ) f(x;w)=\\phi\_2(w\_2\*\\phi\_1(w\_1\*x)) f(x;w)=ϕ2(w2∗ϕ1(w1∗x))  
其中， w 1 , w 2 w\_1,w\_2 w1,w2代表卷积核为 1 ∗ 1 , 4 ∗ 4 1\*1,4\*4 1∗1,4∗4，输出channel为64/1的卷积， ϕ 2 , ϕ 1 \\phi\_2,\\phi\_1 ϕ2,ϕ1代表激活函数PELU和Identity（空）。参考之前的回归方法，其在整幅特征图上的监督损失函数定义为：  
 L ( w ) = ∑ j = 1 m γ j ∣ ∣ f ( x j ; w ) − y j ∣ ∣ 2 + ∑ k λ k ∣ ∣ w k ∣ ∣ 2 L(w)=\\sum\_\{j=1\}^m\\gamma\_j||f(x\_j;w)-y\_j||^2+\\sum\_k\\lambda\_k||w\_k||^2 L(w)=j=1∑mγj∣∣f(xj;w)−yj∣∣2\+k∑λk∣∣wk∣∣2  
由于文章采用的是在线学习的方式，因而使用传统的梯度下降算法是并不适合的，对此文章提出使用一种简化的优化算法。

首先，文章对目标函数进行了简化，对于目标区域置信度的回归被描述为了：  
 L 1 = ∑ j = 1 m γ j ( f ( x j ; w ) − y j ) L1=\\sum\_\{j=1\}^m\\sqrt\{\\gamma\_j\}(f(x\_j;w)-y\_j) L1=j=1∑mγj(f(xj;w)−yj)  
对于正则化约束项简化为：  
 L 2 = ∑ k λ k w k L2=\\sum\_k\\sqrt\{\\lambda\_k\}w\_k L2=k∑λkwk  
则新的损失函数描述为：  
 L ( w ) = ∣ ∣ L 1 + L 2 ∣ ∣ 2 L(w)=||L1+L2||^2 L(w)=∣∣L1\+L2∣∣2  
这里使用二次高斯牛顿近似得到：  
 L ˉ w = ( Δ w ) ≈ L ( w + Δ w ) \\bar\{L\}\_w=(\\Delta w)\\approx L(w+\\Delta w) Lˉw=(Δw)≈L(w\+Δw)  
之后一阶泰勒展开 r ( w Δ w ) ≈ r w + J w Δ w r(w\\Delta w)\\approx r\_w+J\_w\\Delta w r(wΔw)≈rw\+JwΔw，因而  
 L ˉ w ( Δ w ) = Δ w T J w T J w Δ w + 2 Δ w T J w T r w + r w T r w \\bar\{L\}\_w(\\Delta w)=\\Delta w^TJ\_w^TJ\_w\\Delta w+2\\Delta w^TJ\_w^Tr\_w+r\_w^Tr\_w Lˉw(Δw)=ΔwTJwTJwΔw\+2ΔwTJwTrw\+rwTrw  
具体的推导可以参考原文，这里给出其优化过程：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]

## 2.4 在线的跟踪方法 ##

文章backbone中block4的输出作为分类模块的输入。对于第一帧，题哦你给过不同程度的平移/旋转/滤波/dropout等增广出30个训练样本 x j x\_j xj，之后使用上面提到的算法1进行在线训练，设置优化参数 N G N = 6 , N C G = 10 N\_\{GN\}=6,N\_\{CG\}=10 NGN=6,NCG=10去训练参数 w w w，每10帧使用优化参数 N G N = 1 , N C G = 5 N\_\{GN\}=1,N\_\{CG\}=5 NGN=1,NCG=5去训练参数 w 2 w\_2 w2。

**目标的估计：**  
利用之前预测得到的目标位置和尺度在backbone上进行特征抽取，之后使用分类模块去寻找2D空间下的最大值响应，结合之前得到目标位置和尺度信息得到目标的跟踪框 B B B，之后为了排除局部最大值带来的影响文章在 B B B的基础上添加均匀随机分布噪声得到10个初始的proposal，之后对它们进行5次梯度上升优化（step=1），之后取3个IOU得分最大的结果平均得到最后的结果。

# 3. 实验结果 #

**TrackingNet test set：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]  
**LaSOT：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]  
**VOT2018：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]

[pytracking]: https://github.com/visionml/pytracking
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20221023/24180c1b15ca45f7ab5902254b42fc54.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20221023/205beeff790c484f81fc7f2106898f06.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20221023/57f8772f176b422d958bcf9d25b485c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20221023/62a1701114984a2abd240d507baae6e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]: /images/20221023/066f8b6471f043588d2e5f703737a7a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]: /images/20221023/61bedcd622e749969c617dfaaadf3ad2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]: /images/20221023/b8a8ba446a154d8bbd25dfa579d23962.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]: /images/20221023/717397a625924ae1b682a7002e46e5cd.png