论文笔记_S2D.25_2007-ACM-ISMAR-小型AR环境的并行跟踪和建图

不念不忘少年蓝@ 2022-12-18 02:58 163阅读 0赞

**目录**

基本情况

摘要

1.简介

2.SLAM方法概述

3.相关工作

4.地图

5.跟踪

5.1图像获取

5.2相机姿势和投影

5.3块搜索

5.4位姿更新

5.5两阶段粗到精跟踪

5.6跟踪质量和故障恢复

6.构图

6.1地图初始化

6.2关键帧插入和极线搜索

6.3光束法平差

6.4数据关联细化

6.5一般实施说明

7.结果

7.1跟踪实时视频的表现

7.2构图的可拓展性

7.3与EKF-SLAM的综合比较

7.4与EKF-SLAM的主观比较

7.5带手持相机的AR

8.局限与未来工作

8.1失败状态

8.2构图的不足

9.结论

--------------------

# 基本情况 #

*  题目：**Parallel Tracking and Mapping for Small AR Workspaces**
 *  出处：Klein, G., & Murray, D. (2007, November). Parallel tracking and mapping for small AR workspaces. In *2007 6th IEEE and ACM international symposium on mixed and augmented reality* (pp. 225-234). IEEE.

[论文下载][Link 1]

# 摘要 #

这篇论文提出了一种在位置环境下进行相机姿态估计的方法。虽然之前已经有人提出过SLAM算法进行机器人探索，但我们独特地设计了一种在**小型AR工作环境**下跟踪**手持相机**的系统。我们将跟踪和构图设定为两个独立的目标。我们在一个双核电脑上构建了两个线程，一个线程用于解决不稳定手持运动的鲁棒跟踪的目标，同时另一个线程依靠先前的视频帧构建点特征的3D地图。这使得计算量复杂的批优化技术不必一直实时操作：成果是一套生成细节地图的系统，该地图拥有数以千计可按帧率跟踪的地图标记。系统具有与最先进的基于模型的系统相媲美的准确性和稳健性。

# 1.简介 #

1.大多数增强现实（AR）系统在事先了解用户环境的情况下运行。不幸的是，通常没有全面的地图，通常只有一个感兴趣的物体的小地图可用。我们的目标是在没有任何已知对象或初始化目标的情况下跟踪先前未知场景中的校准手持摄像机，同时构建此环境的地图。

2.在本文中，我们采用了不同的方法：我们将生成的地图视为可以创建虚拟模拟的沙箱。为了进一步为用户提供与模拟交互的自由，我们需要快速，准确和强大的相机跟踪，同时在完善地图并在探索新区域时对其进行扩展。

3.下一节概述了所提出的方法，并将其与以前的方法进行了对比。后续部分详细描述了使用的方法，显示结果并评估方法的性能。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70][]

图1:系统的典型操作:这里跟踪一个桌面。在线生成的地图包含近3000个点的特征，系统试图在当前帧中找到1000个点。660次成功的观测结果显示为dots。图中还显示了地图的主平面，它被画成网格，虚拟角色可以在网格上交互。这一帧是在18ms时拍摄的。

# 2.SLAM方法概述 #

Main：

1.跟踪和构图是独立的，运行于两个线程

2.构图基于关键帧，运行时使用批次技术（BA）

3.地图由一个双目相机初始化（五点法）

4.新点由极线搜索法初始化

5.使用大量点被构图使用

Others：

1.跟踪手持摄像机比跟踪移动的机器人更困难

2.并行的优点

(1)跟踪就不再是概率性地受制于构图过程，并且可以使用任何所需的鲁棒跟踪方法

(2)提高运算性能

(3)可以关键帧

(4)可以用计算量大但精度高的批处理方法（BA）代替增量构图

# 3.相关工作 #

1.提升稳定性的两篇文章介绍,后端粒子滤波,相似度图像描述符。

2 .批处理两篇文章介绍,1。BA的结果很好，但是地图没有拓展。该估计器具有鲁棒性和精确性，但计算复杂度过高。

3.跟踪三角化+H-DOF and NCC 准确但计算复杂

PS.

块匹配算法(对图像灰度值的操作)

SAD（Sum of Absolute Difference）

SSD（Sum of Squared Distance）

NCC（Normalized Correlation）

# 4.地图 #

地图由点特征组成。地图还包含N个关键帧：这些是手持摄像头在不同时间点拍摄的快照。每个关键帧都有一个相关的以摄像机为中心的坐标系。每帧都有四级金字塔。每个点特性都有一个源关键帧。

# 5.跟踪 #

跟踪系统从手持摄像机接收图像并保持相对于构建的地图的摄像机姿势的实时估计。使用此估计，然后可以在视频帧的顶部绘制增强图形。

1.从相机获取新帧，并且从运动模型生成先前姿势估计。

2.根据帧的先前姿势估计将地图点投影到图像中。

3.在图像中搜索少量（50）最粗尺度的特征。

4.从这些粗略匹配更新相机姿势。

5.在图像中重新投影并搜索更大数量（1000）的点。

6.根据找到的所有匹配计算帧的最终姿势估计。

## 5.1图像获取 ##

帧转换为8bpp灰度用于跟踪，RGB图像用于增强显示。估计帧的相机姿势的先验使用衰减速度模型;这类似于简单的alpha-beta恒速模型。缺少任何新的测量时，估计的相机减速并最终停止。

## 5.2相机姿势和投影 ##

世界坐标系到相机坐标系到图像位置，讨论了利用李代数探究位姿变化的数学运算。

## 5.3块搜索 ##

如何转换视角，并利用金字塔法进行搜索与跟踪(按块设阈值)，作者认为计算复杂。

## 5.4位姿更新 ##

根据成功的块匹配更新位姿，考虑最小化重投影误差进行更新。(啊，，看不懂这里了)

## 5.5两阶段粗到精跟踪 ##

为了提高跟踪系统对摄像机快速加速的适应能力，块搜索和姿态更新分两次完成。

## 5.6跟踪质量和故障恢复 ##

设定阈值检测质量，低于阈值不设定帧，连帧丢失启动恢复过程。

# 6.构图 #

首先，使用立体技术构建初始地图。在此之后，随着跟踪系统添加新关键帧，地图将由构图线程不断完善和扩展。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 1][]

图2：异步构图线程。初始化后，该线程以无限循环运行，偶尔从跟踪器接收新帧。

## 6.1地图初始化 ##

使用五点立体法进行地图的初始化，需要平移相机进行初始化。协方差矩阵的最小特征向量形成检测到的平面法线。包括用户交互，地图初始化大约需要三秒钟。

## 6.2关键帧插入和极线搜索 ##

跟踪质量必须良好;自添加最后一个关键帧以来的时间必须超过20帧;并且相机必须距离地图中已存在的最近关键点最小距离，则可以添加关键帧。

用极线搜索建立两个视图之间的对应关系：将沿着第二视图中的核线的角点周围的像素块与使用零均值SSD的候选映射点进行比较。

## 6.3光束法平差 ##

如上所述的全束调整调整所有关键帧（除了第一个，即固定基准）和所有地图点位置的姿势。它利用了从运动结构问题中固有的稀疏性。

允许构图线程执行本地BA;这里只调整了关键帧位姿的子集。

在优化的参数选择和用于约束的测量选择方面存在重要差异。要优化的关键帧的集合X由五个关键帧组成。

## 6.4数据关联细化 ##

当束调整已经收敛并且不需要新的关键帧时，即当相机处于地图的良好探索部分时，构图线程具有可用于改善地图的空闲时间。

通过束调整中使用的M估计器给出前端测量的权重。如果它们位于Tukey估计器的零权重区域，则它们被标记为异常值，并二次测量。

## 6.5一般实施说明 ##

发现实现两个调整是有益的：行查找表用于加速访问每个金字塔等级的FAST角阵列，并且跟踪器仅重新计算完全非线性每四个M估计迭代点投影和jacobians（这仍然是每个帧的多次）。

启发式构图和初始帧初始化地图较低技术。

跟踪两阶段方法可能导致跟踪抖动增加。

# 7.结果 #

## 7.1跟踪实时视频的表现 ##

通过摇动相机有目的地破坏跟踪，系统从中恢复。特征分布于精细级别到粗糙级别。关键帧准备包括帧捕获，图像灰度转换，构建图像金字塔和检测FAST角。

![20190709094721713.png][]

## 7.2构图的可拓展性 ##

跟踪系统可以随着地图大小的增加而很好地扩展，但构图线程并非如此。与BA相比，极线搜索和数据关联细化所需的处理时间很短。通常，插入关键帧所需的所有其他操作都需要不到40毫秒。

![20190709094746389.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 2][]

图3：桌面视频中生成的地图和关键帧。 顶部：地图的两个视图，其中绘制了点要素和关键帧。 场景的某些部分可以清楚地区分，例如， 键盘和飞盘。 底部：用于生成地图的57个关键帧。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 3][]

图4：视频附件中包含的桌面视频的地图大小（右轴）和跟踪时间（左轴）。 当跟踪丢失并尝试重新定位时，会发生时序尖峰。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 4][]

图5：在合成序列上与EKF-SLAM的比较。 左图显示了此处描述的系统生成的地图，中心图显示了EKF-SLAM \[30\]的最新实现所产生的地图。 右边显示了与地面实况相比的轨迹。NB。 z轴的不同尺度，因为地面真相位于z = 3。

## 7.3与EKF-SLAM的综合比较 ##

摄像机沿着一个墙向侧面移动到角落，然后沿着下一个墙移动，总共600帧，分辨率为600×480。它有效地证明了系统行为的一些差异。图5显示了两个系统的输出图。两个轨迹，误差主要在z方向。EKF-SLAM的标准偏差为135mm，系统为6mm。

## 7.4与EKF-SLAM的主观比较 ##

增量系统通常需要连续平滑的摄像机运动，以有效地初始化正确深度的新特征。多个金字塔等级的使用极大地增加了系统对快速运动和相关运动模糊的容忍度。同时，使用大量功能可减少可见的跟踪抖动，并在某些功能被遮挡或以其他方式损坏时提高性能。

系统以不同的方式缩放地图大小，在EKF-SLAM中，帧速率将开始下降;在我们的系统中，帧率不会受到影响，但可以探索环境新部分的速度会减慢。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 5][]

图6：系统可以轻松跟踪多个比例。 在这里，地图以右上标度初始化; 用户靠近并放置一个标签，从远处观看时仍然可以准确地注册。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 6][]

图7：使用跟踪作为用户界面的示例AR应用程序。左侧：Darth Vader的激光枪由相机的光轴瞄准，以抵御狂热的ewok部落。 右图：用户使用虚拟的以摄像机为中心的放大镜和虚拟太阳的热量将有品味的图像刻录到CD-R上。 这些应用程序在随附的视频中说明。

## 7.5带手持相机的AR ##

# 8.局限与未来工作 #

## 8.1失败状态 ##

快速摄像机运动会产生大量的运动模糊，这会使图像中的大多数角落特征消失，这将导致跟踪失败。跟踪只能在FAST角点检测器触发时进行，这限制了所支持的纹理和环境类型。未来的工作可能旨在包括其他类型的特征 - 例如，图像强度边缘不受运动模糊的影响，并且通常方便地描绘地图中的几何实体。该系统对于重复的结构和发光变化有一定的鲁棒性。

们遇到三种类型的构图失败：第一种是初始立体算法的失败。第二种是在地图中插入不正确的信息。最后是现实世界场景发生了实质性的永久性改变。

## 8.2构图的不足 ##

地图仅包含点云。虽然特征点的统计数据是通过捆绑调整中的常见观察来链接的，但系统目前很少从地图中提取任何几何理解。可能不必要地将特征作为异常值移除。无闭环。未来虚拟实体应该能够以某种方式与地图中的要素进行交互。

# 9.结论 #

本文介绍了以前用于跟踪和映射未知环境的SLAM方法的替代方法。而不是受到强制映射方法的帧到帧可扩展性的限制，这些方法要求“高质量特征的稀疏映射”，我们使用更密集的低质量特征映射来实现替代方法。

该系统能够为小型工作空间的AR应用提供足够的跟踪质量，只要跟踪的场景具有合理的纹理，相对静态，并且基本上不会自我遮挡。

参考：[\[论文学习\]Parallel Tracking and Mapping for Small AR Workspaces][Parallel Tracking and Mapping for Small AR Workspaces]

[Link 1]: https://sci-hub.tw/10.1109/ismar.2007.4538852
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70]: /images/20221122/8344da1c751f41149e3a168669ea2820.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 1]: /images/20221122/c1a3a78edba94782933d4f6d3338e3e1.png
[20190709094721713.png]: /images/20221122/1f43b26de4b04d998730e136a77da916.png
[20190709094746389.png]: /images/20221122/a55857e0fad84df2a69f2cfbce3b4106.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 2]: /images/20221122/ca0c893df01148ecb53ea3a10ddafca6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 3]: /images/20221122/cf42d839dba54a2585b09229c1a49e0a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 4]: /images/20221122/c9735a0dd27a42428b3fd54b74567f9f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 5]: /images/20221122/dddf6d2912fb466f8653e3740b947e7c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VubGltaXRlZGFp_size_16_color_FFFFFF_t_70 6]: /images/20221122/1691a8d4ad3e47e4a3aa0aa021bc5f83.png
[Parallel Tracking and Mapping for Small AR Workspaces]: https://blog.csdn.net/unlimitedai/article/details/95167351