论文阅读《基于单目视觉的同时定位与地图构建方法综述》

逃离我推掉我的手 2022-12-19 00:57 134阅读 0赞

知识扫盲：SFM （structure-from-motion）运动推断结构

### 文章目录 ###

*  摘要
 *  一、V-SLAM 原理
 *  二、目标函数
 *   *  1. V-SLAM通过求解优化如下目标函数
     *  2. VI-SLAM通过求解优化如下目标函数
     *  3. VI-SLAM加入GPS通过求解优化如下目标函数
 *  三、代表性单目V-SLAM系统
 *   *  3.1 基于滤波的V-SLAM
     *  3.2 基于关键帧BA的V-SLAM
 *  总结

--------------------

# 摘要 #

增强现实是一种在现实场景中无缝地融入虚拟物体或信息的技术，能够比传统的文字、图像和视频等方式更高效、直观地呈现信息，有着非常广泛的应用。同时定位与地图构建作为增强现实的关键基础技术，可以用来在未知环境定位自身方位并同时构建环境的三维地图，从而保证叠加的虚拟物体与现实场景在几何上的一致性。文中先简述基于视觉的同时定位与地图构建的基本原理；然后介绍几个代表性的基于单目视觉的同时定位与地图构建方法并深入分析和比较；最后讨论今年来研究热点和发展趋势，并作总结和展望

--------------------

关键词：增强现实；同时定位与地图构建；运动推断结构；多视图几何；摄像机跟踪

# 一、V-SLAM 原理 #

V-SLAM 技术可以根据拍摄的视频信息推断出摄像头在未知环境中的方位, 并同时构建环境地图，其基本原理为多视图几何原理。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70_pic_center]只用单目摄像头的V-SLAM技术又称为单目V-SLAM，也是本文重点分析讨论的。V-SLAM的目标为同时恢复出每帧图像对应的相机运动参数 C 1 . . . C m C\_1...C\_m C1...Cm,及场景三维结构 X 1 . . . X n X\_1...X\_n X1...Xn，每个相机运动参数 C i C\_i Ci包含了相机的位置和朝向信息，通常表达为一个3X3 的旋转矩阵 R i R\_i Ri和一个三维位置变量 p i p\_i pi将一个世界坐标系下的三维点 X j X\_j Xj变换至 C i C\_i Ci的局部坐标系  
 ( X i j , Y i j , Z i j ) T = R i ( X j − p i ) (X\_\{ij\},Y\_\{ij\},Z\_\{ij\})^\{T\}=R\_\{i\}(X\_j-p\_i) (Xij,Yij,Zij)T=Ri(Xj−pi)  
进而投影至图像中  
 h i j = ( f x X i j / Z i j + c x , f y Y i j / Z i j + c y ) T h\_\{ij\}=(f\_xX\_\{ij\}/Z\_\{ij\}+c\_x,f\_yY\_\{ij\}/Z\_\{ij\}+c\_y)^T hij=(fxXij/Zij\+cx,fyYij/Zij\+cy)T  
其中， f x , f y f\_x,f\_y fx,fy分别为沿图像x,y的=轴的图像焦距， ( c x , c y ) (c\_x,c\_y) (cx,cy)为镜头光心在图像中的位置，通常假设这些参数以实现标定且保持不变。由式(1)(2) 可知，三维点在图像中的投影位置 h i j h\_\{ij\} hij可表示为一个关于 C i 和 X j C\_i和X\_j Ci和Xj的函数，记为  
 h i j = h ( C i , X j ) h\_\{ij\}=h(C\_i,X\_j) hij=h(Ci,Xj)

V-SLAM算法需要将不同图像中对应于相同场景点的图像点匹配起来。如图1中，将对应于 X 1 的 图 像 点 x 11 , x 21 , x 31 进 行 匹 配 X\_1的图像点x\_\{11\},x\_\{21\},x\_\{31\}进行匹配 X1的图像点x11,x21,x31进行匹配，通过求解优化如下目标函数  
![在这里插入图片描述][20201104231659295.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70_pic_center 1]

# 二、目标函数 #

## 1. V-SLAM通过求解优化如下目标函数 ##

![在这里插入图片描述][20201104233102132.png_pic_center]

## 2. VI-SLAM通过求解优化如下目标函数 ##

![在这里插入图片描述][20201104233139535.png_pic_center]

## 3. VI-SLAM加入GPS通过求解优化如下目标函数 ##

![在这里插入图片描述][20201104233238310.png_pic_center]这里假设GPS观测值符合高斯分布

p i G N ( p ^ i G , Λ i ) p\_\{i\}^\{G\}~N(\\hat p\_\{i\}^G,\\Lambda\_i) piGN(p^iG,Λi)

# 三、代表性单目V-SLAM系统 #

主要分为三类，基于滤波，基于关键帧BA和基于直接跟踪的V-SLAM

## 3.1 基于滤波的V-SLAM ##

传统 EKF 方法最主要的局限性如下: 1) 如果预测函数和更新函数为非线性(通常 V-SLAM 问题都是非线性的), 那么 EKF 并不能保证全局最优,与 Levenberg-Marquardt \[20\] 等迭代的非线性优化技术相比, 更容易造成误差累积. 如果上一帧处理完成时刻的估计值尚未精确, 传递至下一帧的先验信息便带有误差; 由于上一帧状态不再变化, 所以先验信息中的误差便无法消除, 误差不断向后传递 造成 误 差 累 积.  
2) 若 将 三维 点 引 入 状态 变 量,则每一时刻的计算复杂度为  O ( n 3 ) O ( n^3 ) O(n3) , 因此只能处理几百个点的小场景.

为了缓解 EKF 方法的计算复杂度问题, Mourikis等于 2007 年提出了 MSCKF.

## 3.2 基于关键帧BA的V-SLAM ##

PTAM的基本思想如下： 将相机跟踪（Tracking）和地图构建（Mapping）作为两个独立的任务在2个线程并行执行。地图构建线程仅维护原视频流中稀疏抽取的关键帧及关键帧中可见的三维点，这样就可以非常高效的求解目标函数；有了BA恢复的精确三维结构，相机跟踪线程作为前台线程，仅需优化当前帧运动参数 C t C\_t Ct，足以达到实时的计算效率。

# 总结 #

提示：这里对文章进行总结：  
比较各类单目V-SLAM系统  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70_pic_center 2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/7bfb23e228ee467ea62976c8433ed706.png
[20201104231659295.png_pic_center]: https://img-blog.csdnimg.cn/20201104231659295.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20201104231757577.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70#pic_center
[20201104233102132.png_pic_center]: https://img-blog.csdnimg.cn/20201104233102132.png#pic_center
[20201104233139535.png_pic_center]: https://img-blog.csdnimg.cn/20201104233139535.png#pic_center
[20201104233238310.png_pic_center]: https://img-blog.csdnimg.cn/20201104233238310.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20201105004550351.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70#pic_center