SLAM 整体性总结

Bertha 。 2023-02-23 12:06 1阅读 0赞

## VSLAM方法框架： ##

整个SLAM大概可以分为前端和后端 ，前端相当于VO（视觉里程计），研究帧与帧之间变换关系。首先提取每帧图像特征点，利用相邻帧图像，进行特征点匹配，然后利用RANSAC去除大噪声，然后进行匹配，得到一个pose信息（位置和姿态），同时可以利用IMU（Inertial measurement unit惯性测量单元）提供的姿态信息进行滤波融合

后端则主要是对前端出结果进行优化，利用滤波理论（EKF、UKF、PF）、或者优化理论TORO、G2O进行树或者图的优化。最终得到最优的位姿估计。

后端这边难点比较多，涉及到的数学知识也比较多，总的来说大家已经慢慢抛弃传统的滤波理论走向图优化去了。

因为基于滤波的理论，滤波器稳度增长太快，这对于需要频繁求逆的EKF（扩展卡尔曼滤波器），PF压力很大。而基于图的SLAM，通常以keyframe（关键帧）为基础，建立多个节点和节点之间的相对变换关系，比如仿射变换矩阵，并不断地进行关键节点的维护，保证图的容量，在保证精度的同时，降低了计算量。

列举几个目前比较有名的SLAM算法：PTAM,MonoSLAM, ORB-SLAM,RGBD-SLAM,RTAB-SLAM,LSD-SLAM。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70 3][]

所以大家如果想学习SLAM的话，各个**高校提高的素材**是很多的，比如**宾大、MIT、ETH、香港科技大学、帝国理工**等等都有比较好的代表作品，还有一个比较有前景的就是三维的机器视觉，普林斯顿大学的肖剑雄教授结合SLAM和Deep Learning做一些三维物体的分类和识别， 实现一个对场景深度理解的机器人感知引擎。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70 4][]

http://robots.princeton.edu/talks/2016\_MIT/RobotPerception.pdf 这是他们的展示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70 5][]

这个是occipital团队出的一个产品，是个很有意思的应用，国内卖4000+，大概一个月1000出货量吧（虽然不是很多，但是效果不错，pad可玩）虚拟家居、无人飞行／驾驶、虚拟试衣、3D打印、刑侦现场记录、沉浸式游戏、增强现实、商场推送、设计辅助、地震救援、工业流水线、GIS采集等等，都等待着vSLAM技术一展宏图

## SLAM的今生——还存在着问题 ##

多传感器融合、优化数据关联与回环检测、与前端异构处理器集成、提升鲁棒性和重定位精度都是SLAM技术接下来的发展方向，但这些都会随着消费刺激和产业链的发展逐步解决。就像手机中的陀螺仪一样，在不久的将来，也会飞入寻常百姓家，改变人类的生活。

不过说实话，SLAM在全面进入消费级市场的过程中，也面对着一些阻力和难题。比如Sensor精度不高、计算量大、Sensor应用场景不具有普适性等等问题。

## 提问： ##

### 雷锋网 ： 激光雷达和摄像头两种 SLAM 方式各有什么优缺点呢，有没有一种综合的方式互补各自的缺点的呢？ ###

张一茗： 激光雷达优点是可视范围广，但是缺点性价比低，低成本的雷达角分辨率不够高，影响到建模精度。vSLAM的话缺点就是FOV通常不大，50-60degree，这样高速旋转时就容易丢，解决方案有的，我们公司就在做vSLAM跟雷达还有IMU的组合。

### 雷锋网 ： 请问目前基于视觉的SLAM的计算量有多大？嵌入式系统上如果要做到实时30fps，是不是只有Nvidia的芯片（支持cuda）才可以？ ###

张一茗： 第一个问题，虽然基于视觉的SLAM计算量相对较大，但在嵌入式系统上是可以跑起来的，Sparse的SLAM可以达到30-50hz（也不需要GPU和Cuda），如果dense的话就比较消耗资源，根据点云还有三角化密度可调，10－20hz也是没有问题。

并不一定要用cuda，一些用到cuda和GPU的算法主要是用来加速SIFT、ICP，以及后期三角化和mesh的过程，即使不用cuda可以采用其他的特征点提取和匹配策略也是可以的。

参考：[https://baike.baidu.com/tashuo/browse/content?id=954bc47ea670fa8666d5a0c6&lemmaId=7661974&fromLemmaModule=pcBottom][https_baike.baidu.com_tashuo_browse_content_id_954bc47ea670fa8666d5a0c6_lemmaId_7661974_fromLemmaModule_pcBottom]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200707112148174.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200707112202604.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200707112209647.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200707112224419.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200707112407601.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200707112459588.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWlxaXV6aHVveXVlNTgz,size_16,color_FFFFFF,t_70
[https_baike.baidu.com_tashuo_browse_content_id_954bc47ea670fa8666d5a0c6_lemmaId_7661974_fromLemmaModule_pcBottom]: https://baike.baidu.com/tashuo/browse/content?id=954bc47ea670fa8666d5a0c6&lemmaId=7661974&fromLemmaModule=pcBottom