SLAM回环检测中的（Bag-of-Words）词袋模型

Love The Way You Lie 2022-03-25 08:24 653阅读 0赞

• 视觉里程计仅用相邻帧图像估计运动，存在累积误差

• 回环检测通过发现到达过的地方，可以有效修正运动轨迹，

消除累积误差

• 从而保证了轨迹与地图的全局一致性（Globally Consistent）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70][]

我们可以看到上图绿色回路没有闭合，经过回环检测后的红色轨迹已经闭合。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70 1][]

•词袋模型如何实现？

•将Bag-of-words模型应用于图像表示。为了表示一幅图像，我们可以将图像看作文档，即若干个“视觉词汇”的集合。

•利用FAST算法，从每类图像中提取视觉词汇，将所有的视觉词汇集合在一起；

•利用K-Means算法构造单词表，合并词义相近的视觉词汇，构造一个包含K个词汇的单词表；

•统计单词表中每个单词在图像中出现的次数，从而将图像表示成为一个K维数值向量。

举一个简单的例子：

其实词袋模型最初用作文本分类，现在我们将词袋用作图像表示，将一幅图像看作是一个文档，即若干个“视觉词汇”组成的集合。

利用FAST算法，从每类图像中提取视觉词汇，将所有视觉词汇集合在一起，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70 2][]

![2019011920374571.png][]

![20190119203753453.png][]            ![2019011920380219.png][]            ![20190119203810329.png][]

从图像中提取相互独立的视觉词汇

![20190119203821879.png][]

![20190119203834152.png][]

利用k-means算法进行聚类，合并词义相近的视觉词汇，构造包含k个词汇的单词表；使每一簇内具有较高的相似度。如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70 3][]

•统计单词表中每个单词在图像中出现的次数，从而构成一个直方图。针对人脸、自行车、吉他三个文档，抽取相似的部分合并为一类，构造一个词典，即Directory=\{1:“自行车“，2.“人脸”，3.“吉他”，4.“人脸类”\}

![20190119204200262.png][]   ![20190119204207873.png][]      ![20190119204214954.png][]

在论文Galvez-López D, Tardos J D. Bags of Binary Words for Fast Place Recognition in Image Sequences\[J\]. IEEE Transactions on Robotics, 2012, 28(5):1188-1197.中，词袋模型是这样建立的：

字典建立步骤：

1.从一些训练图像中离线提取丰富的特征集;

2.将提取的特征用 k-means++种子进行k-中值聚类，将描述子空间划分成 k 类;

3.将划分的每个子空间，继续利用 k-means++ 算法做聚类 ;

4.按照上述循环，将描述子建立树形结构.

整个算法流程图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70 4][]

下图为词袋树：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70 5][]

其中词袋树中还包括了正向索引（Direct index ）和反向索引（Inverse index）：

•Direct index :正向索引存储图像特征，以及词汇树某一层上相关联节点的特征。

在回环检测的最后阶段——几何结构验证阶段，可以加速匹配候选图像与当前图像之间的特征点对

•Inverse index: 反向索引存储了图像中单词出现的权重。可以加快待比较的图像搜索速度。

当向数据库添加新图像时，将更新反向索引以及当数据库搜索某些图像时，将访问反向索引。

•计算两个词袋向量v1和v2之间的相似性：

![20190119205144438.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70]: /images/20220325/7217309e5b3a489fa4b6514c314cca81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70 1]: /images/20220325/54193adb451646f1a6c470ffe74a5ede.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70 2]: /images/20220325/ba1c6b1a94f84d5b97a430addc2aeb09.png
[2019011920374571.png]: /images/20220325/8d2f3e1cab144f44b02a2edfbf1346cd.png
[20190119203753453.png]: https://img-blog.csdnimg.cn/20190119203753453.png
[2019011920380219.png]: https://img-blog.csdnimg.cn/2019011920380219.png
[20190119203810329.png]: /images/20220325/9f3930e2770841399cfdf3787ef8a9da.png
[20190119203821879.png]: /images/20220325/b3317bb13002408bb8aad7ce722ae460.png
[20190119203834152.png]: /images/20220325/949bbb402b2845cebd806778a940769d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70 3]: /images/20220325/e12cb0694b8a47668f5e921dd8d39387.png
[20190119204200262.png]: https://img-blog.csdnimg.cn/20190119204200262.png
[20190119204207873.png]: https://img-blog.csdnimg.cn/20190119204207873.png
[20190119204214954.png]: /images/20220325/e223d47eba0f4392b57208e9db874e3e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70 4]: /images/20220325/bf8f20c2d71544d09f51483a915f2d81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xodzE5OTMxMjAx_size_16_color_FFFFFF_t_70 5]: /images/20220325/bc3c13a81d524175bf7d4d676b34f49c.png
[20190119205144438.png]: /images/20220325/f717dc53683246938d3c78c2b1f91fcd.png