使用OpenCV实现模板匹配（基于linemod算法）

野性酷女 2022-09-10 04:08 438阅读 0赞

转自|牙牙的无为生活

已知物体模型，从不同方向提取RGBD特征，处理生成模板与实际图像每个位置进行匹配，匹配成功得到目标的位姿信息。

*  2011Linemod经典鼻祖论文：Multimodaltemplates for real-time detection of texture-less objects in heavily clutteredscenes（Linemod）
 *  2012改进Linemod：Gradient Response Maps for Real-Time Detection of Texture-Less Objects

![图片][9f4881b3460d645c257b441b5306623a.png]

左：可辨别的图像梯度主要在轮廓上找到。梯度位置粉红色显示

中：深度传感器获取的表面法向量

右：2D图像梯度和3D表面法线的组合->增加鲁棒性

视觉提示的互补性：梯度通常在物体轮廓上找到，而在物体内部找到曲面法线

*  研究方向与问题：复杂背景下3D物体的实时检测与定位
 *  依据：采用**彩色图像的梯度信息**结合**物体表面的法向特征**作为模板匹配
 *  算法场景：复杂场景、无纹理、多模板
 *  应用：opencv封装（（参考2中有函数解释）），基于ros的object recognition kitchen中有配套的模型生成图像的程序、ICP后处理的教程跟代码

算法流程：

（1）概念性

*  一个模板是一个特征点序列（多模态时为多个序列），特征点彼此不能太近且要有足够的代表性。
 *  输入RGBD数据

（2）计算梯度方向

*  以彩色梯度为例，先进行7\*7的高斯模糊，然后利用Sobel算子计算梯度，继而在每个像素点求解出了梯度方向以及幅值，只有超过一定阈值的梯度才会被保留；
 *  接着在3\*3的领域内统计梯度的方向，数量超过5的梯度方向才会被采用；
 *  此处梯度方向都是无符号的，只取上一半，Opencv实现的代码里分为8个方向（量化为5)。这种提取特征的方式对于梯度起到了主成分提取和放大的效果。
 *  经过训练生成文件信息。

![图片][63dcfd692a432321b4538904a931d356.png]

（3）方向扩散

*  对被搜索图像（原图）也要进行梯度的计算，并且对梯度的方向做方向的拓展。
 *  继而利用模板进行滑窗匹配时就有了一定的容错度，匹配容错。

![图片][c5dc97c569383ba7dee9e6e637f0748d.png]

（4）预处理响应图

*  制作查找表，算法匹配速度快；
 *  针对n(=8)个方向和方向扩散图逐个像素进行匹配，匹配的结果是距离最近方向角度的余弦值；
 *  值得注意的是，虽然这里有八个方向，但是夹角只有五种情况（算的直线夹角而非射线），故而匹配的结果只有五种；
 *  响应图是被搜索图（原图）各个位置下对应扩展方向的二进制表示，模板图像共有5个方向，那么相应生成5张响应图Response Maps，利用模板进行匹配，可以直接调用对应方向在对应像素的结果，避免了滑窗时重复的计算。

![图片][1c057af9a6df69b32ccc9475db0145c7.png]

（5）线性存储

*  避免重复计算，加速计算

![图片][c23d2b744d4673fdc50c97ccae9e2902.png]

（6）扩展深度图

![图片][b9c2ad4096203cfb4ba7ee55ca7d184f.png]

实际应用中的问题

*  遮挡场景无法处理

改进与优化

*  linemod存在两个问题，一个对尺度变化敏感，一个遮挡情况下效果变差。【3】改进详见6D pose（见方法3）。

参考

*  【1】linemod算法小结 [https://blog.csdn.net/zmdsjtu/article/details/79933822][https_blog.csdn.net_zmdsjtu_article_details_79933822]
 *  【2】Linemod；理解 [https://blog.csdn.net/qq\_36537774/article/details/89354339][https_blog.csdn.net_qq_36537774_article_details_89354339]
 *  【3】linemod算法 [https://blog.csdn.net/ALZFterry/article/details/108694869][https_blog.csdn.net_ALZFterry_article_details_108694869]
 *  【4】[https://zhuanlan.zhihu.com/p/35683990][https_zhuanlan.zhihu.com_p_35683990]
 *  【5】[https://github.com/meiqua/shape\_based\_matching][https_github.com_meiqua_shape_based_matching]

[9f4881b3460d645c257b441b5306623a.png]: /images/20220829/a57c943851a94012880966426558076b.png
[63dcfd692a432321b4538904a931d356.png]: /images/20220829/f2de091f8f994fba99f2d1c7264adbcc.png
[c5dc97c569383ba7dee9e6e637f0748d.png]: /images/20220829/1724365405d64a2492b13c883425dd36.png
[1c057af9a6df69b32ccc9475db0145c7.png]: /images/20220829/e66d50bea21048a4b902353f5bccbd82.png
[c23d2b744d4673fdc50c97ccae9e2902.png]: /images/20220829/e95fe6cc4ace43db99d679df442be70c.png
[b9c2ad4096203cfb4ba7ee55ca7d184f.png]: /images/20220829/1fc82431e59f41019d530f50229f1e61.png
[https_blog.csdn.net_zmdsjtu_article_details_79933822]: https://blog.csdn.net/zmdsjtu/article/details/79933822
[https_blog.csdn.net_qq_36537774_article_details_89354339]: https://blog.csdn.net/qq_36537774/article/details/89354339
[https_blog.csdn.net_ALZFterry_article_details_108694869]: https://blog.csdn.net/ALZFterry/article/details/108694869
[https_zhuanlan.zhihu.com_p_35683990]: https://zhuanlan.zhihu.com/p/35683990
[https_github.com_meiqua_shape_based_matching]: https://github.com/meiqua/shape_based_matching