【笔记】感受野与权值共享摄像头标定相机坐标与世界坐标

灰太狼 2022-11-07 14:40 163阅读 0赞

## 1.卷积神经网络的局部感受野 ##

卷积神经网络的神经元之间的连接模式类似于大脑视觉皮层组织，个体皮层神经元仅在被称为感受野的视野受限区域中对刺激做出反应。**局部感受野就是卷积神经网络每一层输出的特征图（Feature Map）上的像素点在原始图像上映射的区域大小**，相当于像素上的滤波器。滤波器在整张图像上进行移动，直至遍历完整张图像，从而把一些图像的局部特征提取出来。 图像的局部统计特征在整幅图像上具有重复性。如果图像中存在某个基本图形，该基本图形可能出现在任意位置，那么在不同位置共享相同权值，就可以实现在数据的不同位置检测相同的模式。**假设我们在第一个窗口卷积后得到的特征是边缘，那么这个卷积核对应的就是边缘特征的提取方式，我们就可以用这个卷积核去提取其他区域的边缘特征**。CNN能够在浅层学到比较基础的特征，如点、线、边缘，这些基础浅层特征的组合是高层特征，即使发生仿射变换，这些基础的特征依然不变，因此最后的识别结果不会受到影响。 卷积神经网络的人工神经元可以响应局部覆盖范围内的单元，在对大尺寸图像处理方面有很好的表现。它的核心思想是通过深层网络，对图像的低级特征进行提取，随着网络层数的加深，将低级特征不断向高级特征映射，在最后的高级映射特征中完成分类识别等工作。图3.3所示为卷积神经网络的特征提取过程：先从汽车图像的一个局部区域学习信息，再将其应用到图像的其他地方去。

## 2.摄像头标定 ##

选用opencv 结合C + + ，根据张正友标定法对相机参数进行标定。张正友标定法避免了传统标定法设备要求高和自标定法精度低的缺点。  
操作流程见图。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 1]

准备一个网格边长为20 mm × 20 mm 的模板，将制  
作好的模板以不同景深、角度的方式在摄像机视野中拍  
摄若干照片，之后进行标定操作。摄像机标定参数见  
表3。  
利用摄像机标定结果和单目摄像头成像原理完成摄像头成像过程的坐标系变换。确定物体相对于摄像头坐标系的位姿，进而相对于机械臂的位姿，需确定旋转矩阵Ｒ 和平移矩阵T 两个矩阵［14］。Ｒ 和T 决定了摄像头所在世界坐标系中的位置和方向。

为获得世界坐标系( 物体坐标系) 与摄像头坐标系之间的位姿关系，需确定若干个世界坐标系和摄像头坐标系都能识别的特征点。根据实际情况选取了4 个特征点即P4P 问题。P4P 问题算法描述见图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 3]

实验结果包括图像处理与位姿解算信息，摄像头到太阳能板的距离、特征点的空间三维坐标ZB、太阳能板平面法向量、机械臂l3连杆需要旋转角度joint3、l4连杆转动joint4、垂足坐标PE 及机械臂目标位姿接近矢量dstP。其中，joint3 保证机械臂末端对准目标板; joint4 可以确保末端执行器垂直于太阳能  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 4]  
得到目标特征点相对于摄像头坐标系的空间位置进一步确定目标板与机械臂末端执行器之间的相对位姿。

## 坐标系 ##

相机坐标系\{camera\}：坐标原点为相机的光心位置，X 轴和Y 轴分别平行于图像坐标系的X轴和 Y 轴，Z 轴为相机的光轴。相机坐标系中的点，用\[公式\]表示。

图像物理坐标系： 坐标原点为CCD 图像平面的中心，X轴和Y 轴分别平行于图像平面的两条垂直边。图像物理坐标系中的点，用\[公式\]表示。图像物理坐标系是用物理单位（例如毫米）表示像素在图像中的位置。

图像像素坐标系\{image\}：坐标原点为图像平面的左上角顶点，X 轴和Y 轴分别平行于图像物理坐标系的 X 轴和Y 轴。图像像素坐标系中的点，用\[公式\]表示。像素坐标系就是以像素为单位的图像坐标系。

Ground坐标系 : 在世界坐标系中， \[公式\] 的平面。

接下去要先了解一下针孔相机模型。

相机将三维世界中的坐标点映射到二维图像平面的过程能够用一个几何模型进行描述。这个模型有很多种，其中最简单的称为针孔模型。

在现实生活中，针孔相机是由前方有 一个小洞（针孔）所构成。现实世界中源于某个物体的光线穿过此洞，会在摄像机的底板或图像平面上形成一幅倒立的图像。  
　　![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 5]

https://zhuanlan.zhihu.com/p/90295867

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70]: /images/20221023/d955d15cbe4949a08838c5d895616eb4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 1]: /images/20221023/433f5d8d3fdc4da9a78bf5c2dacd66ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 2]: /images/20221023/e183cff4c6644089a24cea987aa6ae3c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 3]: /images/20221023/422079fcb0764d8c96e6a761b8babd57.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 4]: /images/20221023/ef2face266174349b2e011e50f4bac95.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU4NTc0_size_16_color_FFFFFF_t_70 5]: /images/20221023/aa92abdbde894ec1acd39a50f85314e3.png