手眼标定（含Halcon案例）

ゝ一世哀愁。 2023-01-13 06:26 162阅读 0赞

相机固定向下安装是手眼搭配中最简单的应用模式，也是大家最常用，最容易理解的一种方式。

![62e8bad4910071e78ea719a478775d18.png][]

![eedaeae03f4d032232e96573fbdfc2fb.gif][]

如上图所示：要让机器人的手抓住杯子，就必须知道杯子跟手的相对位置关系，而杯子的位置则是通过机器人的眼睛看见的，所以，我们只需要知道机器人的手可以眼睛的转换关系，就可以随时抓取机器人眼睛所看到的物体了。  
先演示下相机标定过程：  
STEP 1:准备好一张标定板，里面有3X3的圆。  
![df53944c9e4227f74d21d03b0b1fbd3d.png][]   
STEP 2:把标定板水平放置在相机正下方，控制相机拍照得到一张图片，并按顺序（走Z字型）记录图片上9个圆的中心位置。  
  
STEP 3:控制机器人TCP工具末端按顺序（走Z字型）移动到每个圆心，并记录下9组机器人位置坐标数据。  
STEP 4:执行标定，这里使用HALCON标定算子作为演示，利用上面求得的数据。  
  -图像上9个位置-

image_x:=[727.884,2395.058,1505.023,666.948,2678.36,1505.023,666.948,2678.36]
    image_y:=[755.759,664.057,1289.824,1787.698,1707.432,1505.023,666.948,2678.36]

-机器人9个位置-

robot_x:=[-57.011,-33.521,-46.759,-58.678,-30.024,-46.759,-58.678,-30.024]
    robot_y:=[323.965,324.565,316.237,309.794,309.695,-46.759,-58.678,-30.024]

-图像与机器人数据结合，生成仿射变换矩阵\-

> vector\_to\_hom\_mat2d (image\_x, image\_y, robot\_x, robot\_y, HomMat2D)

STEP 5:标定完成后，拍摄一个特征点的，求得像素位置

> img\_x:=2094.344  
> img\_y:=1326.878

利用以下算子即可把像素坐标转换成机器人坐标

affine_trans_point_2d(HomMat2D,img_x,img_y, Qx, Qy)

更多请参考：

[多相机模式。][Link 1]

[https://www.51halcon.com/forum.php?mod=viewthread&tid=4271&page=1][https_www.51halcon.com_forum.php_mod_viewthread_tid_4271_page_1]

[https://blog.csdn.net/Thera\_qing/article/details/97274096?utm\_medium=distribute.pc\_relevant.none-task-blog-baidujs\_title-4&spm=1001.2101.3001.4242][https_blog.csdn.net_Thera_qing_article_details_97274096_utm_medium_distribute.pc_relevant.none-task-blog-baidujs_title-4_spm_1001.2101.3001.4242]

## 2、eye in hand ##

## 3、视觉动态跟随定位 ##

一个很直观的例子在组里：

快速绚酷版(蜘蛛机械手) [https://v.qq.com/x/page/b0816outlvi.html][https_v.qq.com_x_page_b0816outlvi.html]  [https://v.qq.com/x/page/v3002eiyfpj.html][https_v.qq.com_x_page_v3002eiyfpj.html]

慢速理解版（四轴机械手）：[https://v.qq.com/x/page/n0850xxfl3b.html][https_v.qq.com_x_page_n0850xxfl3b.html]

上次跟汇川机械手的视觉工程师交流，得知如果基于他们的视觉软件，其实就是在的基础上加一个 拉带或者圆盘的编码器即可。

即，加一个编码器。

具体原理为：编码器感知拉带或者圆盘的流速或转速，并传送给机械手，机械手其实即使抛开视觉也可以做到动态跟随。

加上视觉的原理为：视觉在拉带前部拍照后得出此时相对于机械手的坐标，并记录拍照时间，一起发给机械手，在物料到达机械手前部最大采集区域时（一般用光电传感器感知），

机械手在闲置状态，可以随时根据时间差算出物料漂移后每时每刻的实际位置，此时就可以做到实时跟随。

### 4、3D视觉机器人完成无序抓取 ###

[https://www.bilibili.com/video/BV1wZ4y1c78e?from=search&seid=14502160280031575557][https_www.bilibili.com_video_BV1wZ4y1c78e_from_search_seid_14502160280031575557]

[62e8bad4910071e78ea719a478775d18.png]: /images/20221022/9423e2f555b54868be685bea6743c91f.png
[eedaeae03f4d032232e96573fbdfc2fb.gif]: /images/20221022/ae56380935084e8895d88f6bccb087a9.png
[df53944c9e4227f74d21d03b0b1fbd3d.png]: /images/20221022/a0f0b843c6cb482993198f7bd890c99f.png
[Link 1]: https://blog.csdn.net/qq_24946843/article/details/84376894?utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-10.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-10.control
[https_www.51halcon.com_forum.php_mod_viewthread_tid_4271_page_1]: https://www.51halcon.com/forum.php?mod=viewthread&tid=4271&page=1
[https_blog.csdn.net_Thera_qing_article_details_97274096_utm_medium_distribute.pc_relevant.none-task-blog-baidujs_title-4_spm_1001.2101.3001.4242]: https://blog.csdn.net/Thera_qing/article/details/97274096?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-4&spm=1001.2101.3001.4242
[https_v.qq.com_x_page_b0816outlvi.html]: https://v.qq.com/x/page/b0816outlvi.html
[https_v.qq.com_x_page_v3002eiyfpj.html]: https://v.qq.com/x/page/v3002eiyfpj.html
[https_v.qq.com_x_page_n0850xxfl3b.html]: https://v.qq.com/x/page/n0850xxfl3b.html
[https_www.bilibili.com_video_BV1wZ4y1c78e_from_search_seid_14502160280031575557]: https://www.bilibili.com/video/BV1wZ4y1c78e?from=search&seid=14502160280031575557