【看论文】之《基于双目视觉的棚室番茄采摘关键技术研究_胡慧明》

蔚落 2022-04-16 04:50 354阅读 0赞

论文信息

题目：《基于双目视觉的棚室番茄采摘关键技术研究》

作者：胡慧明

单位：湖北工业大学

论文性质：硕士学位论文

提交日期：2018.5.31

--------------------

# 摘要 #

--------------------

# 绪论 #

**国外研究现状**

20世纪60年代（1968年）美国学者Schertz和Brown第一次向世人展示了果蔬采摘机器人的思想，通过果实和果叶的电磁光谱反射率的异同来辨别和确定果蔬；

1977年，Parrish和Goksel学者受此思想理论的启发，仅仅是利用一台简单的黑白相机和一个红色光滤波器就搭建了一个针对苹果果蔬的视觉识别系统；

1983年，美国研制出第一台采摘机器人，在随后的20多年内，日本、荷兰等国家开始研制果蔬自动采摘的技术，采摘的对象有黄瓜、番茄、蘑菇、柑橘和甜瓜；

**国内研究现状**

20世纪90年代开始投入到果蔬采摘机器人的研究；

1995年，吉林大学打周云山团队针对蘑菇进行了计算机视觉技术在该对象采摘机器人的研究、应用。由于周云山学者的研究成果知识针对二维目标进行识别，很难应用到实际应用中去；

2001年，中国南京农业大学的张瑞和团队，采用双目视觉技术对番茄进行识别和分类。利用红色番茄的颜色信息，将番茄图像就行灰度化，提取出原始图像的直方图曲线用拟合曲线对番茄分割，将番茄从背景中分割出来。采用双目立体视觉技术，从左右两幅图中计算番茄的三维坐标，实验结果表明，在摄像机与番茄之间的距离不超过400mm时，测量误差不超过4%；

2003年，中国农大张铁中等，对黄瓜、番茄、茄子等进行采摘机器人的研究，将一种全新的以针对色彩空间不同的参照表作为基本图像进行分割算法。

2005年，蔡建荣等基于HSI色彩空间技术对目标图像进行处理。以成熟的番茄果实为研究对象，将采集的图像从RGB转为HSI色彩空间。这种方法的缺点就是当果实出现重叠是，易产生识别误差；

2010年，南航通过对目标果实，果实枝干以及枝叶的反射光谱，由于目标对象反射光谱的不同，从而达到对目标的定位；该方法的优点是课以高效的避免外部干扰，但是对目标果实的轮廓识别精度不高；

**课题研究工作**

（1）视觉系统应具备两个功能

1）使目标番茄能够更好的被系统识别出来；2）将目标番茄进行三维层面的定位；

（2）多次试验

**技术路线**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70][]

--------------------

# 2 番茄图像采集与识别 #

番茄的辨别途径有两种：（1）依据灰度特征分割图像，将果蔬与背景区分开；（2）依据目标果蔬的形态特点进行判别；

本文采用的方法是：结合番茄的颜色特征和Otsu自适应阈值来分割识别目标图像，再利用优化的圆形Hough变换提取出圆心等特征参数；

鉴于该项实验是研发初期，在实验中拍摄照片的时候优先选择不存在遮挡或者重叠的果蔬，这样选择研究的对象主要是降低背景环境相似因素的影响；

--------------------

番茄颜色特征分析及预处理

自然环境中番茄与背景颜色受光照变化影响明显，故本文考虑使用基于色差的图像分割算法，以消除部分 RGB 颜色空间的 R、G、B 的相关性。由于果实为红色，而背景和枝叶的主要颜色为绿色，故色差采用红色分量减绿色分量。

![20181117094723273.png][]

成熟番茄图像的阈值分割

由于番茄识别背景动态变化，固定阈值无法达到目的，而最大类间方差法(OTSU)可以实现根据不同图像自动提取阈值，因此本文采用此方法。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1][] Otsu算法流程图

--------------------

**基于优化类圆形 Hough 变换的番茄轮廓提取**

Hough变换原理：Hough 变换是对图像进行坐标变换，用于多种形状的检测。被识别物体的形状、大小以及在图像中所处位置几乎不影响 Hough变换的结果，因而该方法广泛应用于图像处理中的形状检测。

--------------------

# 3 基于双目视觉番茄的匹配和定位  #

对识别出的目标番茄在图像平面上的二维图像坐标分析，提取出目标番茄的特征点的并进行匹配\[35\]来完成空间测距。

为了确定番茄的实际空间位置，本章研究了双目立体视觉技术，主要内容为设备相机标定原理和方法、匹配算法以及测距算法原理与实现方法，实现了对目标番茄的空间定位

相机标定 ：张正友提出的平面标定方法，模板制作容易，操作简单，经济且使用，鲁棒性好，对相机的标定准确，因此本文采用张氏摄像机标定法进行标定；

--------------------

**番茄图像的立体匹配**

依据立体视觉识别的图像匹配是双目立体视觉识别中重要的一个步骤，针对一个目标在双目左右摄像机采集的照片的位置差异(简称为视差)，达成对该目标深度信息的复原，然后得出目标物体的空间位置。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 2][] 番茄匹配算法流程图

--------------------

**三维坐标获取**

本文采用双目立体视觉系统机器视觉的原理，就是使用两个独立的相机，采取的方式就是像生物的双眼一样去采集图片，然后输入计算机，通过算法在计算机分析，由**三角原理**获得目标对象的三维坐标，达到辨别和定位的目的。

--------------------

**小结**

本章基于双目立体视觉原理，对相机参数进行标定确定其内部和外部参数。并通过左右两个摄像机同时对目标番茄拍摄，选择目标番茄的圆心当作唯一的对应匹配点最终达到空间匹配，在使用三角测距原理进行计算，最终获取了番茄的三维坐标。

--------------------

# 4 采摘机器人软件系统设计与实现  #

系统硬件平台搭建

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 3][] 采摘机器人平台

机械臂由连杆和连接关节组成，用于执行指定的采摘任务。关节由 4 个自由度机械臂组成，为主要执行部件，同时是手腕和末端执行器的支撑体；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 4][] 采摘流程图

--------------------

本章介绍了番茄采摘机器臂的硬件结构组成，并在 Windows7 操作系统下，基于 Visual Studio 2010 集成开发环境设计了番茄采摘识别定位系统。

该系统实现了对目标番茄的采摘中心点三维坐标定位。实验验证番茄采摘识别定位系统具有良好的可靠性，能够满足采摘作业的要求

--------------------

# 5 总结与展望  #

总结

(1) 分析了成熟番茄的颜色特征，选取了 R-G 特征进行番茄图像的灰度化，然后对 R-G 灰度图采用 OTSU 算法进行图像分割，最后结合优化的 Hough 圆算法对分割后的图像进行番茄轮廓拟合，识别出了番茄，定位出了其圆心；

(2)研究了相机的成像模型，以双目摄像头为实验设备，选取番茄圆心为特征点，运用立体匹配方法计算番茄圆心的三维坐标，深入研究了番茄的匹配算法和双目测距算法并将其实现。对 11 组番茄图像进行测试，能够准确的还原出其三维信息。

(3)设计了番茄采摘机器人的上位机软件系统通过 VS2010 将其实现。在实验室环境下，对软件进行了测试，结果表明软件能够准确获取番茄的三维信息;

展望

不足与改进的地方

（1）图像的采集是建立在光照条件较好的情况下，且番茄成熟度较好，红色特征明显，因此识别效果很好。对于光照条件不够充分的情况，没有深入研究。

（2）当遮挡面积较大导致轮廓信息不完整时，Hough 圆变换的识别效果有时候不是特别理想。因此，对于遮挡情形下的番茄识别也是需要改进的地方

（3）定位方法，除了本文采用的双目立体视觉技术来实现定位，还可以对单目定位、三目定位、超声波定位、激光定位、红外定位、结构光定位等定位方法进行分析讨论以及对比优劣。

--------------------

finished，2018.11.17，morning，by songpl

★声明：本篇文章是本人在学习期间的笔记，如有侵权，请联系删除

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70]: /images/20220416/18a10398cefb46f6a8b6381e8370450c.png
[20181117094723273.png]: /images/20220416/12ae19ba452d4bea90863a5ba54d101c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1]: /images/20220416/8e4938c60bb54b6e8c6b4d5807c5cdc4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 2]: /images/20220416/c8dd71de7d524001b4d8543eedf30129.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 3]: /images/20220416/6b1a78617ba44af5825bf6f4e6b0d006.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 4]: /images/20220416/7343bcb4991f4d62b9ee9e0d124afb2d.png