(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221046420 6.4 (22)申请日 2022.04.29 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 申请人 岭南现代农业科 学与技术广东省实 验室 (72)发明人 杨洲　吴烽云　段洁利　邹湘军　 莫杏康　林晓宏　赖杨龙　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 唐善新 (51)Int.Cl. A01D 91/04(2006.01) A01D 46/30(2006.01)B25J 9/16(2006.01) B25J 11/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) G06T 7/50(2017.01) G06V 20/20(2022.01) (54)发明名称 一种视觉定位的大串香蕉果梳落梳采摘方 法及装置 (57)摘要 本发明公开了一种视觉定位的大串香蕉落 梳采摘方法及装置： 包括ZED双目摄像机、 五轴机 械手、 刀片机构和相机转动机构； 所述ZED双目摄 像机固定安装在相机转动机构上， 相机转动机构 安装在刀片机构上， 刀片机构安装在五轴机械手 的末端； 所述刀片机构 包括弧形刀片、 环形导轨、 环形齿条、 刀片 插座、 驱动电机和 力传感器。 本发 明通过视觉实现对香蕉树上的香蕉果梳非线性 弧形柄进行识别定位， 并设计了一种可直接应用 于野外环境下香蕉树上的香蕉果梳从下而上的 落梳采摘装置， 将传统的二次分离方法转变为直 接一次完成果梳落梳分离， 提高采摘效率， 降低 香蕉采摘与消毒处 理的损坏率， 降低采摘成本 。 权利要求书3页 说明书8页 附图3页 CN 114711029 A 2022.07.08 CN 114711029 A 1.一种视觉定位的大串香蕉落梳采摘装置， 其特征在于： 包括ZED双目摄像机、 五轴机 械手、 刀片机构和相机转动机构； 所述ZED双目摄像机固定安装在相机转动机构上， 相机转 动机构安装在刀片机构上， 刀片机构安装在五轴机械手的末端； 所述刀片机构包括弧形刀 片、 环形导轨、 环形齿条、 刀片插座、 驱动电机和力传感器。 2.根据权利要求1所述的视觉定位的大串香蕉落梳采摘装置， 其特征在于： 所述五轴机 械手的每个轴上都配有专用的电动机以驱动每个轴的独立运动； 所述五轴机械手配置有控 制模块， 用于控制机 械手的运动和储 存机械手的运动数据。 3.根据权利要求1所述的视觉定位的大串香蕉落梳采摘装置， 其特征在于： 所述ZED双 目摄像机固定安装在相机转动机构上， 相机转动机构固定安装在刀片 机构的环形导轨的连 接柄上方； 相机转动机构控制ZED双目摄像机向上转动， 保证香蕉果梳非线性弧形柄始终在 ZED双目摄像机的视野范围内； 双目摄像机与电脑的输入端相连接， 用于采集香蕉果梳的数 据。 4.根据权利要求1所述的视觉定位的大串香蕉落梳采摘装置， 其特征在于： 所述刀片插 座与环形齿条内嵌在环形导轨中， 刀片插座的纵向外侧 面紧贴于环形导轨的内壁， 刀片插 座固定于环形齿条 的上方， 弧形刀片 固定插接于刀片插座的刀片卡槽中； 驱动电机固定于 环形导轨的外侧延伸处， 其输出轴 与齿轮通过键与键槽连接传动， 驱动电机用于驱动齿轮， 带动环形齿条运动； 力传感器安装于刀片插座的底部 。 5.根据权利要求1或4所述的视觉定位的大串香蕉落梳采摘装置， 其特征在于： 所述环 形导轨呈缺口圆弧结构且导轨弧长大于半圆， 缺口部分小于半圆； 环形齿条呈缺口圆弧结 构且齿条弧长大于半圆， 环形齿条 的弧长略小于环形导轨的弧长， 且大于环形导轨的缺口 部分长度， 确保在回转切割过程中环形齿条始终与环形导轨两侧的任一齿轮处于啮合状 态， 实现绕环形导轨的圆周运动； 驱动电机处于环形导轨直径的两个顶点处， 电机的输出轴 与齿轮连接带动其转动， 齿轮与环形齿条啮合带动其旋转， 环形齿条带动固接在刀片插座 上的弧形刀片往复圆周回转。 6.根据权利要求1或4所述的视觉定位的大串香蕉落梳采摘装置， 其特征在于： 所述弧 形刀片呈缺口圆弧结构且刀片 弧长大于半圆， 沿其周向设有齿状带， 弧形刀片在力传感器 的作用下持续贴合 香蕉果轴， 并在环形齿条的带动下保持往复圆周回转切割。 7.根据权利要求1或4所述的视觉定位的大串香蕉落梳采摘装置， 其特征在于： 所述刀 片插座的横截面呈缺口圆弧状， 弧长与环形齿条一致， 纵向外侧面呈圆柱状， 内侧面呈圆台 状， 刀片插座的内壁两侧各有一个滑动导轨， 滑动导轨的滑 块上固定连接有刀片卡槽， 刀片 卡槽的下部填充有弹性可膨胀固体块， 刀片插座限制可膨胀固体块的横向移动， 并在气缸 作用下通过弹性可膨胀固体块的充气、 泄气使刀片卡槽沿着纵向移动， 当刀片机构运动到 与香蕉果轴同心 时， 刀片卡槽下部的可膨胀固体块在气缸 的作用下纵向膨胀， 弧形刀片在 允许范围内弯曲变形， 使弧形刀片的半径趋同于果轴半径， 推动弧形刀片与香蕉果轴贴合， 在弧形刀片上端与香蕉果轴完全贴合后， 力传感器将数据传送给调节气缸工作的专有控制 模块， 此控制模块操作气缸充气、 泄气， 当力传感器所受压力未达到预设压力时， 气缸持续 充气， 当力传感器所受压力达到预设压力时， 气缸停止充气， 可膨胀固体块停止膨胀， 弧形 刀片与香蕉果轴始终保持一定 压力贴合。 8.一种视觉定位的大串香蕉落梳采摘方法， 其特征在于： 先采用ZED双目摄像机对香蕉权　利　要　求　书 1/3 页 2 CN 114711029 A 2果梳进行视觉识别与定位， 然后采用权利要求 1～7中任一项 所述的大串香蕉落梳采摘装置 对香蕉进 行从下而上的落梳 分离采摘， 再通过安置于五轴机械手下方的柔性装载箱收集下 落的香蕉果梳 。 9.根据权利要求8所述的大串香蕉落梳采摘方法， 其特 征在于包括下述 步骤： (1)打开ZED双目摄像头,调整大串香蕉落梳采摘 装置的姿态， 使得ZED双目摄像头的视 野包含识别对象香蕉果梳及定位对象香蕉果梳非线性弧形柄； (2)ZED双目摄像头获取香蕉果梳图像， 将图像输送给电脑， 利用前期训练的YOLOv5网 络改进模型得到目标识别对象香蕉果梳， 将图像中香蕉果梳非线性弧形柄的位置信息通过 运算获得香蕉果梳在果轴上的三 维空间坐标， 根据香蕉果轴和香蕉果梳非线性弧形柄的位 置信息确定香蕉果梳切割点； (3)电脑将香蕉果梳的三维空间坐标传送给装置的控制模块； 控制模块操纵装置到达 最下面的香蕉果梳切割点的三维空间位置， 同时将刀片机构对准切割点， 刀片机构到达大 串香蕉果梳柄下端的切割点， 然后刀片卡槽下部的可膨胀固体块充气膨胀， 在力传感器的 作用下使弧形刀片与香蕉果轴保持一定压力 贴合， 然后 驱动电机启动， 齿轮啮合带动环形 齿条旋转， 从而带动弧形刀片往复回转切割， 同时五轴机械手向上运动， 第一梳香蕉果梳切 割完后， ZED双目摄像机将位置信息传送给调节气缸工作的专有控制模块， 控制 刀片卡槽下 部可膨胀固体块带动弧形刀片回退， 切断香蕉果梳柄与果轴皮的连接， 使果梳自由下落， 落 进下方的柔性收集箱； (4)从下往上的首梳香蕉果梳被切割完后， 通过视觉校准给出的坐标位置， 控制模块控 制末端执行器沿着香蕉果梳非线性弧形柄上移， 对准香蕉果梳重复上述第(3)点步骤， 依次 逐个完成切割， 直至 完成香蕉果梳的落梳的整个流 程； (5)当ZED双目摄像头的视野内没有检测到香蕉果梳时， 末端执行器松开回退， 完成大 串香蕉的切割。 10.根据权利要求9所述的大串香蕉落梳采摘方法， 其特征在于： 步骤(2)中， 所述通过 运算获得香蕉果梳在果轴上的三维空间坐标， 包括下述 步骤： (2‑1)对ZED双目摄像机进行标定， 获得相机的内参数矩阵、 畸变系数和重投影矩阵数 据， 校正左右视图并进行坐标转换； (2‑2)对五轴机械手和ZED双目摄像机进行手眼标定， 得到相机坐标系和 末端执行器坐 标系的旋转矩阵和平 移矩阵； (2‑3)利用前期训练的YOLOv5网络改进模型得到目标识别对象香蕉果梳， 进行局部立 体匹配计算香蕉果梳点云信息， 并计算下方香蕉果轴的位置坐标， 然后控制搭载ZED双目摄 像机的五轴机械手到达香蕉果轴 下方的位置， ZED双目摄像机向上翻转保持香蕉果梳非线 性弧形柄在ZED双目摄 像机视野范围内； (2‑4)利用Sobel算子提取香蕉果轴和香蕉果梳边缘轮廓点； 然后进行极坐标变换， 利 用形状上下文匹配算法进行形状描述， 对ZED双目摄像机中获得的左右视图中的香蕉果梳 非线性弧形柄图像对进行 形状匹配得到深度信息； (2‑5)利用拉格朗日乘数法对香蕉果梳非线性弧形柄边缘轮廓点进行空间圆弧拟合计 算， 得到空间圆心坐标和空间圆半径值； (2‑6)利用RANSAC算法对香蕉果梳非线性 弧形柄边缘轮廓点的空间圆弧拟合的点云进权　利　要　求　书 2/3 页 3 CN 114711029 A 3