(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210708291.4 (22)申请日 2022.06.21 (65)同一申请的已公布的文献号 申请公布号 CN 114789452 A (43)申请公布日 2022.07.26 (73)专利权人 季华实验室 地址 528200 广东省佛山市南海区桂城街 道环岛南路28号 (72)发明人 范朝龙　付鑫　袁悦　 (74)专利代理 机构 佛山市君创知识产权代理事 务所(普通 合伙) 44675 专利代理师 张燕玲 (51)Int.Cl. B25J 9/16(2006.01) B25J 9/00(2006.01)(56)对比文件 CN 111805533 A,2020.10.23 CN 111805533 A,2020.10.23 CN 212292079 U,2021.01.0 5 CN 113657551 A,2021.1 1.16 CN 111753692 A,2020.10.09 KR 20010063925 A,2001.07.09 审查员 李祥亮 (54)发明名称 一种基于机器视觉的机器人抓取方法及系 统 (57)摘要 一种基于机器视觉的机器人抓取方法及系 统， 涉及机器人抓取技术领域， 方法包括： 触发拍 照模块触发拍照模块进行拍照， 拍照模块将拍下 的图像传送到图像获取模块， 图像获取模块将拍 下的图像传至计算位置模块； 计算位置模块接收 到拍下的图像后， 对拍下的图像上的工件进行视 觉算法处理得出其位置信息， 并将识别到的工件 的位置信息发送给机械臂抓取模块， 机械臂抓取 模块接收到传送来的工件位置信息后， 执行抓取 工作， 机械臂抓取模块每完成一次抓取工作则发 送一次拍照信号至触发拍照模块； 重复前面的步 骤至完成所有工件的抓取工作。 本发明有益效 果： 可快速在一堆乱序工件中对工件 执行抓取工 作， 使乱序抓取工作循环顺利执行， 提高自动化 生产效率。 权利要求书2页 说明书6页 附图1页 CN 114789452 B 2022.09.16 CN 114789452 B 1.一种基于 机器视觉的机器人抓取 方法， 其特 征在于， 包括以下步骤： 步骤1、 系统程序初始化； 步骤2、 触发拍照模块接收到相应拍照信号触发拍照模块进行拍照， 拍照模块将拍下的 图像传送到图像获取模块， 图像获取模块对拍照模块拍下 的图像进行接 收与存储， 并将拍 下的图像传送至计算 位置模块； 步骤3、 计算位置模块接收到拍下的图像后， 对拍下的图像上的工件进行视觉算法处理 得出工件的位置信息， 并将识别到的工件的位置信息发送给机械臂抓取模块， 机械臂抓取 模块将传送过来的工件位置信息作为抓取信号， 执行抓取工作， 机械臂抓取模块每完成一 次抓取工作则发送一次拍照信号至触发拍照模块； 当工件重叠堆积导致计算位置模块对工 件的位置信息计算失败时， 则通过回路循环模块推动堆叠的部 分工件离开工件抓取区域后 再传送到工件抓取区域， 回路循环模块发送拍照信号至触发拍照模块， 并返回步骤2， 其中 工件抓取区域指机械臂 抓取模块能够抓取工件的区域； 所述回路循环模块包括回路传送带 及设置在该回路传送带入口上方 的推杆， 推杆的高度可调， 所述回路循环模块推动堆叠的 部分工件离开工件抓取区域后再传送到工件抓取区域具体为： 推杆将堆叠在上方的工件推 到回路传送带， 没有被推到回路传送带 的工件继续在工件抓取区域等待被抓取， 推到回路 传送带的工件经 过回路传送带 再传送回工件抓取区域 步骤4、 重复步骤2 ‑步骤3， 直至 完成所有工件抓取工作。 2.根据权利要求1所述的一种基于机器视觉的机器人抓取方法， 其特征在于， 所述步骤 3中进行视觉算法处理的步骤 具体包括： （1） yolo算法图像识别； （2） 图像首次分割提取工件 图像； （3） 图像二次分割提取工件轮廓； （4） 根据工件轮廓计算工件中心 点坐标， 即得到工件 的位置信息 。 3.根据权利要求2所述的一种基于机器视觉的机器人抓取方法， 其特征在于， 所述步骤 （1） yolo算法图像识别的方法为： 通过yoloV5算法训练需要分拣的工件对象， 并使用训练后 的神经网络模型识别步骤2中拍下 的图像， 确定识别后的工件图像框的中心点坐标及工件 图像框的高度与宽度,以及工件的置信度， 识别后的工件图像框的个数为1个或多个。 4.根据权利要求2所述的一种基于机器视觉的机器人抓取方法， 其特征在于， 所述步骤 （2） 图像首次分割提取工件图像的方法具体为： 首先提取检测到的每个工件的置信度， 然后 对比选出其中最大的置信度， 获取最大的置信度对应的工件图像框的中心 点坐标及工件图 像框的高度与宽度值 （x,y,h,w） ， 其中分割区域计算公式如下： X0=x‑w/2     (1) Y0=y‑h/2     (2) X1=x+w/2     (3) Y1=y‑h/2     (4) X2=x‑w/2    (5) Y2=y+h/2    (6) X3=x+w/2    (7) Y3=y+h/2    (8) 其中坐标 （X0， Y0） ， （X1， Y1） ， （X2， Y2） ， （X3， Y3） 分别为分割区域的左上、 右上、 左下、 右 下四个顶 点的坐标， 通过以上四个坐标点分割所述拍下的图像得到对应的工件图像， （x,y）权　利　要　求　书 1/2 页 2 CN 114789452 B 2为工件图像框的中心点 坐标， h为工件图像框的高度， w 为工件图像框的宽度。 5.根据权利要求2所述的一种基于机器视觉的机器人抓取方法， 其特征在于， 所述步骤 （3） 图像二次分割提取工件轮廓的具体方法为： 首先对提取的工件图像进 行高斯平滑去噪， 然后对去 噪后的工件图像进行灰度化处理， 接着对灰度化后的工件图像进行分割， 分割的 方法是通过对灰度化后的工件图像使用canny算子检测出图像中工件的轮廓， 再通过 findcounters算法提取工件的最外边缘的轮廓数据集， 最后将其最外边缘的轮廓数据集存 放到内存地址AD DR2中。 6.根据权利要求2所述的一种基于机器视觉的机器人抓取方法， 其特征在于， 所述步骤 （4） 根据工件轮廓计算工件中心点坐标的具体方法为： 通过工件的最外边缘的轮廓像素数 据集计算该轮廓的中心 位置， 即计算中心的坐标x0和y0： （1） 计算x0， 具体为： 用积分公 式求 上述轮廓的面积， 然后用垂直x轴的直线切割轮廓以使切割后左右面积相等， 此时垂直x轴 的直线在x轴的坐标为x0； （2） 计算y0， 具体为： 用垂直y轴的直线切割轮廓以使切割后上下 面积相等， 此时垂直y轴的直线在y轴的坐标为y0 。 7.一种基于 机器视觉的机器人抓取系统， 其特 征在于， 所述 抓取系统包括： 触发拍照模块， 用于根据接收到相应 触发信号触发拍照模块进行拍照； 拍照模块， 用于拍照， 并将拍下的图像传送到图像获取模块； 图像获取模块， 用于对拍照模块拍 下的图像进行接收与存储， 并将拍 下的图像传送至 计算位置模块； 计算位置模块， 用于在接收到拍 下的图像后， 对拍 下的图像上的工件进行视觉算法处 理并得出其位置信息， 并将识别到的位置信息发送给机 械臂抓取模块； 机械臂抓取模块， 用于将传送过来的工件的位置信息作为抓取信号， 执行抓取工作， 抓 取工作完成则发送拍照信号到触发拍照模块， 以触发拍照模块收到拍照信号后启动拍照模 块进行下一轮拍照工作； 所述机器人抓取系统还包括 回路循环模块， 所述 回路循环模块包括 回路传送带和回路 传送带入口上方设置的推杆， 推杆的高度可调， 当计算位置模块对工件的位置信息计算失 败时， 推杆将堆叠在上方 的工件推到回路传送带， 没有被推到回路传送带 的工件继续在工 件抓取区域等待被抓取， 当推到回路传送带 的工件传送回工件抓取区域时， 回路循环模块 发送拍照信号至触发拍照模块， 其中工件抓取区域指机械臂抓取模块能够抓取工件的区 域。权　利　要　求　书 2/2 页 3 CN 114789452 B 3