(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210511704.X (22)申请日 2022.05.10 (71)申请人 浙江西图盟数字科技有限公司 地址 310012 浙江省杭州市西湖区转塘街 道山景路7号2幢3楼3 01室、 309室 (72)发明人 郭成　朱胜银　康竟然　张杰　 于兴林　梁海清　黄世奇　肖伯俊　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 方秀琴 (51)Int.Cl. B25J 9/16(2006.01) B25J 15/08(2006.01) B25J 18/00(2006.01) G06V 20/00(2022.01)G06V 10/26(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01) (54)发明名称 基于机械臂的物体抓取方法、 系统、 设备及 存储介质 (57)摘要 本申请公开一种基于机械臂的物体抓取方 法、 系统、 设备及存储介质， 涉及机械手技术领 域， 解决了由于物体定位精度不高导致机械臂物 体抓取的准确率较低的问题。 具体方案包括： 接 收采集设备发送的目标区域的目标图像和目标 点云数据， 目标区域包括待抓取的目标物体； 根 据目标图像、 目标物体对应的目标标识信息和预 存的目标分割模型， 确定目标区域坐标， 目标区 域坐标包括目标物体的各个像素点中每个像素 点的坐标； 根据目标点云数据和区域坐标， 确定 目标物体的物体点云数据； 根据物体点云数据确 定目标物体的目标位姿； 向机械臂发送目标位 姿， 目标位姿用于 机械臂抓取目标物体 。 权利要求书3页 说明书12页 附图2页 CN 115213896 A 2022.10.21 CN 115213896 A 1.一种基于 机械臂的物体抓取 方法， 其特 征在于， 所述方法包括： 接收采集设备发送的目标区域的目标图像和目标点云数据， 所述目标区域包括待抓取 的目标物体； 根据所述目标图像、 所述目标物体对应的目标标识信息和预存的目标分割模型， 确定 目标区域 坐标， 所述目标区域 坐标包括所述目标物体的各个 像素点中每 个像素点的坐标； 根据所述目标点云数据和所述目标区域 坐标， 确定所述目标物体的物体点云数据； 根据所述物体点云数据确定所述目标物体的目标位姿； 向机械臂发送所述目标位姿， 所述目标位姿用于所述机 械臂抓取 所述目标物体。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标图像、 所述目标物体对 应的目标 标识信息和预存的目标分割模型， 确定目标区域 坐标， 包括： 将所述目标图像输入至所述目标分割模型中得到所述目标图像的多个像素区域中各 像素区域对应的标签信息， 所述标签信息中包括所述像素区域对应的标识信息和区域坐 标， 所述区域 坐标包括多个 像素点； 根据像素区域和标识信息的对应关系， 确定所述目标 标识信息对应的目标像素区域； 将所述目标像素区域对应的区域 坐标确定为所述目标区域 坐标。 3.根据权利要求1或2所述的方法， 其特征在于， 所述根据所述目标点云数据和所述目 标区域坐标， 确定所述目标物体的物体点云数据， 包括： 获取所述目标图像包括的每个像素点的坐标与每个所述目标点云数据的坐标之间的 映射关系； 根据所述映射关系确定所述区域 坐标对应的所述物体点云数据。 4.根据权利要求1或2所述的方法， 其特征在于， 所述根据所述目标图像、 所述目标物体 对应的目标 标识信息和预存的目标分割模型， 确定目标区域 坐标之前， 所述方法还 包括： 获取多个物体的样本图像； 确定每个样本图像的样本像素区域， 并确定每个样本图像的每个样本像素区域对应的 标签信息， 所述标签信息包括所述样本像素区域对应的区域 坐标和标识信息； 利用所述多个物体的样本图像和每个样本图像中各像素区域对应的标签信 息， 对预设 的定位分割模型进行训练， 得到所述目标分割模型。 5.根据权利要求4所述的方法， 其特征在于， 所述确定每个样本 图像的样本像素区域， 包括： 对每个样本图像进行边 缘分割处 理， 得到每 个样本图像包括的物体的目标轮廓； 根据每个样本 图像对应的目标轮廓， 对每个样本 图像进行区域划分， 得到每个样本 图 像的第一样本像素区域和第二样本像素区域； 其中， 所述目标轮廓内的像素点形成所述第一样本像素区域， 所述第二样本像素区域 为所述样本图像中的空白区域。 6.根据权利要求5所述的方法， 其特征在于， 所述确定每个样本图像的每个样本像素区 域对应的标签信息， 包括： 当所述第一样本像素区域对应的目标轮廓与预存的像素轮廓匹配成功时， 将所述像素 轮廓对应的标识信息作为所述第一样本像素区域对应的标识信息； 获取所述第二样本像素区域对应的预设标识信息；权　利　要　求　书 1/3 页 2 CN 115213896 A 2根据像素区域中每 个像素点的坐标确定所述像素区域对应的区域 坐标。 7.根据权利要求1或2所述的方法， 其特征在于， 所述物体点云数据为所述目标物体在 目标坐标系下的点云数据， 所述目标坐标系为所述采集设备 所使用的坐标系； 所述根据所述物体点云数据确定所述目标物体的目标位姿， 包括： 获取所述目标标识信 息对应的点云模板数据， 所述点云模板数据为所述目标物体在预 设坐标系下的点云数据； 根据所述物体点云数据和所述 点云模板数据， 确定所述目标位姿。 8.根据权利要求7所述的方法， 其特征在于， 所述根据所述物体点云数据和所述点云模 板数据， 确定所述目标位姿， 包括： 根据所述物体点云数据、 所述点云模板数据、 预设的点特征直方图及预设的基于采样 匹配一致性的特征匹配算法得到所述目标物体的初始位姿， 所述初始位姿为所述目标物体 基于所述采集设备的位姿； 对所述初始位姿和所述物体点云进行迭代计算， 得到所述目标物体的优化 位姿； 获取所述采集设备与所述机 械臂的基座之间的目标坐标转换关系； 根据所述优化位姿和所述目标坐标转换关系确定所述目标位姿， 所述目标位姿为所述 目标物体 基于所述机 械臂的基座的位姿。 9.根据权利要求8所述的方法， 其特征在于， 所述获取所述采集设备与 所述机械臂的基 座之间的目标坐标转换关系， 包括： 获取物体在各不同位姿下的第 一坐标转换关系和对应的第 二坐标转换关系， 所述第 一 坐标转换关系为所述采集设备与所述机械臂的抓手之 间的坐标转换关系， 所述第二坐标转 换关系为所述基座与所述 抓手之间的坐标转换关系； 根据每个第一坐标转换关系和对应的第二坐标转换关系， 得到所述目标坐标转换关 系。 10.根据权利要求9所述的方法， 其特征在于， 所述根据每个第一坐标转换关系和对应 的第二坐标转换关系， 得到所述目标坐标转换关系， 包括： 根据每个第 一坐标转换关系和对应的第 二坐标转换关系， 得到每个第 一坐标转换关系 对应的第三 坐标转换关系； 将多个第三 坐标转换关系进行最小二乘拟合计算， 得到所述目标坐标转换关系。 11.根据权利要求7所述的方法， 其特征在于， 所述获取所述目标物体对应的点云模板 之前， 所述方法还 包括： 在所述目标物体的点云数据上选取至少两个点云数据建立所述预设坐标系； 根据所述预设坐标系确定所述 点云模板数据。 12.一种基于机械臂的物体抓取系统， 其特征在于， 所述系统包括： 采集设备、 电子设备 和机械臂； 所述采集设备， 用于采集目标区域的目标图像和目标点云数据， 所述目标区域包括待 抓取的目标物体， 并向所述电子设备发送采集到的目标图像和目标点云数据； 所述电子设备， 用于接收所述采集设备发送的目标图像和目标点云数据， 所述目标图 像的图像内容中包括待抓取的目标物体， 所述目标点云数据中包括所述目标物体的物体点 云数据；权　利　要　求　书 2/3 页 3 CN 115213896 A 3