(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210641069.7 (22)申请日 2022.06.08 (65)同一申请的已公布的文献号 申请公布号 CN 114714365 A (43)申请公布日 2022.07.08 (73)专利权人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 王耀南　周鸿敏　朱青　毛建旭　 刘学兵　伍俊岚　周显恩　吴成中　 冯明涛　黄嘉男　 (74)专利代理 机构 长沙市护航专利代理事务所 (特殊普通 合伙) 43220 专利代理师 莫晓齐(51)Int.Cl. B25J 9/16(2006.01) B25J 9/00(2006.01) B25J 13/00(2006.01) B25J 19/04(2006.01) 审查员 刘恒 (54)发明名称 一种基于云平台的无序工件抓取方法及其 系统 (57)摘要 本发明具体公开了一种基于云平台的无序 工件抓取方法及其系统， 所述方法包括： 搭建硬 件系统和云平台； 图像采集装置标定获取内参； 手眼标定与拾取装置标定； 利用预设训练好的实 例分割模型获取目标工件的点云信息； 将目标工 件的点云信息与预设实例模板的点云信息进行 ICP配准； 算机器人基座坐标系与目标工件坐标 系之间的转换矩阵， 进而 得到目标工件的位姿信 息； 基于目标工件的位姿信息， 通过服务器控制 机器人系统对目标工件进行抓取， 进而完成目标 工件的上料工作。 本发明能够 有效解决工业场景 复杂、 存在堆叠现象且采集图像边缘与纹理信息 不明显所造成位姿获取难度高的问题。 权利要求书3页 说明书8页 附图2页 CN 114714365 B 2022.08.23 CN 114714365 B 1.一种基于云平台的无序工件抓取 方法， 其特 征在于， 所述方法包括以下步骤： S1、 搭建机器人系统和图像采集装置并获取图像采集装置的内参， 其中， 机器人系统包 括机器人基座、 机械手以及设于机械手末端上 的拾取装置， 利用手眼标定获取图像采集装 置坐标系与机器人基座坐标系之间的转换矩阵以及拾取装置坐标系与机械手末端坐标系 之间的转换矩阵； S2、 将预设实例模板的中心点与 拾取装置的坐标原点重合， 并以预设实例模板为ICP配 准的预设实例模板， 进而获取预设实例模板坐标系与图像采集装置坐标系之间的转换矩 阵； S3、 利用图像采集装置采集工件台上目标工件的图片数据和点云信息， 然后将所采集 的图片数据和 点云信息传输至服务器中并利用预设训练好的实例分割模型进行实例分割 以获取图片数据的掩码信息， 再将图片数据的掩码信息和图像采集装置采集的对应点云信 息进行匹配分割以得到目标工件的点云信息； S4、 服务器接收目标工件的点云信息， 并将 目标工件的点云信息与预设实例模板的点 云信息进行ICP配准， 进而得到目标点云坐标系与预设实例模板点云坐标系之间的转换矩 阵； S5、 基于图像采集装置坐标系与机器人基座坐标系之间的转换矩阵、 拾取装置坐标系 与机器人末端坐标系之 间的转换矩阵、 预设实例模板坐标系与图像采集装置坐标系之 间的 转换矩阵以及目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵， 计算机器人基 座坐标系与目标工件坐标系之 间的转换矩阵， 进而得到机器人基座坐标系下目标工件的位 姿信息； S6、 基于机器人基座坐标系下目标工件的位姿信息， 通过服务器控制机器人系统对目 标工件进行抓取， 进 而完成目标工件的上 料工作。 2.如权利要求1所述的基于云平台的无序工件抓取方法， 其特征在于， 所述步骤S1中图 像采集装置坐标系与机器人基座 坐标系之间的转换矩阵用公式表示 为：  (1) 式 （1） 中， 表示图像采集装置坐标系， 表示机器人基座坐标系， 表示某一固定 点 在机器人基座坐标系下对应坐标， 表示该固定点 在图像采集装置坐标系下对应坐 标， 表示图像采集装置坐标系与机器人基座 坐标系之间的转换矩阵； 其中， 拾取装置坐标系与机械手末端坐标系之间的转换矩阵用公式表示为： (2) 式 （2） 中， 表示拾取装置坐标系与机械手末端坐标系之间的转换矩阵， 表示 机械手末端坐标系与机器人基座坐标系之间的转换矩阵， 表示图像采集装置的内参矩 阵。 3.如权利要求2所述的基于云平台的无序工件抓取方法， 其特征在于， 所述步骤S2的具 体实现方式为： 通过旋转变换和平移变换将预设实例模板的中心点与拾取装置坐标系的原 点重合以使预设实例模板中的目标实例坐标转换到拾取装置坐标系下， 并利用PnP算法计权　利　要　求　书 1/3 页 2 CN 114714365 B 2算出图像采集装置的外参， 进而求出预设实例模板坐标系与图像采集装置坐标系之 间的转 换矩阵， 用公式表示 为： (3) (4) 式 （3） 、 （4） 中， 表示预设实例模板坐标系和图像采集装置坐标系之间的转换矩 阵， 表示预设实例模板中目标实例的像素坐标， 表示拾取装置坐标系下对 应 的坐标， 和 是基于当前预设实例模板由PnP算法所计算的 图像采集装置外 参， 其分别表示预设实例模板坐标系与图像采集装置坐标系之间的旋转矩阵和平移矩阵， 表示图像采集装置的内参。 4.如权利要求3所述的基于云平台的无序工件抓取方法， 其特征在于， 所述步骤S3 中利 用预设训练好的点云分割模型获取图片数据的掩码信息具体为： 通过修改掩码损失函数的 计算与回归方式， 提出增加掩码上 的边界区域距离损失约束， 并利用边界加权分割损失函 数的区域距离损失约束正则化分割的位置、 形状和连续性， 优化目标工件边缘的分割结果， 进而获取图片数据的掩码信息， 其对应修改后的掩码损失函数用公式表示 为： （5） 式 （5） 中， 表示掩码， 表示加权分割损失函数的边界区域距离损失约束， 表示 权重系数， 表示分割区域边界处的点集， 表示点集 中的一个点， 表示根据距离变 换到标记区域构建的距离图， 表示预测对象的掩码。 5.如权利要求4所述的基于云平台的无序工件抓取方法， 其特征在于， 所述步骤S3 中得 到目标工件的点云信息具体为： 预设分割后目标工件点云信息的尺寸， 利用预设训练好的 点云分割模型对图像采集装置所采集的图片数据进行分割获取对应的掩码信息， 然后基于 所获取的掩码信息对图像采集装置采集的对应点云信息进 行裁剪， 进而得到目标工件的点 云信息。 6.如权利要求5所述的基于云平台的无序工件抓取方法， 其特征在于， 所述步骤S4的具 体实现方式为： 服务器接 收目标工件的点云信息， 基于目标工件的点云信息和预设实例模 板的点云信息并按照预设约束 条件找到其最邻近点对， 进而计算目标点云坐标系与预设实 例模板点云坐标系之间的最优匹配参数和以使误差函数最小， 基于所计算得到的最优匹配 参数获取目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵， 用公式表示为：权　利　要　求　书 2/3 页 3 CN 114714365 B 3