(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210576645.4 (22)申请日 2022.05.25 (71)申请人 清华大学深圳国际研究生院 地址 518055 广东省深圳市南 山区西丽 街 道深圳大 学城清华校区A栋二楼 (72)发明人 梁斌　刘厚德　于海鑫　李寿杰　 王学谦　 (74)专利代理 机构 深圳新创友知识产权代理有 限公司 4 4223 专利代理师 孟学英 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种透明物体的抓取方法、 系统及计算机可 读存储介质 (57)摘要 本发明提供一种透明物体的抓取方法、 系统 及计算机可读存储介质， 方法包括： 通过 RGB相机 采集包含透明物体的整个工作区域的RGB图像； 将RGB图像作为输入， 通过生成式残差卷积神经 网络对输入图像进行处理， 处理后可生成表征透 明物体抓取位置的热力图以及抓取半径热力图 定位抓取点； 采用安装在机械臂末端的具有人工 触觉的机械臂夹爪提取抓取点的触觉图像， 并提 取视觉图像中透明物体的轮廓， 通过透明物体的 轮廓判断透明物体相对具有人工触觉的机械臂 夹爪的位置直到将透明物体移动到具有人工触 觉的机械臂夹爪的中心； 对透明物体进行抓取并 放置在指定位置。 通过视觉进行引导后使用触觉 进行精细定位， 结合视觉与触觉进行透明物体抓 取。 权利要求书2页 说明书10页 附图6页 CN 114750164 A 2022.07.15 CN 114750164 A 1.一种透明物体的抓取 方法， 其特 征在于， 包括如下步骤： S1： 通过RGB相机采集包 含透明物体的整个工作区域的RGB图像； S2： 将所述RGB图像作为输入， 通过生成式残差卷积神经网络对输入图像进行处理， 处 理后可生成表征透明物体抓取位置的热力图以及抓取半径热力图定位 抓取点； S3： 采用安装在机械臂末端的具有人工触觉的机械臂夹爪提取所述抓取点的触觉图 像， 并提取所述视觉图像中透明物体的轮廓， 通过所述透明物体的轮廓判断所述透明物体 相对所述具有人工触觉的机械臂夹爪的位置直到将所述透明物体移动到所述具有人工触 觉的机械臂夹爪的中心； S4： 对所述透明物体进行抓取并放置在指定位置 。 2.如权利要求1所述的透 明物体的抓取方法， 其特征在于， 对感知的所述透 明物体进行 抓取之前对所述透明物体进行分类； 具体包括如下步骤： 将所述RGB图像与所述触觉图像进行匹配后裁剪所述RGB图像使得裁剪后的RGB图像和 所述触觉图像有相同的视场范围； 将所述裁 剪后的RGB图像和所述触觉图像输入分类网络进行物体分类。 3.如权利要求1所述的透明物体的抓取方法， 其特征在于， 将所述RGB图像作为输入， 通 过所述生成式残差卷积神经网络对输入图像进行处 理， 具体包括： 所述RGB图像经过第一卷积层、 第二卷积层和第三卷积层进行特征提取， 分别生成32 维、 64维和128维的特征向量； 所述卷积层的输出接下来会送入5个残差块中， 所述残差块的 输入分辨率与输出分辨率相等， 之后再经过第四卷积层、 第五卷积层和第六卷积层后， 得到 输出分辨率与输入的所述RGB图像的分辨率相同的两个特征向量， 两个所述特征向量分别 为抓取位置和抓取半径。 4.如权利要求3所述的透 明物体的抓取方法， 其特征在于， 所述生成式残差卷积神经网 络采用跨层连接， 第一卷积层与第六卷积层进行跨层连接， 第二卷积层和第 五卷积层进行 跨层连接， 第三卷积层和第四卷积层进行跨层连接 。 5.如权利要求1所述的透 明物体的抓取方法， 其特征在于， 采用全卷积神经网络提取所 述视觉图像中透明物体的轮廓， 包括如下步骤： 所述全卷积神经网络检测到所述透明物体的掩膜； 计算得到所述掩膜的中心位置， 根据 所述掩膜的中心位置判断所述透明物体相对所述 具有人工触觉的机 械臂夹爪的位置 。 6.如权利要求1所述的透明物体的抓取方法， 其特征在于， 通过对所述机械臂与所述 RGB相机进 行手眼标定获取机械臂基座坐标系 与RGB相机的坐标系的转换关系， 通过机械臂 正运动学根据所述机械臂的关节角度信息唯一确定所述机械臂基座坐标系和机械臂末端 坐标系关系， 根据所述关系得到具有 人工触觉的机械臂夹爪坐标系和RGB相机坐标系关系， 获取所述具有人工触觉的机 械臂夹爪在RGB图像中的位置 。 7.如权利要求2所述的透 明物体的抓取方法， 其特征在于， 所述分类网络的结构如下所 示， 包含16个卷积层和3个全连接层； 预先定义一系列透明物体的类别， 根据输入的匹配后的所述RGB图像和所述触觉图像 输出判断得到的所述透明物体的种类。 8.一种透明物体的抓取系统， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 114750164 A 2图像采集单 元， 用于通过RGB相机采集包 含透明物体的整个工作区域的RGB图像； 视觉定位单元， 用于将所述RGB图像作为输入， 通过生成式残差卷积神经网络对输入图 像进行处理， 处理后可生成表征透明物体抓取位置的热力图以及抓取半径热力图定位抓取 点； 触觉校准单元， 用于采用安装在机械臂末端的具有人工触觉的机械臂夹爪提取所述抓 取点的触觉图像， 并提取所述视觉图像中透明物体的轮廓， 通过所述透明物体的轮廓判断 所述透明物体相对所述具有人工触觉的机械臂夹爪的位置直到将所述透明物体移动到所 述具有人工触觉的机 械臂夹爪的中心； 抓取单元， 用于对感知的所述透明物体进行抓取并放置在指定位置 。 9.如权利要求8所述的透明物体的抓取系统， 其特 征在于， 还 包括： 视觉图像匹配单元， 将所述RGB图像与所述触觉图像进行匹配后裁剪所述RGB图像使得 裁剪后的RGB图像和所述触觉图像有相同的视场范围； 视触融合的分类单元， 用于将所述裁剪后的RGB图像和所述触觉图像输入分类网络进 行物体分类。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑7任一所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114750164 A 3