(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210439966.X (22)申请日 2022.04.25 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 欧林林　陈磊　禹鑫燚　魏岩　 周利波　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 孙家丰 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 基于体素抓取网络的机械臂灵巧抓取规划 方法 (57)摘要 基于体素抓取网络的机械臂灵巧抓取规划 方法， 包括如下步骤： 步骤一： 获取物 体多视角的 RGBD图像， 利用TSDF的方法， 重建出待物体完整 的点云信息。 步骤二： 利用物品的完整点云信息 生成模拟抓取训练数据， 训练体素抓取网络至收 敛， 得到网络模型。 步骤三： 利用步骤一的方法生 成待抓取物体的完整点云信息， 输入体素抓取网 络， 输出机械臂灵巧抓取规划。 本发明提出的机 械臂灵巧抓取规划方法视觉驱动信息为待抓取 物体的完整点云信息， 为抓取提供了更加准确的 几何信息， 提高了机械臂抓取的成功率， 且基于 TSDF的三维重建方法运算效率远高于传统点云 匹配的三维重建方法， 且体素抓取网络训练数据 可以自动生成， 减少了训练数据获取成本 。 权利要求书2页 说明书4页 附图3页 CN 114700949 A 2022.07.05 CN 114700949 A 1.基于体素抓取网络的机 械臂灵巧抓取规划方法， 其特 征在于： 包 含如下步骤： 步骤1： 获取物体多视角的RGBD图像， 利用TS DF的方法， 重建出待物体完整的点云信息； 步骤2： 利用物品的完整点云信息生成模拟抓取训练数据， 训练体素抓取网络至收敛， 得到网络模型； 步骤3： 利用步骤1的方法生成待抓取物体的完整点云信 息， 输入体素抓取网络， 输出机 械臂灵巧抓取规划。 2.根据权利要求1所述的基于体素抓取网络的机械臂灵巧抓取规划方法， 其特征在于： 步骤1具体包括： 步骤1‑1： 机械臂在物体侧上 方做八分之一球运动， 获取物体多视角RGBD图像； 步骤1‑2： 定义一个包络抓取对象的立方体体素网格空间， 获取体素在全局坐标系下的 坐标Vg(x,y,z)； 步骤1‑3： 选择一张图片， 根据对应相机的外参矩阵， 将体素坐标转换到相机坐标系V (x,y,z)， 再根据相机的内参矩阵， 将体素坐标继续 转换到图像坐标系V(u,v)； 步骤1‑4： 利用TSDF有符号截断距离函数的方法， 在第i幅图像中， 体素点p的权重Wi(p) 的值为相机方向与体素表面法向量的夹角除以体素点到相机坐标系原点的距离， 然后依据 如下公式， 得到体素点p的符号距离函数sdfi(p)以及有符号截断距离函数tsdfi(p)的值， sdfi(p)＝Di(u,v)‑Di(p) 其中， Di(u,v)表示为体素点p在第i幅图像对应像素点(u,v)的深度值， Di(p)表示为体 素点p在相机坐标系下的坐标Vi(p)到原点的距离， t为 根据体素空间尺度设置的截断距离； 步骤1‑5： 选择下一张图片， 重复步骤1 ‑3、 1‑4得到各变量值， 利用如下公式进行tsdfi (p)值的更新， Wi(p)＝min(max W,Wi‑1(p)+1) 其中， 当i ＝1时， W＝W0(p)； 步骤1‑6： 重复步骤1 ‑5， 将所有图像更新， 融合 为待抓取物体的完整点云信息 。 3.根据权利要求1所述的基于体素抓取网络的机械臂灵巧抓取规划方法， 其特征在于： 所述步骤2具体包括： 步骤2‑1： 对待抓取物体完整点云依次进行滤波、 聚类、 分割等预处理， 随机采样多个 点， 作为五指末端执 行器的抓取中心， 使用Open3D获取采样点的表面法线； 步骤2‑2： 根据各采样点的空间坐标以及表面法线生成初始抓取姿态， 进行随机的空间 变换与五根手指随机弯曲， 生成多个抓取姿态； 步骤2‑3： 根据五指末端执行器的几何形状信 息进行接触检测， 将末端执行器与待抓取 物体完整点云交错的抓取姿态删除， 得到可行的候选抓取姿态集以及 对应的物品表面接触 点集； 步骤2‑4： 获取候选抓取姿态的表面接触点集pi点处指向物体内部的法向量ni， 对于点权　利　要　求　书 1/2 页 2 CN 114700949 A 2集中的任意两点pm与pn， 计算pm指向pn的单位向量 然后分别计算点pm与pn的 法向量nm、 nn与vmn的夹角 αmn、 αnm， 得到该候选抓取姿态的对应的夹角集合， 删 去大于90度的 夹角， 则定义该候选抓取姿态的质量系数 λ为所有夹角正切值的最小值； 步骤2‑5： 重复步骤2 ‑4得到所有候选抓取姿态的抓取质量系数； 步骤2‑6： 为候选抓取姿态生成标签， 若抓取姿态的质量系数小于0.45， 则为可行抓取； 若抓取姿态的质量系数 大于0.75， 则为 不可行抓取； 步骤2‑7： 将带有类别标签的多个抓取姿态作为训练数据， 训练体素抓取网络至收敛， 得到模型。 4.根据权利要求1所述的基于体素抓取网络的机械臂灵巧抓取规划方法， 其特征在于： 所述步骤3具体包括： 步骤3‑1： 利用步骤1的方法得到当前待抓取物体的完整点云信息； 步骤3‑2： 将待抓取物体的完整点云信息输入步骤2中训练后的体素抓取网络， 得到每 个体素的十维输出量， 第一维为该体素 的抓取质量， 第二到五维为在该体素 的末端执行器 四元数位姿， 第六到 十维为在该体素五指末端执 行器的闭合 程度； 步骤3‑3： 将抓取质量最高的体素空间坐标和对应的四元数位姿控制信息发送给机械 臂， 将对应的末端执 行器闭合 程度控制信息发送给末端执 行器， 完成一次抓取。权　利　要　求　书 2/2 页 3 CN 114700949 A 3