(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210607581.X (22)申请日 2022.05.31 (71)申请人 深圳大学 地址 518060 广东省深圳市南 山区南海大 道3688号 (72)发明人 钟小品　虞金龙　朱文轩　邓元龙　 吴宗泽　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 陈专　刘文求 (51)Int.Cl. B25J 9/16(2006.01) B25J 19/00(2006.01) (54)发明名称 一种基于多帧伪标签数据增强的机器人在 线手眼标定方法 (57)摘要 本发明公开了一种基于多帧伪标签数据增 强的机器人在线手眼标定方法， 所述方法包括： 生成多张合成机器人图片与关键点标签作为合 成数据集； 利用合成数据集对关键点检测模型进 行训练得到预训练关键点检测模 型， 基于所述预 训练关键点检测模型检测真实场景机器人图片， 得到真实场景机器人关键点伪标签数据， 利用多 帧伪标签数据增强方法得到增强后的机器人关 键点伪标签数据， 并微调预训练关键点检测模型 得到最终的机器人关键点检测模 型； 计算关键点 三维坐标集合， 二维关键点集合和相机内参， 并 完成在线手眼标定。 本发明联合多帧机器人图像 信息， 共同估计手眼关系， 再重投影得到标签的 过程， 提升了伪标签的准确性， 从而能提升系统 在线手眼标定的性能。 权利要求书4页 说明书15页 附图4页 CN 115008454 A 2022.09.06 CN 115008454 A 1.一种基于多帧伪标签数据增强的机器人在线手眼标定方法， 其特征在于， 所述基于 多帧伪标签数据增强的机器人在线手眼标定方法包括： 生成多张机器人模型动画序列， 将所述机器人模型动画序列进行领域随机化， 并输出 多张合成机器人图片与关键点标签作为 合成数据集； 对所述合成数据集进行预处理， 利用预处理后的所述合成数据集对关键点检测模型进 行训练得到预训练关键点检测模型， 基于所述预训练关键点检测模型的编 码器抽取图片的 特征信息得到特征图， 再使用解码器将特征图映射为多张置信图， 并根据置信图得到关键 点坐标； 在真实场景下采集机器人关键点图像， 使用所述预训练关键点检测模型对采集的所述 机器人关键点图像进行预测， 将预测结果作为原始关键点伪标签， 通过联合多帧图像的原 始关键点伪标签使用EPnP算法求解手眼关系， 再利用所述手眼关系重投影关键点， 得到增 强后的关键点伪标签数据， 并利用增强后的关键点伪标签数据调整所述预训练关键点检测 模型得到最终的机器人关键点检测模型； 计算得到关键点三维坐标集合， 二维关键点集合和相机内参， 根据关键点三维坐标集 合， 二维关键点 集合和相机内参， 并基于所述机器人关键点检测模型完成在线手眼标定 。 2.根据权利要求1所述的基于多帧伪标签数据增强的机器人在线手眼标定方法， 所述 生成多张机器人模型动画序列， 具体包括： 将机器人的STL三维模型导入支持STL格式的blender仿真软件中， 在blender仿真软件 中的机器人模型上设置需要记录坐标的关键点， 以完成关键点预定义， 并建立各连杆间的 连接关系， 使机器人 各关节能够任意旋转； 利用blender仿真软件中的python接口自动生成预设数量张各关节任意旋转的机器人 模型动画序列。 3.根据权利要求2所述的基于多帧伪标签数据增强的机器人在线手眼标定方法， 所述 将所述机器人模型动画序列进 行领域随机化， 并输出多张合成机器人图片与关键点标签作 为合成数据集， 具体包括： 将blender仿真软件生成的机器人模型动画序列以fbx的格式导入UE4游戏引擎， 在UE4 游戏引擎中进行领域 随机化； 所述领域 随机化包括 随机化机器人关节转角、 随机化拍摄背 景、 随机化机器人 各部分的颜色和随机化机器人与相机的相对姿态； 使用UE4游戏引擎的虚拟相机拍摄图片， 并利用NDDS插件记录每帧图片的关键点坐标， 输出预设数量张合成机器人图片与关键点 二维坐标 标签作为 合成数据集。 4.根据权利要求3所述的基于多帧伪标签数据增强的机器人在线手眼标定方法， 所述 对所述合成数据集进 行预处理， 利用预处理后的所述合成数据集对关键点检测模型进 行训 练得到预训练关键点检测模型， 基于所述预训练关键点检测模型的编 码器抽取图片的特征 信息得到特征图， 再使用解码器将特征图映射为多张置信图， 并根据置信图得到关键点坐 标， 具体包括： 将所述合成数据集作为训练集， 对所述训练集进行 预处理； 利用预处 理后的所述训练集对关键点检测模型进行训练得到预训练关键点检测模型； 基于所述预训练关键点检测模型的编码器抽取图片的特征信息， 得到特征图， 再使用 解码器将特 征图映射 为多张置信图；权　利　要　求　书 1/4 页 2 CN 115008454 A 2对每张置信图基于 高斯平滑进行降噪后， 取峰值所处 的坐标以得到机器人各个关键点 在图像中的2D坐标。 5.根据权利要求4所述的基于多帧伪标签数据增强的机器人在线手眼标定方法， 所述 置信图的通道数为关键点的数量， 所述置信图的值 为该像素 是关键点的概 率。 6.根据权利要求4所述的基于多帧伪标签数据增强的机器人在线手眼标定方法， 所述 在真实场景下采集机器人关键点图像， 使用所述预训练关键点检测模型对采集的所述机器 人关键点图像进行预测， 将预测结果作为原始关键点伪标签， 通过联合多帧图像的原始关 键点伪标签使用EPnP算法求解手眼关系， 再利用所述手眼关系重投影关键点， 得到增强后 的关键点伪标签数据， 并利用增强后的关键点伪标签数据调整所述预训练关键点检测模型 得到最终的机器人关键点检测模型， 具体包括： 在真实场景下， 保持机器人基座与相机相对姿态不变的情况下， 改变机器人关节转角 并收集多帧图像作为 一组数据， 随后改变相机角度， 重复采集多组机器人关键点图像； 使用所述预训练关键点检测模型对采集的所述机器人关键点图像进行预测， 将预测结 果作为原 始关键点伪标签， 具体的表述如下： 其中， I表示机器人图片， θ表示模型参数， F表示模型检测过程， 表示图片上第 n个关键点 的像素坐标， 表示第m张图片上所有关键点的原始伪标签， Lori表示一组数 据上所有原始关键点伪标签的集 合； 将一组数据上所有原始关键点伪标签的集合Lori与伪标签所对应的三维坐标点集Plabel 和相机内参K， 使用EPnP算法求解， 得到原始的手眼关系 通过 和K将三维坐 标点集Plabel进行重投影得到初步优化的伪标签集合Lrep， 并计算Lori与Lrep中的各元素的欧 式距离， 具体的表述如下： 权　利　要　求　书 2/4 页 3 CN 115008454 A 3