(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210619761.X (22)申请日 2022.06.02 (71)申请人 深慧视 （深圳） 科技有限公司 地址 518000 广东省深圳市宝安区西乡街 道固兴社区骏翔U8智造产业园U3栋 3A18 (72)发明人 韦卫　周卫国　刘铮　刘伟华　 申平伟　林娟　 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于机器视觉的机器人运动轨迹数字 孪生方法 (57)摘要 本发明专利公开了一种基于机器视觉的机 器人运动轨迹数字孪生方法， 针对物理环境被加 工物体多变导致机器人轨迹难以快速适应变化 的难题， 本方法设计了远程虚拟环 境映射被加工 物体的机器人物理环境以及基于3D机器视觉的 被加工物体3D建模和机器人轨迹自动生成系统， 在虚拟环境通过远程获取本地物理环境基于机 器视觉的物理环境机器人执行结果反馈， 虚拟环 境完成机器人轨迹的优化和仿真执行， 并可实时 控制物理环境的机器人完成对被加工物体的操 作。 权利要求书2页 说明书6页 附图4页 CN 114789450 A 2022.07.26 CN 114789450 A 1.一种基于机器视觉的机器人运动轨迹数字孪生方法， 由3D相机数字建模与轨迹生成 系统、 本地物理环境、 远程虚拟化境和制造云服务组成， 其特征在于， 3D相机数字建模轨迹 生成系统对被加工物体进 行3D点云提取建模和机器人工作轨迹信息生成， 本地物理环境的 机器人系统按机器人轨迹信息对被加工物体进行加工操作， 检测操作结果并将操作结果反 馈给远程虚拟环境， 通过物理环境和虚拟环境的交互模块， 虚拟环境的轨迹规划和仿真系 统生成优化后的机器人轨迹发送到物理环境机器人系统， 物理环境的机器人系统完成对被 加工物体的正确操作。 该 方法的工作还 包括以下步骤： a)3D相机对被加工物体拍照， 提取3D点云信息， 轨迹生成系 统按机器人加工规则生成 机器人轨 迹， 远程虚拟环境仿真验证并优化机器人轨 迹； b)本地物 理环境轨迹规划系统按照步骤a)的机器人轨迹信 息启动机器人系统， 对被加 工物体进行操作； c)检测被加工物体的操作结果， 如果被加工物体的操作结果正确， 则， 用机器学习优化 机器人轨迹， 机器人轨迹信息上传制造云服务， 转步骤b)继续被加工物体的操作， 否则， 向 远程虚拟环境反馈操作结果， 转 步骤d)； d)远程虚拟环境根据物理环境的反馈结果， 通过轨迹规划系统生成机器人优化轨迹， 优化轨迹进入仿真系统验证并传送给本地物理环境机器人系统， 对被加工物体进行操作， 转步骤c)。 2.根据权利要求1所述的方法， 其特征在于， 所述本地物理环境， 至少包含： 机器人系 统、 轨迹规划系统、 视觉装置和交互模块， 完成被加工物体 自动加工操作。 该方法包含以下 步骤： a)从3D相机数字建模与轨迹生成系 统获得被加工物体的3D数字模型参数和机器人轨 迹； b)交互模块将3D数字模型参数转换成被加工物体3D图像， 并将机器人轨迹与被加工物 体的3D图像叠加显示； c)轨迹规划系统按实际情况在本地调整机器人轨 迹； d)机器人系统按机器人轨 迹对被加工物体进行加工操作； e)视觉装置对步骤d)被加工物体的操作结果成像， 检测结果， 如果结果正确， 则， 机器 学习优化轨迹， 上传当前轨迹信息到制造云服务， 转步骤 d)继续加工操作， 否则， 将被加工 物体的结果和相应的机器人轨 迹传送给远程虚拟环境。 3.根据权利要求1所述的方法， 其特征在于远程虚拟环境直接映射本地物理环境对被 加工物体的处理功能， 至少包含： 轨迹规划系统、 仿真系统和交互模块。 该方法包含以下步 骤： a)接收本地物理环境被加工物体的操作结果、 机器人轨 迹和3D数字模型信息； b)交互模块将3D数字模型参数转换成被加工物体3D图像， 并将机器人轨迹与被加工物 体的3D图像叠加显示； c)轨迹规划系统调整机器人轨 迹； d)仿真系统运行执行机器人轨迹对虚拟的被加工物体进行加工处理， 检测仿真结果， 如果结果 正确， 则将机器人轨 迹传送到 本地物理环境的机器人系统。 4.根据权利要求1和权利要求3所述的方法， 其特征在于， 优化轨迹进入仿真系统验证权　利　要　求　书 1/2 页 2 CN 114789450 A 2的方法， 至少包含： 1)按机器人轨迹参数仿 真； 2)仿真物理环 境机器人末端加工机构的物理 行为和特征； 3)仿 真结果3D图形输出； 4)按机器学习的方法自动验证仿真结果； 5)人工检查 3D图形验证仿真结果。 5.根据权利要求1所述的方法， 其特征在于， 检测操作 结果并将操作 结果反馈和视觉检 测被加工物体结果的方法， 至少包含： 1)用2D相机拍摄被加工物体结果； 2)用3D相机获得被 加工物体的3D点云信息； 3)用机器学习方法检测被加 工物体的结果； 4)人工检查被加工物 体的结果。 6.根据权利要求1所述的方法， 其特征在于， 3D相机数字建模与轨迹生成系统和机器人 加工规则的方法， 通过3D相机生成被加工物体及其机器人加工处理标记的3D点云坐标信息 建立3D数字模型， 生成机器人轨迹的方法至少 包含： 1)人工利用交互模块在3D数字模型上 设置机器人轨迹； 2)机器学习方法， 自动为被加工物体生 成机器人轨迹； 3)按事先制定的机 器人对被加工物体加工的位置和动作生成机器人轨 迹。 7.根据权利要求1和权利要求4所述的装置， 其特征在于， 虚拟环境的交互模块包含但 不仅限于： a)接管控制本地物理环境的轨迹规划、 机器人系统和视觉装置； b)按不同的被加 工物体生成、 管理并运行各自独立的线程； c)对物理环境视觉装置采集的被加工物体的结 果与机器人轨 迹进行图像叠加显示。 8.根据权利要求1和权利要求7所述的方法， 其特征在于各自独立的线程是实现对某一 个被加工物体机器人的机器视 觉的机器人运动轨 迹数字孪生方法的软件。 9.根据权利要求1所述方法， 其特征在于制造云服务包含但不仅限于： a)远程虚拟环境 运行在云上； b)按被加工物体的产品型号信息建立相应的机器人轨迹数据库； c)机器人轨 迹机器学习的训练系统。 10.根据权利要求2和权利要求3所述装置， 其特征在于轨迹规划系统调整机器人轨迹 的方法， 至少包含： 1)机器学习方法自动获得需要调整的机器人轨迹； 2)人工示教调整机器 人轨迹。权　利　要　求　书 2/2 页 3 CN 114789450 A 3