(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210448271.8 (22)申请日 2022.04.26 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 许力　王足毅　孟濬　刘浩然　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于视觉的实训机器人操作逻辑评价 系统 (57)摘要 本发明公开了一种基于视觉的实训机器人 操作逻辑评价系统， 包括实训机器人平台、 采集 单元和处理单元。 所述实训机器人平台用于考核 学员的操作环 境与对象； 采集单元包括头戴式摄 像机在内的视频采集装置， 部署在考核学员身上 和周围操作环境中， 处理单元包括计算机、 服务 器在内的可以实现深度学习图像处理的计算设 备； 采集单元实时将视频流发送到处理单元， 处 理单元对接收到的视频信息进行计算与识别， 同 时对考核学员相关操作的逻辑顺序进行评价打 分。 本发明适用性广， 鲁棒性强， 可以代替人工完 成对实训机器人操作逻辑评价的考核， 提高评价 打分的效率与客观性， 同时节省人力资源消耗。 权利要求书2页 说明书5页 附图5页 CN 114800506 A 2022.07.29 CN 114800506 A 1.一种基于视觉的实训机器人操作逻辑评价系统， 其特征在于， 该系统包括实训机器 人平台、 采集单 元和处理单元、 空间顺序评价模块和时间顺序评价模块； 所述实训机器人平台用于考核学员的操作环境与对象。 所述采集单 元用于采集 考核学员的多视角操作视频， 并实时发送视频流到处 理单元； 所述处理单元用于整合采集单 元传输的视频 数据， 对视频进行跟踪与识别； ； 所述空间顺序评价模块用于基于处理单元跟踪与识别的视频数据， 判断每个操作目标 的操作状态， 将最终的每个操作目标完成的操作状态序列与实训机器人平台操作逻辑的空 间顺序要求对比， 进行反馈 评价； 所述时间顺序评价模块用于基于处理单元跟踪与识别的视频数据， 判断每项操作内容 的状态变化， 将最终每项操作内容完成的操作逻辑的时间顺序序列与实训机器人平台操作 逻辑的时间顺序要求对比， 进行反馈 评价。 2.根据权利要求1所述的一种基于视觉的实训机器人操作逻辑评价系统， 其特征在于， 所述实训机器人平台包括各种型号功能的工业机器人培训系统。 3.根据权利要求1所述的一种基于视觉的实训机器人操作逻辑评价系统， 其特征在于， 所述采集单元为视频采集装置， 采用头戴式摄像机， 部署在考核学员身上和周围操作环境 中， 从多视角拍摄考核学员的操作画面， 确保清晰无遮挡获取视频 数据。 4.根据权利要求1所述的一种基于视觉的实训机器人操作逻辑评价系统， 其特征在于， 所述处理单元为能够实现深度学习图像处理的计算设备， 包括计算机、 服务器， 用于 分析和 处理从采集单 元接收到的视频 数据， 对视频中各种操作目标进行识别与跟踪。 5.根据权利要求1所述的一种基于视觉的实训机器人操作逻辑评价系统， 其特征在于， 所述空间顺序评价模块进行反馈 评价的具体过程如下： (1)实训机器人平台存在多个操作目标， 每个操作目标赋予唯一ID； 根据操作考核要 求， 为操作目标定义所有可能状态集 合， 包括初始状态、 操作状态、 完成状态、 失败状态； (2)检查实训机器人平台的每个操作目标是否处于初始状态， 若有操作目标初始状态 错误， 则反馈错 误信息， 结束评价， 等待重新 开始； (3)获取处理单元处理的视频图像， 检查每个操作目标当前状态； 若所有操作目标都处 于完成状态， 则进 行步骤(5)； 若存在操作目标未在完成状态， 且有目标状态处于操作状态， 则进行步骤(4)； 否则继续 步骤(3)； (4)获取处理单元处理的视频图像， 跟踪处于操作状态的操作目标后续状态变化， 若该 操作目标最终为完成状态， 则获取该操作目标的ID 并记录， 并返回步骤(3)； 若该操作目标 最终为失败状态， 则反馈信息， 结束评价； (5)依次获取操作目标到达完成状态的ID， 得到完成序列； 判断该序列顺序是否符合操 作逻辑的空间顺序要求， 根据结果反馈信息， 结束评价。 6.根据权利要求5所述的一种基于视觉的实训机器人操作逻辑评价系统， 其特征在于， 所述的每个操作目标在评价过程中有且仅有一个唯一ID， 与其所 处的空间位置、 状态无关； 所述操作状态是唯一且可识别的， 初始状态、 完成状态与失败状态为互斥关系。 7.根据权利要求1所述的一种基于视觉的实训机器人操作逻辑评价系统， 其特征在于， 所述时间顺序评价模块进行反馈 评价的具体过程如下： (1)实训机器人平台存在多项操作内容， 每项操作内容赋予唯一ID； 根据操作考核要权　利　要　求　书 1/2 页 2 CN 114800506 A 2求， 为每一项操作内容定义状态集 合： 初始状态、 完成状态、 失败状态； (2)根据考核 要求， 将操作内容进行排序， 获得操作逻辑的时间顺序ID序列A； (3)获取处理单元处理的视频图像， 检查每项操作内容当前状态； 若存在操作内容状态 发生变化， 则进行步骤(4)； 若收到 评价结束信号， 则进行步骤(5)； 否则继续 步骤(3)； (4)获取处理单元处理的视频图像， 跟踪状态变化的操作内容， 若该操作内容为从初始 状态变化为完成状态， 则获取该操作内容的ID 并记录， 并返回步骤(3)； 若该操作内容为从 初始状态变化 为失败状态， 则反馈信息， 结束评价； (5)依次获取记录的操作内容ID， 得到当前操作逻辑的时间顺序序列B； 判断序列A与B 是否相同， 根据结果反馈信息， 结束评价。 8.根据权利要求7所述的一种基于视觉的实训机器人操作逻辑评价系统， 其特征在于， 所述的每项操作内容在评价过程中有且仅有一个唯一ID， 操作内容可重复进行； 所述每项 操作内容的初始状态、 完成状态与失败状态为互斥关系。 9.根据权利要求7所述的一种基于视觉的实训机器人操作逻辑评价系统， 其特征在于， 所述评价结束信号是考核时间限制或学员选择 结束考核的外 部指令。权　利　要　求　书 2/2 页 3 CN 114800506 A 3