(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211060146.6 (22)申请日 2022.09.01 (65)同一申请的已公布的文献号 申请公布号 CN 115131407 A (43)申请公布日 2022.09.30 (73)专利权人 湖南超能机 器人技术有限公司 地址 410000 湖南省长 沙市开福区新河街 道晴岚路68号北辰凤凰天阶苑B1E1区 B1E1幢13 008号房 (72)发明人 罗鑫权　蒿敬波　肖湘江　侯健伟　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 唐品利 (51)Int.Cl. G06T 7/246(2017.01)G06T 7/73(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G01S 17/66(2006.01) G01S 17/86(2020.01) G05D 1/02(2020.01) (56)对比文件 CN 112965081 A,2021.0 6.15 CN 114912287 A,202 2.08.16 US 2022214457 A1,202 2.07.07 US 2019147621 A1,2019.0 5.16 审查员 刘海艳 (54)发明名称 面向数字仿真环 境的机器人目标跟踪 方法、 装置和设备 (57)摘要 本申请涉及目标跟踪技术领域的一种面向 数字仿真环 境的机器人目标跟踪方法、 装置和设 备。 所述方法在数字仿真环境中采用神经网络通 过在每帧图像生成的目标映射执行检测， 并提供 特征比对功能， 结合先前帧的目标检测结果来估 计当前帧的目标运动情况， 对丢失的目标具备记 忆找回能力， 该方法简单、 便捷、 在线， 同时能达 到实时性。 本方法在数字仿真环 境中模拟机器人 对其各自视野内的物体的识别， 进而判断出背 景、 敌我， 并实施对指定目标的追踪。 场地、 硬件、 软件、 通讯、 算法研发和最终功能的实现验证都 可以在数字仿真环境中实现， 节省了很多开发团 队很多冗余操作， 可以有效快速的实现算法验 证， 提升项目的进度。 权利要求书4页 说明书11页 附图5页 CN 115131407 B 2022.11.22 CN 115131407 B 1.一种面向数字 仿真环境的机器人目标跟踪方法， 其特 征在于， 所述方法包括： 获取当前数字仿真环境中仿真机器人上单目相机捕 获的连续多帧图片； 仿真机器人装 配的单目相机与真实机器人装配的单目相机的视野及编 码参数均相同； 数字仿 真环境是根 据真实环境以及真实机器人参数按照1:1的比例仿真得到的； 将当前帧图片进行预处理后的预处理结果输入到目标检测网络中， 得到目标物体及目 标物体位置坐标偏移量； 所述目标检测网络用于采用改进的残差结构网络对所述预处理结 果进行特征提取， 然后对提取的不同层次的特征进 行融合， 并根据融合后的特征进 行预测， 得到目标物体及目标物体位置坐标偏移量； 将所述目标物体输入到目标匹配网络中进行特征匹配， 得到匹配物体的ID和类别； 所 述目标匹配网络用于采用Resnet结构的网络提取所述目标物体的特征， 并采用Memo单元对 提取的特 征进行匹配分类， 得到匹配物体的ID和类别； 当匹配物体与当前被跟踪物体的类别和ID相符时， 则将匹配物体的目标框的坐标与激 光雷达测量的角速度、 线速度以及距离信息进 行数据融合换算， 得到 当前被跟踪物体的ID、 位置和速度； 将当前被跟踪物体的ID、 位置和速度传输到数字仿真环境的控制端， 在数字仿真环境 的控制端生成控制数字 仿真环境的行为控制指令； 根据所述行为控制指令驱动当前仿真机器人进行相应的动作 行为， 实现在数字仿真环 境中当前仿真机器人对跟踪对象的追踪； 其中， 所述Memo单元包括2个CBCL模块、 2个卷积层、 1全局平均池化层、 以及Softmax函 数； 目标物体特 征为目标匹配网络采用Resnet结构的网络提取的所述目标物体的特 征； 将所述目标物体特征输入到所述Memo单元中进行特征匹配， 得到匹配物体的ID和类 别， 包括： 将所述目标物体特征输入到Memo单元的第一个CBCL模块中， 将得到结果输入到Memo单 元的第二个CBCL模块中， 并将得到的结果输入到Memo单元的第一个卷积层中， 得到第一特 征； 将所述目标物体特征输入到Memo单元的全局平均池化层中， 将得到池化结果输入到 Memo单元的第二个卷积层中， 并将得到的卷积结果采用Softmax函数激活， 得到第二特 征； 将所述第一特 征和所述第二特 征乘积融合后， 得到匹配物体的ID和类别。 2.根据权利要求1所述的方法， 其特征在于， 获取当前数字仿真环境中仿真机器人上单 目相机捕获的连续多帧图片， 步骤前还 包括： 获取机器人、 场地、 障碍物 的实际参数； 所述机器人配置有激光雷达； 所述场地的实际 参数包括： 场地 面积、 场地内的细节特 征； 根据所述实际参数对机器人、 场地、 障碍物进行1:1建模； 仿真机器人配置有模拟激光 雷达和模拟单目相机； 所述模拟激光雷达用于测量当前仿 真机器人到被跟踪物体之 间的距 离； 所述模拟单目相 机用于实时拍摄定位到的机器人 的视野范围， 并将捕获到的视图传输 到控制端； 将多个仿真机器人分为两组， 并进行标识， 将障碍物的属性设置为可在场地内任意位 置随意添加， 并将场地、 所有仿 真机器人以及相应位置添加的障碍物的模型进 行融合渲 染， 得到数字 仿真环境的测试场景；权　利　要　求　书 1/4 页 2 CN 115131407 B 2给每一个仿真机器人设置配置文件， 所述配置文件 包括预先编写好的运动轨 迹； 将模拟单目相机捕 获的视图、 模拟激光雷达捕 获的相关距离信 息和每只机器人的速度 信息在控制端进行整合， 并将得到的整合信息传输到对应的接口； 所述整合信息包括： ID、 时间戳、 图像信息、 线速度、 角速度、 及仿真机器人的姿态信息 。 3.根据权利要求1所述的方法， 其特征在于， 所述目标检测网络包括： 特征提取网络、 特 征融合网络和预测网络； 所述特征提取网络是改进的残差网络， 包括： 多个CBCL模块， 多个 残差模块； 所述CBCL模块由依次连接的1*1卷积层、 批标准化层、 3*3卷积层以及Leakyrelu 激活函数组成； 所述残差模块包括1个CBCL模块和若干个残差单元， 所述残差单元由两个 CBCL模块和一个加和模块组成； 所述特征融合网络包括上采样层和拼接模块； 所述预测网 络包括1个CBCL模块； 将当前帧图片进行预处理后的预处理结果输入到目标检测网络中， 得到目标物体及目 标物体位置坐标偏移量， 包括： 将当前帧图片进行处 理成416*416*3大小的张量， 得到预处 理结果； 将所述预处理结果输入到所述目标检测网络的特征提取网络的第一个CBCL模块中进 行卷积特征提取， 将得到的卷积体征输入到第一个残差模块中， 得到第一层次特 征； 将所述第一层次特征输入到所述特征提取网络的第 二个残差模块中， 得到第 二层次特 征； 将所述第二层次特征输入到所述特征提取网络的第 三个残差模块中， 得到第 三层次特 征； 将所述第三层次特征输入到所述特征提取网络的第四个残差模块中， 得到第四层次特 征； 所述第四层次特征输入到所述特征提取网络的第二个CBCL模块中， 并将得到的特征输 入到所述特征提取网络的第三个CBCL模块中， 并对得到的特征进行下采样， 将下采样结果 输入到所述特征提取网络的第四个CBCL模块中， 将第四个CBCL模块输出的特征输入到所述 特征提取网络的第五个CBCL模块中， 得到第五层次特 征； 将所述第三层次特征、 所述第四层次特征以及所述第五层次特征输入到所述特征融合 网络中， 经过上采样层对所述第 五层次特征进行上采样， 将得到的上采样结果与所述第四 层次特征进行拼接， 再经过上采样层对得到的拼接结果进行上采样， 并将得到的上采样结 果与所述第三层次特 征进行拼接， 得到融合特 征； 将所述融合特征和所述第五层次特征输入到预测网络中， 经过CBCL模块对所述融合特 征进行卷积处理， 并将得到的卷积处理结果和所述第 五层次特征进行加和融合， 得到目标 物体及目标物体位置坐标偏移量。 4.根据权利要求1所述的方法， 其特征在于， 所述目标匹配网络包括匹配特征提取网络 和Memo单 元； 所述匹配特 征提取网络是Resnet5 0网络； 将所述目标物体输入到目标匹配网络中进行特征匹配， 得到匹配物体的ID和类别， 包 括： 将所述目标物体输入到所述匹配特 征提取网络中， 得到目标物体特 征； 将所述目标物体特征输入到所述Memo单元中进行特征匹配， 得到匹配物体的ID和类 别。权　利　要　求　书 2/4 页 3 CN 115131407 B 3