(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211093593.1 (22)申请日 2022.09.08 (65)同一申请的已公布的文献号 申请公布号 CN 115187667 A (43)申请公布日 2022.10.14 (73)专利权人 中国科学院合肥物质科 学研究院 地址 230031 安徽省合肥市蜀山区蜀山湖 路350号 (72)发明人 邓国庆　方翠云　张超凡　刘勇　 夏营威　张文　高震宇　王凡　 (74)专利代理 机构 合肥市上嘉专利代理事务所 (普通合伙) 34125 专利代理师 郭华俊 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/33(2017.01) G06V 20/70(2022.01) G06V 20/00(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) (56)对比文件 CN 113865581 A,2021.12.31 CN 111369688 A,2020.07.0 3 CN 111504331 A,2020.08.07 CN 109945858 A,2019.0 6.28 CN 109307508 A,2019.02.0 5 CN 109242959 A,2019.01.18 CN 111160304 A,2020.0 5.15 CN 114526739 A,202 2.05.24 US 2022111531 A1,202 2.04.14 WO 2022120997 A1,202 2.06.16 宋佳昕.移动机 器人室外大尺度场景定位及 语义建图算法研究. 《中国优秀硕士学位 论文全 文数据库信息科技 辑》 .2020, Xiyue Guo et al.Semantic Histogram Based Graph Matc hing for Real-Time Multi- Robot Gl obal Localization in Large Scale Environment. 《IE EE Robotics and Automati on Letters》 .2021, 审查员 王齐强 (54)发明名称 一种基于认知理解的大场景精准定位方法 及系统 (57)摘要 一种基于认知理解的大场景精准定位方法 及系统， 包括以下步骤： S1、 视频流基于图融合的 场景描述方法获得局部场景图； S2、 场景图基于 由粗到细定位方法最终获得精 准图匹配结果， 从 而确定机器人定位信息， 所述由粗到细定位方法 包括依次实施的基于语义一致性的粗定位方法 和基于场景图匹配的精细定位方法。 该发明的优 点在于： 设计由粗到细的定位方法， 可 以在保证 精准的同时， 避免直接对维度不同的场景图进行 图匹配所造成的计算成本 激增问题。 权利要求书2页 说明书5页 附图3页 CN 115187667 B 2022.12.20 CN 115187667 B 1.一种基于认知理解的大场景精准定位方法， 其特 征在于， 包括以下步骤： S1、 视频流基于图融合的场景描述方法获得局部场景图； 基于图融合的场景描述方法具体步骤如下： S11、 利用相机对环境进行视觉感知， 通过旋转一周获得自身周围的视觉信息， 即由连 续的图像帧构成的视频流； S12、 将步骤S11获得的图像帧逐帧输入到目标检测网络中， 识别图像中包含 的目标物 体的信息； 如果该帧图像为视频流的第一帧图像， 则使用目标检测网络直接输出目标物体 的信息； 如果该帧图像不是第一帧图像， 则利用上一图像帧生成的场景图， 基于前后帧图像 关联， 辅助目标检测获得目标物体的信息； S13、 通过遍历的方法判断步骤S12中获得的目标物体的信息是否全部存在于原有场景 图中， 如果已经存在， 则对该帧图像的处理结束， 直接进行下一帧图像的处理， 如果未全部 存在或全部不存在， 则进行步骤S14； S14、 利用目标推理网络对目标物体之间的语义关系 进行推理， 生成视频流中该帧图像 对应的场景图； S15、 将步骤S14生成的场景图和视频流中上一帧图像对应的场景图， 在图卷积神经网 络后直接连接一层 全连接层构成场景图融合网络模块， 使其能够对场景图的邻接矩阵进 行 预测， 从而实现去除两个场景图中重复的部分， 保留不同的部分并预测 其与原有场景图中 物体的关系； S2、 局部场景图基于由粗到细定位方法最终获得与全局场景图精准的图匹配结果， 从 而确定机器人定位信息， 所述由粗到细定位方法包括依次实施的基于语义一致性的粗定位 方法和基于场景图匹配的精细定位方法； 基于语义 一致性的粗定位方法具体如下： S211、 利用物体级拓扑语义模型构建整个场景的拓扑语义 地图作为全局场景图； S212、 在步骤S1构建室内环境的局部场景图中任意选取一个物体作为中心节点， 根据 该中心节点的物体信息， 通过在全局场景图中遍历， 得到属 性相同的物体作为候选中心物 体； S213、 通过随机游走获得局部场景图的最大节点数； 最大节点数即以任一节点为起点， 到达局部场景图所有边 缘节点的最短步长的最大值； S214、 以步骤S212获得的候选中心物体作为中心点， 以最大节点数为步长沿每个可走 的方向随机游走， 获得若干个场景图； S215、 将步骤S214获得的场景图中的每个节点和候选场景的节点， 通过语义一致性筛 选出前K名与步骤S1中生成的局部场景图相近的场景图， 作为 候选场景图； 基于场景图匹配的精细定位方法具体如下： S221、 利用物体级拓扑语义模型构建多个大场景的全局拓扑语义地图， 再以每个节点 为中心， 随机生成子地图； 通过语义直方图和随机游走 的方法对大场景 的全局拓扑语义地 图和子地图的节点匹配进行粗标注， 再通过人工校对的方法， 获得全局拓扑语义地图和子 地图的精确节点匹配信息， 实现面向室内大场景的定位数据集的构建； S222、 通过在配准矩阵中添加边配准关系， 实现在现有基于图卷积神经网络的图匹配 模型中关系配准模块的添加， 即在设置配准矩阵时， 添加边信息， 构成点和边联合的配准矩权　利　要　求　书 1/2 页 2 CN 115187667 B 2阵； 匹配时不仅对节点进 行配准， 同时将边关系也进 行配准， 并在损失函数中添加对边的预 测的损失计算部分； S223、 在步骤S2 21中的自制数据集中训练步骤S2 22改进的图匹配模型； S224、 将步骤S215获得的候选场景图和步骤S1获得的局部场景图输入到步骤S223中训 练好的图卷积神经网络模型中进行图匹配， 获得与局部场景图最 为匹配的候选场景图； S225、 通过图匹配获得局部场景图与全局场景图中节点的匹配关系， 根据机器人在局 部场景图中的位置关系， 即可 得到其在全局场景中的位置， 得到精准的定位信息 。 2.根据权利要求1所述的一种基于认知理解的大场景精准定位方法， 其特征在于， 步骤 S12中目标检测网络为Mask  R‑CNN网络或YOLO系列网络 。 3.根据权利要求1所述的一种基于认知理解的大场景精准定位方法， 其特征在于， 目标 物体的信息包括类别及位姿信息 。 4.实现权利要求1 ‑3任意一项所述基于认知理解的大场景精准定位方法的系统， 其特 征在于， 包括 场景图生成模块， 视频流基于图融合的场景描述方法获得场景图； 机器人定位模块， 场景图生成模块生成的场景图基于由粗到细定位方法最终获得精准 图匹配结果， 从而确定机器人定位信息； 包括依 次连接的基于语义一致性的粗定位模块和 基于场景图匹配的精细定位模块。 5.一种实现介质， 其特征在于， 所述介质存储用于执行权利要求1 ‑3任意一项方法的计 算机指令 。权　利　要　求　书 2/2 页 3 CN 115187667 B 3