(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210530313.2 (22)申请日 2022.05.16 (71)申请人 安徽元古纪智能科技有限公司 地址 236000 安徽省合肥市经济技 术开发 区宿松路396 3号C3-311 (72)发明人 李小龙　夏科睿　党珊珊　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 专利代理师 朱文振 (51)Int.Cl. B25J 9/16(2006.01) B25J 19/00(2006.01) B25J 19/02(2006.01) (54)发明名称 一种智能巡检机器人全景追踪及避障方法 及系统 (57)摘要 本发明提供一种智能巡检机器人全景追踪 及避障方法及系统， 方法包括： 多角度全景固定 相机模块对巡检区域内人员与环境信息进行全 景成像， 当区域内发生异常， 对异常情况进行全 方位的信息捕捉， 并提供云台高清相机具体异常 位置信息， 以便进行精准的异常监控。 在机器人 周围出现障碍物， 包括移动障碍物时， 多角度全 景固定相机也会对机器人周围障碍物的角度、 位 置进行识别， 并提供给机器人控制系统， 通过视 觉与激光导航联用方式。 解决了障碍识别准确率 低、 多人员追 踪困难、 规避功能单一的技 术问题。 权利要求书3页 说明书11页 附图3页 CN 114905512 A 2022.08.16 CN 114905512 A 1.一种智能巡检机器人全景追踪及避障方法， 其特 征在于， 所述方法包括： S1、 以多角度全景固定相机模块采集获取实时全景视频图像； S2、 分类所述实时全景视频图像中的各相机采集数据， 将所述各相机采集数据存储于 实时视频分类数据库； S3、 分帧调取所述各相机采集数据中的视频数据， 以得到分帧图像数据， 矫正并去噪处 理所述分帧图像数据， 以得到图片处 理数据； S4、 利用输入的N左摄像头匹配逻辑对所述图片处理数据进行轮廓匹配， 以得到轮廓匹 配数据， 对所述轮廓匹配数据进行Yolo目标识别并进行目标类型判断， 以得到障碍物识别 数据， 据以获取目标类型输出信息； S5、 利用N左右摄像头立体算法匹配处理所述障碍物识别数据， 以获取目标深度Y检测 数据， 基于N左摄像头目标X/Z检测逻辑处理所述障碍物识别数据， 以得到目标X/Z检测数 据， 坐标转换所述目标深度Y检测数据及所述目标X/Z检测数据， 以得到目标坐标输出信息， 据以引导预置云台 高清相机进行定向拍摄； S6、 处理所述目标类型输出信息及所述目标坐标输出信 息， 以得到目标状态信息、 轮廓 尺度信息、 锚框尺度信息及障碍物坐标数据并上传至云服务端， 据以结合预置激光雷达采 集的激光 导航数据引导机器人进行追踪及避障。 2.根据权利要求1所述的一种智能巡检机器人全景追踪及避障方法， 其特征在于， 所述 步骤S1中的多角度全景固定相机模块包括： 不少于6个角度的双目相机， 所述双目相机单元 呈环形分布， 各方向的所述双目相机与相邻所述双目相机的拍摄视野上具有预置重合区 域。 3.根据权利要求1所述的一种智能巡检机器人全景追踪及避障方法， 其特征在于， 所述 步骤S2中的所述实时视频分类数据库包括数目与所述多角度全景固定相 机模块相适配的 根目录文件夹， 供分类存 储各双目相机的所述各相机采集数据。 4.根据权利要求1所述的一种智能巡检机器人全景追踪及避障方法， 其特征在于， 所述 步骤S3包括： S31、 从实时视频分类数据库中调取 所述各相机采集数据； S32、 对调取的单目相机采集视频的左右相机做分帧处理， 据以得到所述分帧图像数 据， 对所述分帧图像数据做定义， 以得到分帧定义图像数据； S33、 对分帧定义图像数据做矫 正和去噪处 理， 以得到图片处 理数据。 5.根据权利要求1所述的一种智能巡检机器人全景追踪及避障方法， 其特征在于， 所述 步骤S4包括： S41、 根据输入的0N编号左摄像头图片， 利用yolov5网络模型进行轮廓识别， 所述 yolov5网络模型包括： 输入端、 Backbo ne、 Nekc、 Predicti on； S42、 反向更新自适应锚框， 以识别目标物， 据以取得适用锚框值， 根据所述适用锚框值 设定初始锚框； S43、 简化处 理所述yo lov5网络模型中(x,y,w,h)及置信度(c)， 据以粗识别障碍物； S44、 利用双目相机中的左相机图像识别判断目标障碍物， 从高分辨率子网为第一阶段 始， 进行逐步阶段子网并行连接， 以通过高分辨率表示估计关键点及关键模型， 利用高分辨 率网络HRNet构架 识别移动目标；权　利　要　求　书 1/3 页 2 CN 114905512 A 2S45、 利用重复多尺度融合及feature  map， 使用3x3的卷积核， 进行卷积， 激活relu后， 对不同尺度下目标进行尺度识别,以标定目标中心点， 以最小外接矩形作为真实框标注采 集图片中的目标物体， 输出目标有/无状态数据的对应锚框尺度， 据以作为目标轮廓尺度。 6.根据权利要求5所述的一种智能巡检机器人全景追踪及避障方法， 其特征在于， 在所 述步骤S43包括： S431、 搭建所述yo lov5网络模型； S432、 基于Pytorc h框架使用Adam优化器优化所述yo lov5网络模型， 以确定识别目标； S433、 根据实时训练场景制作采集图片样本库， 根据采集图片样本库， 利用下述损失函 数训练所述yo lov5网络模型： ， 其中， Distance_C是最小外接矩形的对角线距离， Distance_2是两个中心点的欧氏距 离， IOU是预测框与真实框的交集和并集的比值， v是长宽相似比， Wgt， hgt是真实框的宽和高， wp和hp则是预测框的宽和高。 7.根据权利要求5所述的一种智能巡检机器人全景追踪及避障方法， 其特征在于， 所述 步骤S44包括： S441、 存储预置分类模型， 将所述预置分类模型带入HRNet模型， 将图片进行tensor的 运算操作， 并归一 化所述图片； S442、 将归一 化的所述图片以下述逻辑带入所述HRNet模型： 8.根据权利要求5所述的一种智能巡检机器人全景追踪及避障方法， 其特征在于， 所述 步骤S45包括： S451、 通过利用Linear函数判断所述障碍物的形状， 其中， 所述Linear函数包括:上层 神经元个数in_features、 本层神经 元个数out_features、 权 重weight及偏置bias， S452、 以所述上层神经元个数in_features及所述本层神经元个数out_features判断 当前权重； S453、 根据所述上层神经元个数in_features、 所述本层神经元个数out_features、 所 述权重weight及所述偏置bias， 以下述逻辑处 理得网络 输出形状数据： [N,*,in_features ]*[out_features,i n_features ]T＝[N,*,out_features ] ， 其中， N,*,in_features为输入网络层形状、 N为批量处理过程中每批数据的数量， “*” 表示单个样本数据中间包 含多维度， i n_features为单个数据最后一个维度形状， S454、 经所述 网络层输出的形状为(N,*,out_features)， 取10帧图像， 以每一帧的预测 值为一个一 维数组， 通过argmax函数对运算结果进 行以投票阈值判定受障碍物尺度大小及 障碍状态， 统计视频中每秒的障碍状态， 据以判定障碍物。 9.根据权利要求1所述的一种智能巡检机器人全景追踪及避障方法， 其特征在于， 所述 步骤S5包括：权　利　要　求　书 2/3 页 3 CN 114905512 A 3