(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210882439.6 (22)申请日 2022.07.26 (71)申请人 南京航空航天大 学 地址 211106 江苏省南京市江宁区将军大 道29号 (72)发明人 冀徐芳　曾庆喜　郑宇宏　陶晓东　 于浩楠　常婷婷　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 苏一帜 (51)Int.Cl. G01S 17/86(2020.01) G01S 17/89(2020.01) G01S 17/06(2006.01) G01S 7/497(2006.01) G01S 7/48(2006.01)G01J 5/00(2022.01) G01J 5/48(2006.01) G01J 5/90(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 20/50(2022.01) (54)发明名称 基于红外成像与单线激光雷达的火源识别 定位方法 (57)摘要 本发明实施例公开了一种基于红外成像与 单线激光雷达的火源识别定位方法， 涉及消防技 术领域， 能够以较低的成本来提高火源识别的稳 定性和准确性。 本发明包括： 对红外成像仪和单 线激光雷达进行联合标定， 并建立红外图像数据 与激光雷达点云数据之间的对应关系； 从红外成 像仪采集的红外图像中提取静态特征和动态特 性， 并综合利用静态特征和动态特性识别火源； 所述云台从初始角度开始， 以预设的角速度并按 照预设的方向均速转动， 其中， 在所述单线激光 雷达的每一个扫描断面中， 直至第一次在扫描断 面中识别到火源， 并记录为火源的根部 。 权利要求书3页 说明书7页 附图5页 CN 115407353 A 2022.11.29 CN 115407353 A 1.一种基于红外成像与单线激光雷达的火源识别定位方法， 其特征在于， 所述方法用 于消防机器人， 在所述消防机器人上安装的红外成像仪和单线激光雷达， 所述消防机器人 上设置有云台， 所述单线激光雷达安装在所述云台上； 所述方法包括： S1、 对红外成像仪和单线激光雷达进行联合标定， 并建立红外图像数据与激光雷达点 云数据之间的对应关系； S2、 从红外成像仪采集的红外图像中提取静态特征和动态特性， 并综合利用静态特征 和动态特性识别火源； S3、 所述云台从初始角度开始， 以预设的角速度并按照预设的方向均速转动， 其中， 在 所述单线激光雷达的每一个扫描断面中， 重复S2的过程， 直至第一次在扫描断面中识别到 火源， 并记录为火源的根部 。 2.根据权利要求1所述的方法， 其特 征在于， 在S1中， 包括： 通过联合标定矩阵M， 将红外图像数据(u,v)和激光雷达点云数据(x,y,z),映射到二维 图像数据上， 其中映射关系表示 为： (u0,v0)为红外图像中心的坐标， fu和fv分别为所述红外成像仪水平向和垂直方 向的尺 度因子， R表示旋转矩阵， t表示平移矢量， v、 u分别表示红外图像的横纵坐标， x,y,z表示激 光雷达点云数据的三维坐标； 红外图像数据(u,v)和激光雷达点云数据(x,y,z)之间的转换关系表示 为： 其中， 在进行 联合标定后， 红外成像仪和相机的相对位置保持不变。 3.根据权利要求1所述的方法， 其特 征在于， 在S2中， 包括： 通过红外成像仪采集红外图像； 从所采集的红外图像中提取红外图像特性； 根据所述红外图像特性识别火源； 其中， 所提取的红外图像特征包括： 单一帧的温度分布静态特征， 和， 相邻帧之间的光 流动态特性。 4.根据权利要求3所述的方法， 其特征在于， 所述从所采集的红外图像中提取红外图像 特性， 包括：权　利　要　求　书 1/3 页 2 CN 115407353 A 2将所采集的红外图像转换为灰度图像并分解 为单一帧的图像； 按照预设的阈值， 将单一帧的图像转换为二值化图像， 并进一步对二值化图像进行分 割得到目标区域； 对于目标区域中的像素点， 获取像素点在横纵坐标轴的x和y两个方向上的速度分量， 之后根据所述速度分量获取像素点对应的光 流， 并进一 步获取像素点 光流方向的方差； 将所述目标区域分割为上半部分和下半部分， 若上半部分中的像素点光流方向的方 差， 大于下半部分中的像素点 光流方向的方差， 则判定所述目标区域中存在火源。 5.根据权利要求4所述的方法， 其特征在于， 所述将单一帧的图像转换为二值化图像， 包括： 二值图像 T(u,v)为图像对应的温度， Tth表示温度 阈值的经验值。 6.根据权利要求4所述的方法， 其特征在于， 所述根据所述速度分量获取像素点对应的 光流， 包括： 其中， U， V为像素点(x,y)在x和y两个方向上的速度分量， Ii表示第i个像素的像素值， xi 表示第i个像素的横坐标， yi表示第i个像素的纵坐标， t表示时间， n表示以像素点(x,y)为 中心的窗口内的像素点的个数， i表示 正整数。 7.根据权利要求 4所述的方法， 其特 征在于， 所述获取像素点 光流方向的方差， 包括： 获取像素点 光流方向 θi∈[‑π, π ]； 获取光流方向的方差 其中， σ2为像素点光流方向的方差， 表示像素点光流方向的平均值， σ2的值的大小与 目标区域中的像素点的运动方向的一 致性呈负相关 关系。 8.根据权利要求1所述的方法， 其特征在于， 所述以预设的角速度并按照预设的方向均 速转动， 包括： 所述云台以预设的角速度均速上仰转动， 其中， 所述初始角度为所述云台俯视45 °。 9.根据权利要求1或8所述的方法， 其特 征在于， 还 包括：权　利　要　求　书 2/3 页 3 CN 115407353 A 3