(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211082827.2 (22)申请日 2022.09.06 (71)申请人 云南师范大学 地址 650500 云南省昆明市呈贡区 聚贤街 768号 (72)发明人 张超　蒋昊　陈文洋　张进梅　 (74)专利代理 机构 深圳峰诚志合知识产权代理 有限公司 4 4525 专利代理师 宋宝焱 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 多波段图像检测物体的方法、 系统、 电子设 备和存储介质 (57)摘要 本申请提供了多波 段图像检测物体的方法、 系统、 电子设备和存储介质， 包括： 在多个不同的 红外波段对待检测物体进行红外拍摄， 获取多张 红外图像， 并对所述待检测物体进行可见光拍 摄， 获取可见光图像； 通过预设的卷积神经网络 将所述多张红外图像融合为包含所述多张红外 图像的红外 特征的融合图像； 通过预设的YOL O检 测模型从所述融合图像中检测出所述待检测物 体； 获取所述待检测物体的红外坐标， 并通过预 设的坐标转换矩 阵将所述红外坐标转换为可见 光坐标， 根据所述可见光坐标在所述可见光图像 中获取待检测物 体。 使得融合图像中的待检测物 体包含其在不同红外下的所有特征， 增大了待检 测物体被检测到的概 率。 权利要求书2页 说明书7页 附图4页 CN 115424126 A 2022.12.02 CN 115424126 A 1.一种多 波段图像 检测物体的方法， 其特 征在于， 所述方法包括： 在多个不同的红外波段对待检测物体进行红外拍摄， 获取多张红外 图像， 并对所述待 检测物体进行 可见光拍摄， 获取 可见光图像； 通过预设的卷积神经网络将所述多张红外图像融合为包含所述多张红外图像的红外 特征的融合图像； 通过预设的YOLO检测模型从所述融合图像中检测出 所述待检测物体； 获取所述待检测物体的红外坐标， 并通过预设的坐标转换矩阵将所述红外坐标转换为 可见光坐标， 根据所述可见光坐标在所述可见光图像中获取待检测物体， 所述坐标转换矩 阵为所述红外图像与可 见光图像的坐标系之间的转换矩阵。 2.如权利要求1所述的方法， 其特征在于， 所述在多个不同的红外波段对待检测物体进 行红外拍摄， 获取多张红外图像， 包括： 通过多个具有不同红外波段的拍摄设备对待检测物体进行拍摄； 或者， 通过单一拍摄设备不同的红外波段对待检测物体进行多次拍摄。 3.如权利要求1所述的方法， 其特征在于， 所述通过预设的卷积神经网络将所述多张红 外图像融合 为包含所述多张红外图像的红外特 征的融合图像， 包括： 通过所述卷积神经网络的编码器提取 所述多张红外图像的多个不同特 征； 将所述多个不同特 征发送到解码器， 通过 所述解码器将所述特 征融合为融合图像。 4.如权利要求3所述的方法， 其特征在于， 所述通过所述卷积神经网络的编码器提取所 述多个图像的多个不同特 征， 包括： 通过密集块中的至少四个卷积层依序对所述多个图像进行特征提取， 其中， 上一个卷 积层提取的特 征作为本卷积层的输出和下一个卷积层的输入。 5.一种多 波段图像 检测物体的系统， 其特 征在于， 所述系统包括： 多张图像获取模块， 用于在多个不同的红外波段对待检测物体进行红外拍摄， 获取多 张红外图像， 并对所述待检测物体进行 可见光拍摄， 获取 可见光图像； 融合图像获取模块， 用于通过预设的卷积神经网络将所述多 张红外图像融合为包含所 述多张红外图像的红外特 征的融合图像； 检测模块， 用于通过 预设的YOLO检测模型从所述融合图像中检测出 所述待检测物体； 待检测物体获取模块， 用于获取所述待检测物体的红外坐标， 并通过预设的坐标转换 矩阵将所述红外坐标转换为可见光坐标， 根据所述可见光坐标在所述可见光图像中获取待 检测物体， 所述 坐标转换矩阵为所述红外图像与可 见光图像的坐标系之间的转换矩阵。 6.如权利要求5所述的系统， 其特征在于， 所述在多个不同的红外波段对待检测物体进 行红外拍摄， 获取多张红外图像， 包括： 通过多个具有不同红外波段的拍摄设备对待检测物体进行拍摄； 或者， 通过单一拍摄设备不同的红外波段对待检测物体进行多次拍摄。 7.如权利要求5所述的系统， 其特 征在于， 所述融合图像获取模块， 包括： 多个不同特征提取单元， 用于通过所述卷积神经网络的编码器提取所述多 张红外图像 的多个不同特 征； 融合单元， 用于将所述多个不同特征发送到解码器， 通过所述解码器将所述特征融合 为融合图像。权　利　要　求　书 1/2 页 2 CN 115424126 A 28.如权利要求7所述的系统， 其特征在于， 所述通过所述卷积神经网络的编码器提取所 述多个图像的多个不同特 征， 包括： 通过密集块中的至少四个卷积层依序对所述多个图像进行特征提取， 其中， 上一个卷 积层提取的特 征作为本卷积层的输出和下一个卷积层的输入。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑4任一项所述的多波段 图像检测物体的方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1 ‑4任一项所述的多 波段图像 检测物体的方法。权　利　要　求　书 2/2 页 3 CN 115424126 A 3