(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211111226.X (22)申请日 2022.09.13 (71)申请人 北方民族大 学 地址 750030 宁夏回族自治区银川市西夏 区文昌北街204 号 申请人 宁夏大学 (72)发明人 韦海成　赵静　塔娜　陈涛　 (74)专利代理 机构 北京市领专知识产权代理有 限公司 1 1590 专利代理师 林辉轮 (51)Int.Cl. G06V 10/143(2022.01) G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 红外图像与可见光图像融合匹配的方法及 系统 (57)摘要 本发明涉及一种红外图像与可见光图像融 合匹配的方法及系统， 该方法包括步骤： 判断可 见光图像是在强光照度下采集获得还是在弱光 照度下采集获得； 如果可见光图像是在强光照度 下采集获得， 则将可见光图像与红外图像直接融 合， 得到融合图像； 如果可见光图像是在弱光照 度下采集获得， 则将可见光图像生成红外图像， 然后将生成的红外图像与采集的红外图像进行 红外图像下融合， 生成加权红外图像， 加权红外 图像再与可见光图像进行拼接， 生成最终的融合 图像。 本发明可以弥补正常光照情况下， 可见光 图像与红外图像融合时导致的亮度下降问题， 也 可以实现暗照度条件下， 融合图像的细节不足问 题。 权利要求书2页 说明书7页 附图4页 CN 115457249 A 2022.12.09 CN 115457249 A 1.一种红外图像与 可见光图像融合匹配的方法， 所述红外图像与 可见光图像在同一环 境下采集获得， 其特 征在于， 包括 步骤： 判断可见光图像是在强光照度下采集获得还是在弱光照度下采集获得； 如果可见光图像是在强光照度 下采集获得， 则将可见光图像与采集的红外图像直接融 合， 得到融合图像； 如果可见光图像是在弱光照度下采集获得， 则先将可见光图像Iv生成红外图像， 然后 将生成的红外图像与采集的红外图像进行红外图像下融合， 生成加权红外图像， 加权红外 图像再与可 见光图像进行拼接， 生成最终的融合图像。 2.根据权利要求1所述的红外图像与 可见光图像融合匹配的方法， 其特征在于， 所述判 断可见光图像是在强光照度下采集获得还是在弱光照度下采集获得的步骤， 包括： 用最大 值法求取每个像素点的亮度， 然后以所有像素点的平均亮度作为整个可见光图像的亮度， 判断整个可见光图像的亮度是否大于设定的阈值， 如果是则判断该可见光图像为 强光照度 下采集获得， 否则判断为可 见光图像为弱光照度下采集获得。 3.根据权利要求1所述的红外图像与 可见光图像融合匹配的方法， 其特征在于， 将可见 光图像与采集的红外图像直接融合的步骤， 包括： 先采用深度特征提取网络的多尺度特征， 分别获得采集的红外图像和可见光图像的特征图， 然后再利用特征上采样重建过程， 对两 个特征图进行融合。 4.根据权利要求1所述的红外图像与 可见光图像融合匹配的方法， 其特征在于， 将可见 光图像生成红外图像的步骤， 包括： 先采用深度特征提取网络的多尺度特征， 分别获得采集 的红外图像和可见光图像的特征图， 然后再利用特征上采样重建过程， 对两个特征图进行 融合。 5.根据权利要求1所述的红外图像与 可见光图像融合匹配的方法， 其特征在于， 将生成 的红外图像与采集的红外图像进 行红外图像下融合， 生成加权红外图像的步骤， 包括： 根据 生成的红外图像与采集的红外图像本身的灰度信息， 设定相 应的权重， 在相同像素点对生 成的红外图像与采集的红外图像的灰度值分别赋予权值， 加权红外图像的灰度就是生成的 红外图像与采集的红外图像的灰度值的加权之和。 6.根据权利要求1所述的红外图像与 可见光图像融合匹配的方法， 其特征在于， 还包括 步骤： 对最终生成的融合图像进行质量 鉴别。 7.一种红外图像与 可见光图像融合匹配的系统， 所述红外图像与 可见光图像在同一环 境下采集获得， 其特 征在于， 包括： 光照度判断模块， 用于判断可见光图像是在强光照度下采集获得还是在弱光照度 下采 集获得； 融合模块， 包括集成式融合模型， 所述集成式融合模型用于在可见光图像是在强光照 度下采集获得时， 将可见光图像与红外图像直接融合， 得到融合图像； 以及在可见光图像是 在弱光照度下采集获得时， 将可见光图像生成红外图像， 然后将生成的红外图像与采集的 红外图像进行红外图像下融合， 生成加权红外图像， 加权红外图像再与可见光图像进行拼 接， 生成最终的融合图像。 8.根据权利要求7所述的红外图像与 可见光图像融合匹配的系统， 其特征在于， 所述集 成式融合模型包括第一生成器、 第二生成器、 第三生成器、 第一鉴别器和第二鉴别器， 所述权　利　要　求　书 1/2 页 2 CN 115457249 A 2第一生成器用于将可见光图像生成红外图像， 所述第一鉴别器用于对生成的红外图像进 行 质量鉴别； 所述第二生 成器用于将生成的红外图像与采集的红外图像进 行融合生成加权红 外图像， 以及将加权红外图像再与可见光图像进行拼接生成最终的融合图像； 所述第三生 成器用于将可见光图像与红外图像直接融合得到融合图像； 第二鉴别器用于对生成的融合 图像进行质量 鉴别。 9.根据权利要求8所述的红外图像与 可见光图像融合匹配的系统， 其特征在于， 第 一生 成器由编码 器和解码 器组成， 编码 器包含7个卷积块， 用于下采样， 除了第一个卷积块外， 后 面6个卷积块包含一个卷积层、 一个LeakyRelu激活函数和一个批量归一化， 卷积层采用4 × 4卷积核， 步长q为2； 解码器包含 7个卷积块， 前面6个卷积块包含一个卷积层、 一个Relu激活 函数和一个批量归一 化， 最后一个卷积块包 含一个卷积层和tanh 激活函数。 10.根据权利要求8所述的红外图像与可见光图像融合匹配的系统， 其特征在于， 第二 生成器包括 五层卷积层， 第一层和第三层包含一个 反卷积、 一个LeakyRelu激活函数和一个 批量归一化， 第二层和第四层包含一个卷积、 一个LeakyRelu激活函数和一个批量归一化， 第一层和第二层采用5 ×5卷积核， 第三层和第四层采用3 ×3卷积核。权　利　要　求　书 2/2 页 3 CN 115457249 A 3