(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210993365.3 (22)申请日 2022.08.18 (71)申请人 西安中科立德红外科技有限公司 地址 710199 陕西省西安市高新区毕原二 路3000号硬科技企业社区8幢 (72)发明人 刘伟　王鹏　郭得福　段程鹏　 张书强　宋洁　刘济铭　 (74)专利代理 机构 西安智邦专利商标代理有限 公司 6121 1 专利代理师 赵逸宸 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度信息交换的红外图像增强方法、 计算机程序 产品 (57)摘要 本发明属于一种红外图像增强方法， 为解决 目前基于 卷积神经网络的图像增强方法， 在图像 的细节表现能力和整体视觉效果上， 仍然需要提 高的技术问题， 提供一种基于多尺度信息交换的 红外图像增强方法、 计算机程序产品， 在图像增 强过程中， 对原始尺寸的原始图像进行卷积学 习， 得到粗提取特征图， 再对粗提取特征图分别 上、 下采样进行特征提取， 更好的补充原始尺度 的特征学习过程。 同时， 在多尺度信息挖掘过程 中， 使用随机选择与融合模块对不同尺度的特征 信息进行交换， 从而进行跨尺度特征学习， 结合 来自多个尺度的特征信息， 同时保留了原始图像 的空间细节， 提升 了图像的细节 表现能力。 权利要求书2页 说明书6页 附图4页 CN 115409726 A 2022.11.29 CN 115409726 A 1.一种基于多尺度信息交换的红外图像增强方法， 其特 征在于， 包括以下步骤： S1， 通过对原 始图像进行 卷积学习， 得到原 始图像的粗 提取特征图F0； S2， 分别对粗提取特征图F0进行上采样处理和下采样处理， 得到上采样后的粗提取特 征图F1和下采样后的粗 提取特征图F2； S3， 依次通过瓶颈注意力模块和随机选择与融合模块对F1、 F0和F2进行一次注意力特 征提取和多尺度特征交换， 通过瓶颈注意力模块再进行二次注意力特征提取， 然后再通过 特征融合模块进行多尺度特 征融合， 得到多尺度特 征融合图； S4， 重复执行多次步骤S2和步骤S3， 且每次以上一次步骤S3得到的多尺度特征融合图 作为步骤S2中的粗 提取特征图F0， 得到多 级特征提取图； S5， 将所述多 级特征提取图输入卷积层， 得到初步重构图像； S6， 对所述原始图像依次进行下采样和上采样， 再与初步重构图像连接， 得到最终增强 图像。 2.根据权利要求1所述基于多尺度信 息交换的红外图像增强方法， 其特征在于， 步骤S3 中， 所述一次注意力特 征提取具体为： Sa.1， 分别计算F1、 F0和F2的通道特征注意力图和空间特征注意力图， 分别得到F1、 F0 和F2的空间 ‑通道特征注意力图M(F1)、 M(F0)和M(F2)； Sa.2， 分别使M(F1)、 M(F0)和M(F2)与对应的F1、 F0和F2逐像素相乘， 再将相乘结果与 F1、 F0和F2叠加， 得到对应的一次输出 特征图L1、 L0和L2。 3.根据权利要求2所述基于多尺度信 息交换的红外图像增强方法， 其特征在于， 步骤S3 中， 所述多尺度特 征交换具体为： Sb.1， 分别对L1和L2进行下采样处理和上采样处理， 使L1和L2恢复到与L0相同的尺度， 再将L0、 恢复到与L0相同尺度的L1和L2相加， 得到特 征图L； Sb.2， 对特 征图L进行全局平均池化， 将同一 通道信息编码为 一个实数； Sb.3， 通过一个卷积层充当通道缩 减卷积层进行 卷积学习， 生成一个通道特 征； Sb.4， 对步骤Sb.3得到的通道特征， 分别使用三个维度相同的并行的卷积层充当通道 扩展卷积， 对应生成三个通道特 征图V1、 V0和V 2； Sb.5， 使三个通道特征图V1、 V0和V2分别与L0、 恢复到与L0相同尺度的L1和L2在特征维 度进行相乘， 得到经 过多尺度特 征信息交换的特 征图L’1、 L’0和L’2； Sb.6， 分别从V1、 V0和V 2中随机挑选通道， 经 过softmax激活得到常数s1、 s2和s3； Sb.7， 结合特 征图L’1、 L’0和L’2， 以及常数s1、 s2和s3， 得到多尺度特 征交换结果U0； Sb.8， 再重复执行两次步骤Sb.6和步骤Sb.7， 得到两次不 同的多尺度特征交换结果U1 和U2。 4.根据权利要求3所述基于多尺度信 息交换的红外图像增强方法， 其特征在于， 步骤S3 中， 所述二次注意力特征提取与所述一次注意力特征提取 的方法相同， 得到二次输出特征 图L21、 L20和L2 2。 5.根据权利要求4所述基于多尺度信 息交换的红外图像增强方法， 其特征在于， 步骤S3 中， 所述多尺度特 征融合具体为： Sc.1， 分别对L21和L2 2进行上采样或下采样， 使L21、 L20和L2 2的尺度相同； Sc.2， 对L20、 经 过上采样或下采样的L21和L2 2进行相加， 得到结果特 征图M；权　利　要　求　书 1/2 页 2 CN 115409726 A 2Sc.3， 使用残差连接将结果特 征图M与粗 提取特征图F0相加， 得到多尺度特 征融合图。 6.根据权利要求2至5任一所述基于多尺度信息交换的红外图像增强方法， 其特征在 于： 步骤S3中， 所述瓶颈注意力模块、 随机选择与融合模块和特征融合模块中的损失函数 为： 其中， 表示损失函数， 表示输出图像， I*表示输入图像， ε表示常数。 7.根据权利要求6所述基于多尺度信息交换的红外图像增强方法， 其特征在于， 步骤 Sa.2中， 所述 通道特征注意力图具体通过以下 方式得到： 通过全局平均池化将每一个通道中的全局信 息编码为一个实数， 然后通过由两个全连 接层组成的隐藏层实现特征通道的降低与还原， 再通过批归一化层实现数据的归一化， 得 到通道特 征注意力图。 8.根据权利要求7所述基于多尺度信息交换的红外图像增强方法， 其特征在于， 步骤 Sa.2中， 所述空间特 征注意力图具体通过以下 方式得到： 先经过1*1卷积将输入的粗提取特征图特征映射到低维空间RC/r×H×W， 再经过两层 3*3膨 胀卷积， 然后使用1*1卷积映射到空间R1×H×W， 最后使用归一化层 进行数据归一化， 得到空间 特征注意力图； 其中， C表示粗提取特征图的通道数， r表示从粗提取特征到低 位空间的通道映射比例， H表示粗提取特征图的高度， W表示 粗提取特征图的宽度。 9.根据权利要求8所述基于多尺度信 息交换的红外图像增强方法， 其特征在于： 步骤S4 中， 所述重复执 行多次步骤S2和步骤S3具体为重复执 行三次。 10.一种计算机程序产品， 包括计算机程序， 其特征在于： 所述计算机程序被处理器执 行时实现权利要求1至9任一所述基于多尺度信息交换的红外图像增强方法的步骤。权　利　要　求　书 2/2 页 3 CN 115409726 A 3