(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210998016.0 (22)申请日 2022.08.19 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 周慧鑫　张伟鹏　戴加乐　于跃　 宋江鲁奇 　张嘉嘉　李苗青　张喆　 滕翔　王珂　李欢　朱贺隆　 梅峻溪　王财顺　石志鹏　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于特征融合与注意力机制的目标检 测方法 (57)摘要 一种基于特征融合与注意力机制的目标检 测方法， 红外图像输入MobileNet网络进行逐层 卷积计算， 得到不同尺度的特征图， 建立双向特 征融合模块IBFPN， 将所述用于检测的特征金字 塔图像输入IBFPN， 以进行上下层信息的相互融 合； 经过IBFPN后， 将各融合特征层输入到注意力 模块ECBAM， 通过ECB AM为不同的特征赋 予不同的 比重； 将经IBFPN和ECB AM处理的不同尺度的特征 图送入检测模块进行检测， 获取每个候选框的类 别及相应的边界框， 得到预测结果； 将预测结果 进行非极大值抑制， 删除多余的目标框， 获得最 终的检测结果。 综合对比多种检测算法后， 实验 结果表明， 本发 明可以有效提高红外目标的检测 精度。 权利要求书3页 说明书10页 附图3页 CN 115424104 A 2022.12.02 CN 115424104 A 1.一种基于特 征融合与注意力机制的目标检测方法， 其特 征在于， 包括如下步骤： 步骤1， 将红外图像输入MobileNet网络进行逐层 卷积计算， 得到不同尺度的特征图， 其 中DWS11、 DWS13、 DWS14_2、 DWS15_2、 DWS16_2和DWS17_2这6层特征图是用于检测的特征金字 塔图像； 步骤2， 建立双向特征融合模块IBFPN， 将所述用于检测的特征金字塔图像输入IBFPN， 以进行上下层信息的相互融合； 步骤3， 经过IBFPN后， 将各融合特征层输入到注意力模块ECBAM， 通过ECBAM为不同的特 征赋予不同的比重； 步骤4， 将经IBFPN和ECBAM处理的DWS11、 DWS13、 DWS14_2、 DWS15_2、 DWS16_2和DWS17_2 送入检测模块进行检测， 获取每 个候选框的类别及相应的边界框， 得到预测结果； 步骤5， 将预测结果进行非极大值抑制， 删除多余的目标框， 获得最终的检测结果。 2.根据权利要求1所述基于特征融合与注意力 机制的目标检测方法， 其特征在于， 所述 步骤2， IBFPN是在双向金字塔网络的基础上， 构建残差特征增强模块RFA以加强顶层特征， 并且引入自底向上的融合路径， 同时针对同一层级， 加入一条从起始输入到 输出的连接 。 3.根据权利要求2所述基于特征融合与注意力 机制的目标检测方法， 其特征在于， 所述 步骤2， 进行 上下层信息相互融合的步骤如下： 步骤2.1， 在前向传播过程中由传统SSD目标检测模型生成的各金字塔特征层次依次为 {C1、 C2、 C3、 C4、 C5、 C6}， 分别对应步骤一中的DWS11、 DWS13、 DWS14_2、 DWS15_2、 DWS16_2和 DWS17_2； 步骤2.2， 将C6层特征输入RFA改进其特征表示， 得到具有多尺度上下文信息的输出特 征层R6， 即RFA(C 6)； 步骤2.3， 将R6与经1 ×1卷积降维后的C 6相加融合得到顶层特 征C6_td； 步骤2.4， 将C1～C 5分别经1 ×1卷积降维， 得到特 征C5_in～C1_in； 步骤2.5， 利用如下公式将C1_i n～C6_in自顶向下进行融合： 其中， Conv是用于特征通道降维的1 ×1卷积运算， Conv(C6)～Conv(C1)即C6_in～C1_ in， RFA(*)是对特征图进行残差特征增强， Resize是为了使不同层分辨率匹配采取的上采 样操作，“+”表示对应位置元 素相加； C1_td～C 6_td是相加融合后得到的顶层特 征； 步骤2.6， 自底向上， 将低层特征融合到高层， 使每一层不仅具有高层的强语义信息 同 时也有低层的强细节定位信息， 并加入一条从起始输入到输出的连接， 以在不增加 参数量 的情况下融合更多的特 征， 得到融合特 征层C1_out ～C6_out， 融合公式如下： 权　利　要　求　书 1/3 页 2 CN 115424104 A 2C1_out～C6_out即C1～C 6经过IBFPN后输出的多尺度特 征融合的特 征层。 4.根据权利要求3所述基于特征融合与注意力 机制的目标检测方法， 其特征在于， 所述 RFA是在Res残差结构中引入AugFPN中残差特征增强的思想， 并融入自适应空间融合模块， RFA通过残差特 征增加上下文信息， 以减少最高层特 征的损失， 以提高金字塔的性能。 5.根据权利要求3所述基于特征融合与注意力 机制的目标检测方法， 其特征在于， 所述 上采样操作为双线性插值。 6.根据权利要求1或2或3或4或5所述基于特征融合与注意力机制的目标检测方法， 其 特征在于， 所述注 意力模块ECBAM包含通道注意力模块和空间注 意力模块， 其中通道注 意力 模块重点关注不同特征通道的重要程度， 包括平均池化层AvgPool和最大池化层MaxPool， 一维卷积模块和Sigmoid映射模块， 空间注 意力模块重点关注特征在不同空间的重要程度， 侧重于“何处”是信息部分， 空间注意力模块与通道注意力模块互补， 包括平均池化层 AvgPool和最大池化层MaxPo ol及堆叠模块和Sigmo id映射模块。 7.根据权利要求6所述基于特征融合与注意力 机制的目标检测方法， 其特征在于， 所述 步骤3， 为 不同的特 征赋予不同比重的步骤如下： 步骤3.1， 将步骤2中每个融合特征层分别输入到ECBAM， 将输入的融合特征层设为 其中H、 W分别为每个融合特征层的高和宽， C为融合特征层的通道数； 对于 首先分别经过平均池化和最大池化压缩， 得到两个特征图 和 步骤3.2， ECBAM考虑每个通道及其相邻k个通道的交互， 对Iavg、 Imax分别使用大小为k的 一维卷积进行运 算； 步骤3.3， 将步骤3.2处理后的两部分结果进行元素相加， 并经过Si gmoid激活函数将各 通道特征映射到(0,1)内， 得到不同通道的权 重系数Mc(I)， 其计算方法如下： 其中， σ 为Sigmoid激活函数， 是大小为k的一维卷积， k的大小通过下式自适应地确 定： 其中， | |odd表示取结果最接近的奇数， γ＝2， b＝1； 步骤3 .4， 将Mc(I)与融合特征层 相乘， 得到通道注意力特征图I '， 步骤3.5， 以I'为新的输入特征图输入到空间注意力 模块， 对I'同一特征点的所有通道 分别取平均池化和最大池化， 得到 和 步骤3.6， 将 堆叠后再进行 标准卷积； 步骤3.7， 使用Sigmo id激活函数获取I'的空间权 重Ms(I′)， 计算过程如下：权　利　要　求　书 2/3 页 3 CN 115424104 A 3