(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210900863.9 (22)申请日 2022.07.28 (71)申请人 北京卫星信息 工程研究所 地址 100086 北京市海淀区知春路61号 (72)发明人 冯鹏铭　贺广均　金世超　符晗　 常江　刘世烁　邹同元　王勇　 梁银川　车程安　 (74)专利代理 机构 北京谨诚君睿知识产权代理 事务所 (特殊普通合伙) 11538 专利代理师 延慧 (51)Int.Cl. G06V 20/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于注意力机制的多源遥感图像目标识别 方法 (57)摘要 本发明涉及一种基于注意力机制的多源遥 感图像目标识别方法， 包括： 获取多源遥感图像 及其对应的目标类别标签， 并进行预处理； 提取 预处理后的多源遥感图像中的目标特征， 对所述 目标特征进行过滤， 得到多源目标的关键特征； 构建特征融合编码器并对所述关键特征进行融 合， 获得隐层特征数据； 构建特征解码器并重构 所述隐层特征数据； 利用重构的隐层特征数据和 所述关键特征对所述特征融合编码器和所述特 征解码器进行优化； 利用分类网络对 所述隐层特 征数据进行分类识别。 本发明不仅实现多源遥感 图像中的目标识别， 还可提高识别的精度。 权利要求书2页 说明书7页 附图1页 CN 115272857 A 2022.11.01 CN 115272857 A 1.一种基于注意力机制的多源遥感图像目标识别方法， 包括： 获取多源遥感图像及其对应的目标类别标签， 并进行 预处理； 提取预处理后的多源遥感图像中的目标特征， 对所述目标特征进行过滤， 得到多源目 标的关键特 征； 构建特征融合编码器并对所述关键特 征进行融合， 获得隐层特 征数据； 构建特征解码器并重构所述隐层特 征数据； 利用重构的隐层特征数据和所述关键特征对所述特征融合编码器和所述特征解码器 进行优化； 利用分类网络对所述隐层特 征数据进行分类识别。 2.根据权利要求1所述的方法， 其特征在于， 所述多源遥感图像包括： 光学遥感图像和 SAR遥感图像。 3.根据权利要求1所述的方法， 其特征在于， 所述预处理包括： 对获取的多源遥感图像 及其对应的目标类别标签进行剪 裁和翻转。 4.根据权利要求1所述的方法， 其特征在于， 所述提取预处理后的多源遥感图像中的目 标特征中， 利用特征提取主干网络提取预处理后的多源遥感图像中的目标特征， 得到多源 特征图。 5.根据权利要求 4所述的方法， 其特 征在于， 所述对所述目标 特征进行过滤， 包括： 对所述多源遥感图像的成像和场景的条件信 息进行向量编码， 利用条件信 息传递模块 使VGG网络根据传递的编码后的条件信息对网络参数进行调整； 利用预训练的VG G网络提取 所述多源特 征图上的特 征， 计算特 征感知相似度误差； 利用所述特征感知相似度误差作为损 失函数， 对前置单源数据过滤器进行训练， 利用 训练好的前置单源数据过 滤器对所述多源特 征图进行 过滤， 得到多源目标的关键特 征。 6.根据权利要求1所述的方法， 其特征在于， 所述构建特征融合编码器并对所述关键特 征进行融合， 包括： 构建基于注意力机制的特 征融合编码器； 利用所述特征融合编码器的卷积层， 对所述多源目标的关键特征投影到不同的特征空 间， 得到注意力图； 利用所述特征融合编码器的注意力层对所述注意力图进行融合， 并利用以下公式获得 隐层特征数据， 其中，xi为所述多源目标的关键特征， oi为所述注意力层输出的中间结果， γ为缩放因 子。 7.根据权利要求1所述的方法， 其特征在于， 所述构建特征解码器并重构所述隐层特征 数据， 包括： 构建特征解码器， 利用所述特 征解码器对所述隐层特 征数据进行解码重建； 利用L1函数计算特 征融合和重建误差； 对所述特征融合编码器中间的隐层特征数据进行调整和限制， 相同类型目标的数据被 分配在同一训练批次中， 利用所述特征融合编码器获取特征空间中的隐层特征数据， 利用 VGG网络分别计算该隐层特征数据与同一训练批次内其他数据的特征感知相似度， 作为特权　利　要　求　书 1/2 页 2 CN 115272857 A 2征感知损失。 8.根据权利要求1所述的方法， 其特征在于， 所述利用重构的隐层特征数据和所述关键 特征对所述特 征融合编码器和所述特 征解码器进行优化， 包括： 构建损失函数， 利用损失函数计算重构的隐层特征数据和所述多源目标的关键特征的 相似度， 并利用所述相似度对所述特 征融合编码器和所述特 征解码器进行训练和优化。 9.根据权利要求1所述的方法， 其特征在于， 所述利用分类网络对所述隐层特征数据进 行分类识别 之前， 还包括： 利用网络剖析方法对所述隐层特征数据进行可解释性分析和可 视化。 10.根据权利要求9所述的方法， 其特征在于， 所述利用网络剖析方法对所述隐层特征 数据进行 可解释性分析和可视化， 包括： 构建具有领域专 家知识的视 觉概念数据库； 建立所述隐层特 征数据与所述视 觉概念数据库的关联模型； 对所述关联模型输入视觉概念图像， 确定用于判断所述隐层特征数据是否激活的阈 值； 量化所述隐层特征数据和所述视觉概念数据库的匹配程度， 根据 所述阈值对所述隐层 特征数据进行 可视化解释。权　利　要　求　书 2/2 页 3 CN 115272857 A 3