(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210892653.X (22)申请日 2022.07.27 (71)申请人 南京信息 工程大学 地址 224002 江苏省盐城市 盐南高新区新 河街道文港南路10 5号 (72)发明人 李继文　刘光灿　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董成 (51)Int.Cl. G06T 7/11(2017.01) G06V 20/70(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/77(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度融合注意力的遥感图像分割方 法及系统 (57)摘要 本发明公开了一种基于多尺度融合注意力 的遥感图像分割方法及系统， 该方法包括： 1)多 尺度特征表示(MFR)； 2)特征融合注意力(FFA)； 3)特征细化(F RM)； 4)评估； 本发明方法使模型能 够在学习遥感图像的过程中逐步细化高分辨率 特征， 且有效缓解因图像背景复杂、 类别尺寸差 异大造成的误分类、 漏分类问题。 从而提高遥感 图像的分割效果。 权利要求书3页 说明书9页 附图3页 CN 115222750 A 2022.10.21 CN 115222750 A 1.基于多尺度融合注意力的遥感图像分割方法， 其特 征在于： 获取数据集图像， 将数据集图像输入预先构建的残差网络ResNet ‑50得到深层语义特 征信息， 再将得到的特征信息输入预先构建的多尺度特征表示模块中， 多尺度特征表示模 块通过不同空洞率的空洞卷积进行 特征聚合； 对深层语义特征信 息和多尺度 特征表示模块的输出特征信 息进行降维， 然后输入预先 构建的特 征融合模块F FA， 特征融合模块F FA按高层到底层顺序将降维后的特 征依次融合； 将融合后的特征输入预先构建的特征细化模块， 特征细化模块降低通道数， 减少计算 量， 进行了 两次感受野不同的细化， 逐步细化特 征图。 2.根据权利要求1所述的基于多尺度融合注意力的遥感图像分割方法， 其特 征在于： 多尺度特征表示模块通过不同空洞率的空洞卷积进行特征聚合， 输出特征矩阵M4， 式中， M表示ResN et‑50最后一层输出； 表示卷积核大小为3， 空洞率为1的空洞卷积 运算； BN表 示进一步的批量归一化； ReLU表 示非线性激活层； GAP表 示全局平均池化层； UP表 示上采样到原图大小； Co ncat表示将各个特 征在通道数维度相加。 3.根据权利要求2所述的基于多尺度融合注意力的遥感图像分割方法， 其特征在于： 所 述深层语义特 征信息为特 征矩阵M1、 特征矩阵M2和特征矩阵M3； 对特征矩阵M1进行降维得到： T1＝ReLU(BN(C1×1(M1))) 对特征矩阵M2进行降维得到： T2＝ReLU(BN(C1×1(M2))) 对特征矩阵M3进行降维得到： T3＝ReLU(BN(C1×1(M3))) 对特征矩阵M4进行降维得到： T4＝ReLU(BN(C1×1(M4))) 式中， C1×1表示有卷积核大小为1的卷积运算； BN表示进一步的批量归一化， 加快训练速 度； ReLU表示非线性激活层， 用于减少参数相互依赖性， 缓解过拟合现象。 4.根据权利要求3所述的基于多尺度融合注意力的遥感图像分割方法， 其特征在于： 特 征融合模块FFA按高层到底层顺序将降维后的特征依 次融合的过程为： 所述特征融合模块 FFA包括三个融合模块， 将T4和T3输入第一个融合模块， T4作为第一个融合模块的高层语义 特征， T3作为底层语义特征， 特征矩阵T4先进行上采样操作， 得到和T3尺寸相同的特征矩阵， 通过加和操作来融合两者得到融合后的特征矩阵I3； 最后用卷积核大小为3的卷积对I3降 维， 输出和T3相同大小的特 征矩阵K3： I3＝Concat(UP(T4)， T3) K3＝ReLU(BN(C3×3(I3))) 式中， UP表示向上采样， 将T4还原到T3的尺寸大小， Concat是加和操作， 将高层特征和底 层特征按通道数相加， 最后通过 卷积操作减少通道数到底层特 征T3的大小； 然后使用全局平均池化引导底层特征信息， 假设高层特征为T4＝[t1， t2，…tc1]∈Rc1权　利　要　求　书 1/3 页 2 CN 115222750 A 2×h×w， 底层特征为K3＝[k1， k2，…kc2]∈Rc2×h×w， 在高层语义特征T4上作全局 平均池化操作获 得全局信息， 获得的全局信息表示 为A∈Rc1×1×1， 该过程表示 为： 式中， h， w分别表示 为特征图的长和宽， Ak第k层的特 征权重值； A经过1×1的卷积降维后得到长和宽都为1， 通道数为C2的特征矩阵， 通过Sigmoi d激活 函数将权重值划分在[0， 1]之间生成权向量V∈Rc2×1×1， 权向量和底层特征K3相乘， 之后是1 ×1卷积运算， BN批量归一 化和ReLU激活， 该 过程表示 为： U3＝ReLU(BN(C1×1(K3×V))) 式中， U3表示浅层特 征经过权向量乘积后的输出； 最后， 在高层特征T4上执行上采样操作， 使T4上的元素和低级特征图T3一一对应， 然后， 两个特征图按对应 像素直接相加， 公式如下： P3＝UP(T4)+U3 同理， 输入高层特征P3和底层特征T2到第二个融合模块中得到高层特征P2， 输入高层特 征P2和底层特 征T1到第三个融合模块中最终得到高层特 征P1。 5.基于多尺度融合注意力的遥感图像分割 系统， 其特 征在于： 包括： 多尺度特征表示模块MFR： 包含残差网络ResNet ‑50， 将数据集图像输入残差网络 ResNet‑50得到深层语义特征信息， 再将得到的特征信息输入通过不同空洞率的空洞 卷积 进行特征聚合； 特征融合模块FFA： 用于对深层语义特征信息和多尺度特征表示模块的输出特征信息 进行降维， 然后按高层到底层顺序将降维后的特 征依次融合； 特征细化模块FRM： 用于将融合后的特征输入预先构建后降低通道数， 减少计算量， 进 行了两次感受野不同的细化， 逐步细化特 征图。 6.根据权利要求5所述的基于多尺度融合注意力的遥感图像分割 系统， 其特 征在于： 多尺度特征表示模块MFR通过不同空洞率的空洞卷积进行特征聚合， 输出特征矩阵M4， 式中， M表示ResN et‑50最后一层输出； 表示卷积核大小为3， 空洞率为1的空洞卷积 运算； BN表 示进一步的批量归一化； ReLU表 示非线性激活层； GAP表 示全局平均池化层； UP表 示上采样到原图大小； Co ncat表示将各个特 征在通道数维度相加。 7.根据权利要求6所述的基于多尺度融合注意力的遥感图像分割系统， 其特征在于： 所 述残差网络ResNet ‑50输出的深层语义特 征信息为特 征矩阵M1、 特征矩阵M2和特征矩阵M3； 对特征矩阵M1进行降维得到： T1＝ReLU(BN(C1×1(M1))) 对特征矩阵M2进行降维得到： T2＝ReLU(BN(C1×1(M2))) 对特征矩阵M3进行降维得到：权　利　要　求　书 2/3 页 3 CN 115222750 A 3