(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211069786.3 (22)申请日 2022.09.01 (71)申请人 中国海洋大学 地址 266100 山东省青岛市崂山区松岭路 238号 (72)发明人 聂婕　王成龙　赵恩源　宋宁　 赵紫安　王成贺　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 赵梅 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 20/10(2022.01) (54)发明名称 多尺度融合遥感图像 语义分割方法及系统 (57)摘要 本发明属于图像处理技术领域， 公开了多尺 度融合遥感图像语义分割方法及系统， 所述方法 包括以下步骤： 构建用于遥感图像语义分割的多 尺度遥感图像生成 网络， 所述的多尺度遥感图像 生成网络包括三层语义分割模型和一个多尺度 分辨率图像融合模块， 每层语义 分割模型采用编 解码结构 的卷积神经网络， 包括多注意力模块、 边缘监督模块； 将原始图像做 不同分辨率的处理 并分别输入三层语义分割模型， 三层语义分割模 型提取全局和局部语义特征， 同时提取边缘特征 信息， 输出不同分辨率的图像， 经所述多尺度分 辨率图像融合模块将三层分割模型的输出图像 重采样到第二层输出图像的大小， 融合三层语义 分割模型输出图像， 输出最终分割图像， 实现精 准的图像分割。 权利要求书2页 说明书8页 附图2页 CN 115512103 A 2022.12.23 CN 115512103 A 1.多尺度融合遥感图像 语义分割方法， 其特 征在于， 包括以下步骤： 步骤1、 构建用于遥感图像语义分割的多尺度遥感图像生成网络， 所述的多尺度遥感图 像生成网络包括三层语义分割模型和一个多尺度分辨率图像融合模块， 每层语义分割模型 采用编解码结构的卷积神经网络， 包括多注意力模块、 边 缘监督模块； 步骤2、 将原始图像做不同分辨率的处理并分别输入三层语义分割模型， 其中第 一层的 输入为原始图像上采样一次、 第二层的输入为原始图像、 第三层的输入为原始图像下采样 一次； 步骤3、 三层语义分割模型分别处理不同分辨率的输入图像， 提取全局和局部语义特 征， 同时提取边缘特征信息， 输出不同分辨率的图像， 经所述多尺度分辨率图像融合模块将 三层分割模型的输出图像重采样到第二层输出图像的大小， 融合三层语义分割模型输出图 像， 输出最终分割图像。 2.根据权利要求1所述的多尺度融合遥感图像语义分割方法， 其特征在于， 第 二层语义 分割模型采用SegNet结构， 在SegNet的编码 器和解码器 分别增加一层卷积作为第一层语义 分割模型， 在SegNet的编码器和解码器分别减少一层卷积作为第三层语义分割模型。 3.根据权利要求1所述的多尺度融合遥感图像语义分割方法， 其特征在于， 所述多注意 力模块用于捕捉空间维度H ×W和通道维度C 之间的跨维度交互作用， 输出相同尺度的图像， 多注意力模块包括两个分支， 在第一个分支中， 将通道维度C转置为高度维度H， 即将形状C ×H×W转换为H ×C×W， 然后， 对张量的高度维度H进行Z ‑Pool变换， 实现特征压缩， 将压缩 后的特征权值与通道维度C和宽度维度W的信息融合， 然后与卷积核进行卷积运算， 得到形 状为1×C×W的张量， 经过归一化和sigmoid激活后， 特征的形状 保持不变； 激活的特征与 原 始特征逐点相乘， 然后排列回到原始形状C ×H×W； 第二个 分支中， 将通道维度C置换为宽度 维度W， 后续操作 与第一分支相同； 最后融合两个分支的特 征， 生成融合图像。 4.根据权利要求3所述的多尺度融合遥感图像语义分割方法， 其特征在于， 多注意力模 块的两个分支融合时， 每 个分支计算每 个像素的跨纬度注意权值ω， 公式如下； 其中id表示特征向量的第i维， X为多注意力模块MM的输入向量， Perm表示特征向量的 置换操作， CNA 表示输入特 征的卷积和归一 化， 然后由sigmo id函数激活； 由此， 多注意力模块融合不同维度的交互信 息， 分别是通道维和高度维、 通道维和宽度 维， 得到精细张量y， 公式如下: 其中ω1和ω2是多重注意计算得到的两个跨维注意权值， X1是第一个分支的输入向量、 X2是第二个分支的输入向量， y1和y2表示由多注意力模块的两个分支得到的精细特 征向量。 5.根据权利要求1所述的多尺度融合遥感图像语义分割方法， 其特征在于， 所述边缘监 督模块只用于解码器中的前三层输出， 而不 考虑解码器中最深层的边 缘信息， 三层语义分割模型的每一层中， 每个编码器阶段的前三层浅层神经网络的输出都添加 边缘监督模块， 边缘监督模块将边缘信息融合到神经网络的输出图像中； 每个边缘监督模 块包括三个 分支， 分别提取SegNet前三层的特征， 提取的三层特征为大小相同的特征图， 输权　利　要　求　书 1/2 页 2 CN 115512103 A 2出特征S为三个分支 提取的特征串接而成； 对于特征S， 经过卷积得到特征映射P， 接下来， 使 用Sobel算子计算标签图像的边缘信 息te； 然后， 利用边缘信 息te作为新的标签来训练边缘 的损失， 损失函数表示如下: Ledge＝‑[teln(p)+(1‑te)ln(1‑p)] 其中te为标签图像的边缘信息， 正样本的值为1， 负样本的值为0， p 表示预测结果的概率 为正， Ledge为监督过程的损失值， 通过Ledge的结果， 反向传播引导边缘监督模块关注对象的 边缘像素。 6.根据权利要求5所述的多尺度融合遥感图像语义分割方法， 其特征在于， 在第 一个分 支中， 取SegNet第一卷积层提取 的特征S1作为输入， 张量的形状为64 ×256×256， 首先， 通 过具有16个通道和内核大小1 ×1的卷积层， 张量形状变成16 ×256×256， 然后使用内核大 小3×3的卷积层 提取特征； 在第二个分支中， 取Se gNet第二卷积层提取的特征S2作为输入， 张量形状 为64×128×128， 首先， 上采样得到形状 为64×256×256的特征图S2u， 其次， 通 过1 ×1卷积层降参数得到大小16 ×256×256的特征图， 最后， 通过3 ×3卷积层得到第二级输 出； 在第三个分支中， 取SegNet第三卷积层提取的特征S3作为输入， 张量形状为64 ×64× 64， 首先， 上采样得到形状为64 ×256×256的特征图， 其次， 通过1 ×1卷积层降参数得到大 小16×256×256的特征图， 最后， 通过3 ×3卷积层得到第三级输出； 对于特征S， 采用核大小为1 ×1， 通道数为2的卷积层进行卷积， 得到形状为2 ×256× 256的特征映射P， 由于反向传播的训练机制， 最终输出包 含的语义信息特 征P作用于特 征S； 特征S通过8个卷积层生成形状为8 ×256×256的特征映射FC， 核大小为1 ×1， 将特征映 射FC连接到解码器阶段的最后一个卷积层， 从而将边缘信息中提取的特征整合到最终的结 果中。 7.用于实施权利要求1 ‑6任一项所述的多尺度融合遥感图像语义分割方法的系统， 其 特征在于， 包括： 图像预处 理模块， 用于对原 始图像做不同分辨 率的处理， 输入分割模型； 多尺度遥感图像生成网络， 包括三层语义分割模型和一个多尺度分辨率图像融合模 块， 每层语义分割模型采用编解码结构的卷积神经网络， 包括多注意力模块、 边缘监督模 块， 所述多注意力模块用于捕获空间维和通道维的上下文信息并学习局部特征； 所述边缘 监督模块用于将边缘特征融合到卷积神经网络的输出图像中， 所述多尺度分辨率图像融合 模块用于将三层分割模型的输出图像重采样到第二层输出图像的大小， 融合三层语义分割 模型输出图像， 输出最终分割图像。权　利　要　求　书 2/2 页 3 CN 115512103 A 3