(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211014325.6 (22)申请日 2022.08.23 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 王俊杰　李伟　陶然　高云浩　 张蒙蒙　 (74)专利代理 机构 四川省方圆智云知识产权代 理事务所(普通 合伙) 51368 专利代理师 王悦 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于变形卷积选择分配网络的多源遥感影 像场景识别方法 (57)摘要 本发明公开了一种基于变形卷积选择分配 网络的多元遥感影像场景识别方法， 在YOLOv3网 络的特征提取基础网络中引入变形卷积， 提取并 保留多尺度、 多形状的场景表现空间结构信息， 在多源特征金字塔上引入选择性分配融合模块 用于融合多元遥感影像， 为不同的影像特征分配 不同的融合权重。 本发明可以通过变形卷积更好 地提取影像中各类场景的空间信息， 并通过融合 模块结合多源遥感数据的优势， 实现较高精度的 场景识别精度。 权利要求书2页 说明书5页 附图3页 CN 115331107 A 2022.11.11 CN 115331107 A 1.基于变形卷积选择分配网络的多源遥感影像场景识别方法， 其特征在于， 包括以下 步骤： 步骤1： 构建特 征提取基础网络； 在YOLOv3的卷积神经网络中引 入变形卷积代替普通卷积， 获取多尺度、 多形状的场景 空间结构信息； 为每一类遥感数据提供 特征提取基础网络； 步骤2： 融合异源遥感影 像特征金字塔上对应尺度分支的目标 特征； 在YOLOv3的特征金字塔各尺度分支上引入选择性分配融合模块用以融合多源遥感影 像， 对于不同影 像的特征分配不同的融合权 重； 步骤3： 融合后的特征重新构成了新的不同尺度的特征表示， 利用YOLOv3模型的损失函 数， 以最小化损失为优化目标， 利用反向传播优化模型参数， 训练场景识别模型； 步骤4： 模型训练完成后保存， 采集并输入所要进行场景识别任务的遥感影像， 加载步 骤3中训练完成的场景识别模型， 利用该模型识别影像中的不用场景， 得到目标场景的位置 和类型， 可视化输出。 2.根据权利要求1所述的基于变形卷积选择分配网络的多源遥感影像场景识别方法， 其特征在于： 步骤1包括如下子步骤： 步骤1.1： 构建变形 卷积； 变形卷积在U上使用2N个普通卷积， 得到包 含2N个通道的特 征图； 将得到的通道数为2N的特征图与输入特征图相加， 从而得到实际的采样位置； 2N的特 征图， 形状为B,H,W,2N； 输入特 征图， 形状为B,H,W,N； 步骤1.2： 以YOLOv3的darknet53特征提取网络为基础， 将darknet53网络中普通卷积替 换为变形 卷积， 在不改变特 征图大小的前提下获取多尺度、 多形状的空间特 征。 3.根据权利要求1所述的基于变形卷积选择分配网络的多源遥感影像场景识别方法， 其特征在于： 步骤2包括如下子步骤： 步骤2.1： 步骤1中的特征提取基础网络会通过卷积 ‑下采样操作来得到不同尺度的特 征图， 对这些特征图进行反向的上采样操作， 并与基础 网络中得到的相同尺度的特征图进 行拼接， 构成特 征金字塔的结构； 步骤2.2： 构建选择性分配融合模块； 针对异源特征输入XA和XB， 首先将两者相加， 得到 X； 之后利用全局平均池化以及多 个全连接层， 得到两个特征加权的注意力向量αA和αB； 将注 意力向量与原有的特征输入相乘得到加权后的特征输出X'A和X'B， 为不用的遥感数据分配 不同的融合权 重； 之后， 将两者相加得到融合增强后的特 征输出； 步骤2.3： 在步骤1构建的多尺度特征金字塔上引入选择性分配融合模块； 将不同类别 的遥感数据对应尺度的特 征作为输入， 得到融合后的多源多尺度特 征金字塔。 4.根据权利要求1所述的基于变形卷积选择分配网络的多源遥感影像场景识别方法， 其特征在于： 步骤3包括如下子步骤： 步骤3.1： 输入多源遥感训练影 像， 训练场景识别模型； 步骤3.2： 将模型输出的场景识别结果与先验标签进行比较， 计算他们之间的损失， 利 用TOLOv3的损失函数， 以最小化损失为目标， 优化网络参数， 并将训练好的场景识别模 型保 存。 5.根据权利要求4所述的基于变形卷积选择分配网络的多源遥感影像场景识别方法，权　利　要　求　书 1/2 页 2 CN 115331107 A 2其特征在于： 步骤3.1中模型的输出为S ×S×(A*(4+Class))维的特征， 具体含义为预测的 输入的影像中场景边界框的位置， 大小以及所包含的场景类别的概率； 其中S ×S为场景识 别模型预测的网络个数， A为特征金字塔中每一个尺度分支中每个网络对应的先验框的个 数， Class表示场景类别数。 6.根据权利要求1所述的基于变形卷积选择分配网络的多源遥感影像场景识别方法， 其特征在于： 步骤4包括如下子步骤： 步骤4.1： 采集并输入目标区域的多源遥感影像， 读取步骤3所保存的训练好的场景识 别模型， 预测得到场景的位置坐标及所属类别， 输出并显示多源遥感影 像场景识别结果。权　利　要　求　书 2/2 页 3 CN 115331107 A 3