(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211056668.9 (22)申请日 2022.08.31 (71)申请人 重庆大学 地址 400044 重庆市沙坪坝区沙正 街174号 (72)发明人 张新征　罗雨晴　胡东　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 张乙山 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/46(2022.01) G06V 10/54(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于语义和纹理特征融合的SAR图像飞机目 标识别方法 (57)摘要 本发明具体涉及基于语义和纹理特征融合 的SAR图像飞机目标识别方法， 包括： 将待识别的 SAR图像输入训练后的目标识别模型， 输出对应 的目标识别预测值； 训练目标识别模型时： 首先 将包含若干个SAR图像的训练集输入目标识别模 型； 其次通过深度神经网络提取SAR图像的高层 语义特征； 同时提取SAR图像的纹理特征， 并构建 纹理特征矩阵； 然后融合高层语义特征和纹理特 征矩阵， 生成信息融合特征； 最后基于信息融合 特征进行预测， 生成目标识别预测值， 并基于目 标识别预测值完成模型训练。 本发 明能够将目标 纹理特征和深度学习网络得到的高层语义特征 结合， 进而能够提高模型的泛化能力和精度， 从 而能够提高SAR图像飞机目标识别的准确性和有 效性。 权利要求书2页 说明书10页 附图3页 CN 115471763 A 2022.12.13 CN 115471763 A 1.基于语义和纹 理特征融合的SAR图像飞机目标识别方法， 其特 征在于， 包括： S1： 获取待识别的SAR图像； S2： 将待识别的SAR图像输入训练后的目标识别模型， 输出对应的目标识别预测值； 训练目标识别 模型时， 首先将包含若干个SAR图像的训练集输入目标识别 模型； 其次通 过深度神经网络提取SAR图像的高层语义特征； 同时提取SAR图像的纹理特征， 并构建纹理 特征矩阵； 然后融合高层语义特征和纹理特征矩阵， 生成信息融合特征； 最后基于信息融合 特征进行预测， 生成目标识别预测值， 并基于目标识别预测值完成模型训练； S3： 基于目标识别模型输出的目标识别预测值实现待识别SAR图像的目标识别。 2.如权利要求1所述的基于语义和纹理特征融合的SAR图像飞机目标识别方法， 其特征 在于： 步骤S2中， 将ResNet34作为用于提取高层语义特 征的深度神经网络的主干网络 。 3.如权利要求2所述的基于语义和纹理特征融合的SAR图像飞机目标识别方法， 其特征 在于： 通过如下步骤提取高层语义特 征： S201： 将SAR图像输入卷积层， 输出 特征图F1； S202： 将特 征图F1输入注意力模块， 输出附加注意力的特 征图F2； S203： 将附加注意力的特征图F2输入堆叠残差层进行残差学习， 加深网络的深度， 得到 具有高层语义信息的特 征图F3作为高层语义特 征。 4.如权利要求3所述的基于语义和纹理特征融合的SAR图像飞机目标识别方法， 其特征 在于： 步骤S202中， 注意力模块包括 通道注意力模块和空间注意力模块； 将特征图F1作为通道注意力模块的输入： 首先特征图F1分别经过全局最大池化和全局 平均池化， 得到特征图F1， 1和F1， 2； 其次将特征图F1， 1和F1， 2分别送入神经网络， 并将输出的特 征图F1， 1′和F1， 2′进行基于单个元素的加和操作， 再经过sigmoi d激活操作得到通道特征图 F1′； 最后将通道特 征图F1′与特征图F1做乘法， 得到通道 注意力特 征F1CAM； 将通道注意力特征F1CAM作为空间注意力模块的输入： 首先通道注意力特征F1CAM分别经 过基于通道的全局最大池化和全局平均池化， 得到特征图F1， 1CAM和F1， 2CAM； 其次对特征图 F1， 1CAM和F1， 2CAM进行通道拼接， 得到通道拼接特征图； 然后将通道拼接特征图经过卷积操作 降维为1个通道， 再经过Sigmoid激活函数操作生成空间注意力特征F1SAM； 最后将空间注意 力特征F1SAM和通道注意力特 征F1CAM做乘法， 得到附加注意力的特 征图F2。 5.如权利要求3所述的基于语义和纹理特征融合的SAR图像飞机目标识别方法， 其特征 在于： 步骤S20 3中， 堆叠残差层由四个相连接的残差层组成。 6.如权利要求1所述的基于语义和纹理特征融合的SAR图像飞机目标识别方法， 其特征 在于： 步骤S2中， 通过如下步骤构建纹 理特征矩阵： S211： 在SAR图像上定义一个半径为R的圆形邻域窗口， 设圆形邻域窗口内有P个采样 点， 计算每 个采样点所对应 像素位置的坐标值并确定其像素 灰度值； S212： 以圆形邻域窗口内中心点所对应像素位置的像素灰度值为 阈值， 然后将P个采样 点的像素灰度值与阈值进行比较： 若大于阈值， 则该采样点所对应的像素位置被标记为1； 否则， 标记为0； S213： 通过步骤S212在圆形邻域窗口内获取P个二进制数， 然后将P个二进制数转换为 十进制数， 并作为圆形邻域窗口中心点所对应 像素位置的纹 理特征值； S214： 将圆形邻域窗口在SAR图像上滑动， 并重复步骤S211至S213， 以计算SAR图像上每权　利　要　求　书 1/2 页 2 CN 115471763 A 2个像素位置的纹 理特征值， 进而构成SAR图像的纹 理特征矩阵。 7.如权利要求6所述的基于语义和纹理特征融合的SAR图像飞机目标识别方法， 其特征 在于： 步骤S21 1中， 通过如下公式计算采样点的坐标值： 式中： (xp,yp),p∈P表示第p个采样点的坐标值； (xc,yc)表示圆形邻域窗口中心点的坐 标值； 如果(xp,yp)不在整数位置上， 则通过双线性差值确信采样点所对应像素位置的像素 值， 公式如下： 式中： f(x1,y1)、 f(x1,y2)、 f(x2,y1)、 f(x2,y2)分别表示SAR图像中与采样点所对应像素 位置最近邻的四个像素点的像素灰度值， 即x1‑x2＝1， y1‑y2＝1， u＝x ‑x1， v＝y‑y1分别表示 采样点位置到最近邻四个像素点构成的矩形的横向及纵向距离； i(xp,yp)表示坐标为(xp, yp)的采样点所对应 像素位置的像素 灰度值。 8.如权利要求7所述的基于语义和纹理特征融合的SAR图像飞机目标识别方法， 其特征 在于： 步骤S213中， 通过如下公式计算纹 理特征值： 式中： LBP(xc,yc)表示坐标为(xc,yc)的圆形邻域窗口中心点所对应像素位置的纹理特 征值； ic表示中心像素点(xc,yc)的灰度值； ip表示圆形邻域窗口内第p个采样点所对应像素 位置的像素 灰度值； s表示符号 函数。 9.如权利要求1所述的基于语义和纹理特征融合的SAR图像飞机目标识别方法， 其特征 在于： 步骤S2中， 分别将高层语义特征和纹理特征矩阵转换为向量； 然后将高层语义特征和 纹理特征对应的向量进行拼接， 得到一个新的特征向量； 最后将新的特征向量输入全连接 层进行信息融合， 进 而输出对应的信息融合特 征。 10.如权利要求9所述的基于语义和 纹理特征融合的SAR图像飞机目标识别方法， 其特 征在于： 步骤S2中， 将信息融合特征输入Softmax函数， 输出对应的目标识别预测值； 然后根 据预设的训练迭代次数和梯度下降批尺寸结合交叉熵损失函数完成模型训练。权　利　要　求　书 2/2 页 3 CN 115471763 A 3