(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210974701.X (22)申请日 2022.08.15 (71)申请人 南京信息 工程大学 地址 210000 江苏省南京市宁六路219号 (72)发明人 张晓帆　郑钰辉　 (74)专利代理 机构 北京众合诚成知识产权代理 有限公司 1 1246 专利代理师 陈国强 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于混合注意力机制的跨语义细粒度图像 分类方法 (57)摘要 本发明涉及图像处理技术领域， 具体是基于 混合注意力机制的跨语义细粒度图像 分类方法， 采用普通卷积网络提取原图像特征信息； 针对最 后一阶段和上一阶段特征图同时引入通道注意 力和空间注 意力对特征图进行注 意力激发， 将来 自L‑1阶段和L阶段的特征图组合以生成合并的 特征图； 通过全局最大池化 或全局平均池化聚合 特征图以获得相应的集合特征， 来自同一阶段的 融合特征被跨类别跨语义正则化相互约束， 同时 被送到全连接层生成逻辑值； 转换为类概率， 通 过跨层正则化对逻辑进行约束， 并组合用于分 类。 可以很好地解决子类别具有的类间相似度较 大和类内相似度较小的问题； 既可以考虑到同一 类别中不同图像 之间的联系， 又可以很容易地进 行端到端训练。 权利要求书2页 说明书5页 附图2页 CN 115359288 A 2022.11.18 CN 115359288 A 1.基于混合注意力机制的跨语义细粒度图像分类方法， 其特 征在于： 包括以下步骤： S1、 构造网络模型， 经 过骨干网络提取 特征； S2、 特征经过混合注意力模块， 获得双激励注意特 征图； S3、 来自同一激励模块的特征合并连入 同一全连接层， 并计算跨类别跨语义正则化和 跨层正则化； S4、 依据损失函数， 对深度网络模型进行训练； S5、 利用训练得到的深度卷积神经网络模型， 对各类细粒度数据集进行分类。 2.根据权利要求1所述的基于混合注意力机制的跨语义细粒度图像分类方法， 其特征 在于： S2中， 所述混合注意力模块包括 通道注意力机制模型和空间注意力机制模型。 3.根据权利要求2所述的基于混合注意力机制的跨语义细粒度图像分类方法， 其特征 在于： 所述构造通道 注意力机制模型步骤如下： S1、 图像特征同时经过全局平均池化和全局最大池化， 分别得到两种不同的空间语义 描述算子； S2、 将两种算子经 过一维卷积， 产生两个通道 注意力特 征向量； S3、 将产生的两个通道注意力特征向量使用相加方式进行融合， 最后通过激活函数， 得 到通道注意力向量。 4.根据权利要求2所述的基于混合注意力机制的跨语义细粒度图像分类方法， 其特征 在于： 所述构造空间注意力机制模型步骤如下： S1、 图像特征分别沿着水平和垂直两个方向进行池化， 得到两个嵌入后维度分别为C* H*1和C*1*W的信息特 征图； S2、 沿着空间维度拼接， 并通过1*1卷积和sigmo id激活得到 两方向注意力向量； S3、 最后对原特 征进行重校准， 得到空间注意力向量。 5.根据权利要求1所述的基于混合注意力机制的跨语义细粒度图像分类方法， 其特征 在于： S3中， 所述 跨类别跨语义 正则化计算 步骤如下： S1、 将特征值Up通过池化得到fp； S2、 fp通过L2正则化， 并计算相关性和得到相关矩阵S； S3、 利用来自不同图像的特征与来自不同激励块的特征之间的关系来鼓励在不同语义 部分的激活模块； S4、 通过最大化同一激励模块内的相关性， 以及最小化不同激励模块之间的相关性来 优化该正则化器。 6.根据权利要求1所述的基于混合注意力机制的跨语义细粒度图像分类方法， 其特征 在于： S3中， 所述 跨层正则化计算 步骤如下： S1、 利用特 征金字塔网络合并不同层之间的特 征数据； S2、 通过跨层损失函数匹配不同层之间的预测分布， 来学习鲁棒 性特征； LCL(PrL,PrL‑1)＝KL(PrL||PrL‑1)。权　利　要　求　书 1/2 页 2 CN 115359288 A 27.根据权利要求1所述的基于混合注意力机制的跨语义细粒度图像分类方法， 其特征 在于： 对一张图像进行分类预测计算 步骤如下： S1、 输入一张图像进入骨干网络进行第L ‑1阶段和第L阶段 特征提取， 分别记作U1和U2； S2、 分别对U1和U2引入通道注意力和空间注意力来提取语义信息显著性特征， 记为 S1,1,S1,2和S2,1,S2,2； S3、 将来自同一激励块的注意特 征融合； S4、 将特征及融合后的特征分别经过全局平均池化或全局最大池化后拼接在一起， 得 到特征F， 同时通过跨类别跨语义 正则化器， 计算C3S损失函数； S5、 特征F经过全连接层后送入softmax分类 器， 同时计算 跨层正则化CL； S6、 通过梯度反向传播优化损失函数， 优化模型。权　利　要　求　书 2/2 页 3 CN 115359288 A 3