(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211004153.4 (22)申请日 2022.08.22 (71)申请人 安徽大学 地址 230601 安徽省合肥市经济技 术开发 区九龙路1 11号 (72)发明人 焦林　陈鹏　李高强　梁栋　雷雨　 (74)专利代理 机构 合肥国和专利代理事务所 (普通合伙) 34131 专利代理师 张祥骞 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 基于注意力融合因子特征金字塔的极小尺 度害虫图像 检测方法 (57)摘要 本发明涉及基于注意力融合因子特征金字 塔的极小尺度害虫图像检测方法， 与现有技术相 比解决了难以针对极小尺度害虫图像进行检测 的缺陷。 本发明包括以下步骤： 极小尺度害虫图 像数据的获取； 基于注意力融合因子特征金字塔 的构建； 害虫目标定位分类网络的构建； 基于注 意力融合因子特征金字塔与害虫目标定位分类 网络的联合训练； 待测极小尺度害虫图像的获 取； 极小尺度害虫图像的定位识别。 本发明提升 了对小尺度害虫图像的细 节特征提取的能力， 增 强了小尺度害虫的特 征表达能力。 权利要求书3页 说明书9页 附图2页 CN 115358993 A 2022.11.18 CN 115358993 A 1.一种基于注意力融合因子特征金字塔的极小尺度害虫图像检测方法， 其特征在于， 包括以下步骤： 11)极小尺度害虫图像数据的获取： 从获取的害虫图像数据中选择极小尺度害虫图像， 选取与所选害虫图像对应的极小尺度害虫目标坐标信息和类别标签； 12)基于注意力融合因子特 征金字塔的构建； 13)害虫目标定位分类网络的构建： 利用极小尺度害虫图像的细节特征信息构建一阶 段无锚框的害虫目标定位分类网络； 14)基于注意力融合因子特征金字塔与害虫目标定位分类网络的联合训练： 通过软加 权损失函数训练基于注意力融合因子特 征金字塔与害虫目标定位分类网络； 15)待测极小尺度害虫图像的获取： 获取待检测的极小尺度害虫图像； 16)极小尺度害虫图像的定位识别： 将待检测极小尺度害虫图像输入训练后的基于注 意力融合因子特征金字塔， 获取极小尺度害虫图像的细节特征信息； 将提取到的极小尺度 害虫图像的细节特征信息输入到训练后的害虫目标定位分类网络得到害虫目标 的类别和 对应的位置坐标， 并统计 每类害虫的数量。 2.根据权利要求1所述的基于注意力融合因子特征金字塔的极小尺度害虫图像检测方 法， 其特征在于， 所述基于注意力融合因子特 征金字塔的构建包括以下步骤： 21)设定多尺度害虫特征提取网络为深度残差网络， 用于强化害虫目标的特征表达能 力， 选择深度残差网络的4个残差块的输出特征图， 记为F1、 F2、 F3和F4， 作为基于注意力融合 因子特征金字塔的输入， 从中提取极小尺度害虫丰富的特 征信息； 22)将输入到基于注意力融合因子的特征金字塔网络的特征图F1、 F2、 F3和F4进行通道变 换， 采用1x1x256的卷积层， 输出的的害虫特征图的通道数量统一为256， 输出特征图分别为 F1'、 F2'、 F3'和F4'； 23)对输入到基于注意力融合因子的特征金字塔网络的特征图F4'做尺度变换， 采用双 线性插值方法将输入害虫特征图的进行2倍上采样， 输出 的特征图大小变为原来的2倍， 即 为F4”； 24)将上采样后的害虫 特征图F4”输入到注意力权 重生成模块， 注意力权重生成模块的第一层为卷积核大小为1 ×1的卷积层， 第二层为ReLU非线性激 活层， 第三层为卷积核大小为3 ×3卷积层， 进一步提取极小尺度害虫特征信息， 最后采用 sigmoid激活函数， 输出注意力权 重W； 25)将上采样后的害虫特征图F4”与输出的注意力权重W点乘后， 与步骤22)输出的通道 变换后的特征 图F3'通过对应位置点相加操作进行特征 图的融合， 输出具有注意力特征的 害虫特征图P1， 构成基于注意力融合因子特 征金字塔的第一层级； 26)将生成的基于注意力融合因子 特征金字塔的第一层害虫特征图P1作为输入， 执行步 骤23),输出特征图P1'； 将生成的特征金字塔第一层害虫特征P1作为输入， 执行步骤25),输 出注意力权重W',将特征图P1'与输出注意力权重W'进行点乘后， 与步骤22)输出的通道变 换后的特征 图F2'通过对应位置点相加操作进行特征图的融合， 输出具有注意力特征的害 虫特征图P2， 构成基于注意力融合因子特 征金字塔的第二层级； 27)将生成的特征金字塔第一层害虫特征图P2作为输入， 执行步骤23),输出特征图P2'； 将生成的特征金字塔第一层害虫特征P2作为输入， 执行步骤25),输出注意力权重W ”,将特权　利　要　求　书 1/3 页 2 CN 115358993 A 2征图P2'与输出注意力权重W ”进行点乘后， 与步骤22)输出的通道变换后的特征图F1'通过对 应位置点相加操作进行特征图的融合， 输出具有注意力特征的害虫特征 图P3， 构成基于注 意力融合因子特 征金字塔的第三层级； 28)最后经过以上步骤得到注意力特征的害虫特征图P1、 P2和P3， 构成了具有三层融合 注意力特 征图的特 征金字塔网络 。 3.根据权利要求1所述的基于注意力融合因子特征金字塔的极小尺度害虫图像检测方 法， 其特征在于， 所述害虫目标定位分类网络的构建包括以下步骤： 31)设定害虫目标定位分类网络为 一阶段无锚框的多类别害虫目标定位分类网络； 32)设定多类别害虫目标定位分类网络包括极小尺度害虫特征变换层、 极小尺度害虫 定位子网络和极小尺度害虫分类子网络； 33)设定极小尺度害虫特征变换层的输入为融合注意力的害虫特征图， 其采用256个3 ×3的卷积层， 对害虫 特征图做进一 步特征提取， 得到极小尺度害虫 特征信息； 34)设定极小尺度害虫定位子网络和极小尺度害虫分类子网络的输入均为极小尺度害 虫特征信息； 其中， 极小尺度害虫定位子网络采用1 ×1×4C的卷积层， 输出极小尺度害虫对应类别 的位置， 其中C为害虫类别数， 4表示害虫目标边界框的位置信息(l,r,t,b)， 其中变量l、 r、 t、 b分别是害虫中心点到边界框的左、 右、 上、 下边界的距离； 极小尺度害虫分类子网络采用1 ×1×C的卷积层， 输出极小尺度害虫对应的类别名。 4.根据权利要求1所述的基于注意力融合因子特征金字塔的极小尺度害虫图像检测方 法， 其特征在于， 所述基于注意力融合因子特征金字塔与害虫目标定位分类网络的联合训 练包括以下步骤： 41)正、 负训练样本的确定： 411)将具有坐标信息和类别标签的极小尺度害虫图像输入深度残差网络和基于注意 力融合因子特 征金字塔， 其中对应的坐标信息和类别标签表示为(x,y,w,h,l),(x,y)和(w,h)分别是害虫边界 框的中心点的坐标和长度、 宽度， l是小尺度害虫的类别标签； 分别通过深度残差网络和基于注意力融合因子特征金字塔后得到极小尺度害虫特征 图Pk， 其对应的步长为sk， 其中k＝1、 2、 3； 412)正样本区域的定义， 在害虫目标的真实标注框内定义一个有效正样本区域： 对中 心点为(x,y)的区域， 其正样本区域为(x ‑rsk,y‑rsk,x+rsk,y+rsk)， 其中r为区域超参数， 设 置为1.5， sk表示特征图步长； 413)极小尺度害虫 特征图映射： 将特征图Pk中每个位置(xi,yi)， 映射到原始害虫图像中， 得到位置(xo,yo)， 映射关系 为： 414)正、 负 样本点确定： 利用得到的正样本区域， 判断极小尺度害虫特征图中的样本点映射后的位置是否落入 正样本区域内， 若落入正样 本区域， 则对应的样本点为正样本， 且其类别标签为对应标注框权　利　要　求　书 2/3 页 3 CN 115358993 A 3