(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210892609.9 (22)申请日 2022.07.27 (71)申请人 安徽大学 地址 230601 安徽省合肥市经济技 术开发 区九龙路1 11号 (72)发明人 焦林　李高强　陈鹏　梁栋　雷雨　 (74)专利代理 机构 合肥国和专利代理事务所 (普通合伙) 34131 专利代理师 张祥骞 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于自注意力机制的草莓病害图像识别方 法 (57)摘要 本发明涉及基于自注意力机制的草莓病害 图像识别方法， 与现有技术相比解决了草莓病害 图像难以识别的缺陷。 本发明包括以下步骤： 获 取草莓病害图像数据集并进行预处理； 构建草莓 病害分类识别模 型； 构建草莓病害自注意力机制 模块； 草莓病害分类识别模型的训练； 待识别草 莓病害图像的获得； 待识别草莓病害图像结果的 获得。 本发明解决现阶段草莓病害识别精度问 题， 使用数据增强处理草莓病害 图像， 并提出了 自注意力机制模块， 结合使用草莓病害分类识别 模型作为骨干网络加快草莓病害的识别速度与 准确度。 权利要求书3页 说明书9页 附图4页 CN 115019303 A 2022.09.06 CN 115019303 A 1.一种基于自注意力机制的草莓病害图像识别方法， 其特 征在于， 包括以下步骤： 11)获取草莓病害图像数据集并进行预处理： 获取草莓病害原图像， 并对其进行数据增 强， 得到增强后的草莓病害图像， 获得草莓病害图像数据集； 12)构建草莓病害分类识别模型： 对草莓病害分类识别模型进行构建， 其包括降维模 块、 采样模块和分类模块； 13)构建草莓病害自注意力机制模块： 草莓病害自注意力机制模块由窗口模块与滑动 窗口模块串联构成； 14)草莓病害分类识别模型的训练： 将草莓病害图像数据集输入草莓病害分类识别模 型进行训练； 15)待识别草莓病害图像的获得： 获得待识别的草莓病害图像， 并进行 预处理； 16)待识别草莓病害图像结果的获得： 将预处理后的待识别草莓病害图像输入训练后 的草莓病害分类识别模型， 得到草莓病害图像的识别结果。 2.根据权利要求1所述的基于自注意力 机制的草莓病 害图像识别方法， 其特征在于， 所 述获取草莓病害图像数据集并进行 预处理包括以下步骤： 21)针对获取到的草莓病害原图像的对比度与强度进行强化， 采用翻转方法进行数据 集数量上的增强； 22)采用cutout数据增强方法， 即对草莓病害图像中的一块正方形 区域通过0像素值填 充， 实现随机遮挡； 再对随机遮挡的草莓病害图像进 行中心归一化操作消除0值填充对训练 的影响； 23)对草莓病害图像融合增强， 其表达式如下： λ＝Beta( α, β ) mix_batc hx＝ λbatchx1+(1‑λ )batchx2， 其中， Beta表示贝塔分布， α、 β 是两个计算参数， λ是由参数α、 β 的贝塔分布计算出来的 混合系数， mix _batchx表示混合之后的草莓病害样本， batchx1是一批草莓病害样本， batchx2 是另外一批草莓病害样本； 24)输入草莓病害图像经 过预处理后， 输出草莓病害增强图像。 3.根据权利要求1所述的基于自注意力 机制的草莓病 害图像识别方法， 其特征在于， 所 述构建草莓病害分类识别模型包括以下步骤： 31)设定草莓病害分类识别模型包括降维模块、 采样模块和分类模块， 输入草莓病害增强图像， 通过大小为4 ×4的块分割， 输出草莓分割特征图； 对草莓分割 特征图首先通过降维模块输出降维后的草莓病害信息， 再通过三次采样模块输出层级式草 莓病害特征图， 最后将层级式草莓病害特征图通过分类模块进行分类识别输出草莓病害分 类识别信息； 32)设定降维模块， 降维模块包括 一个卷积层和一个自注意力机制模块； 设定卷积层由一个1 ×1的卷积构成， 用于草莓病害特征图的降维； 自注意力机制模块 由窗口模块与滑动窗口模块串联构成； 草莓分割特征图在进入降维模块后， 先通过一个1 ×1的卷积层得到草莓降维特征图， 随后输入草莓降维特 征图到自注意力机制模块中， 输出一层草莓病害信息； 33)设定采样模块， 设定采样模块有三个， 三个采样模块均相同；权　利　要　求　书 1/3 页 2 CN 115019303 A 2采样模块包括一个块拼接和一个自注意力 机制模块， 块拼接由草莓病 害信息的拼接和 1×1的卷积组成以实现对草莓病害 特征图的下采样， 草莓病害 特征信息的拼接将 每个2×2 的相邻像素划分为一个块， 然后将每个块中相同位置像素给拼在一起得到四个草莓拼接特 征图， 将这四个草莓拼接特征图在深度方向进行拼接， 再通过1 ×1的卷积输出草莓块拼接 特征图； 将草莓块拼接特征图输入到自注意力 机制模块中， 草莓块拼接特征图在通过三个采样 模块后， 输出层级式草莓病害特 征图； 34)设定分类模块， 分类模块包括一个LN标准化和全局平均池化组成， 采用LN标准化对提取到的层级式草 莓病害特征图经过平移缩放对特征数据进 行整体的标准化； 全局平均池化将层级式草莓病 害特征图中每个通道的二维图像做平均， 输出C ×1的特征矩阵， 特征矩阵乘上大小为t ×C 权重矩阵G得到草莓病害每一类的概率， 其中， 权重矩阵G通过训练得到， t是草莓病害类别 数， 最终通过分类模块输出草莓病害分类信息 。 4.根据权利要求1所述的基于自注意力 机制的草莓病 害图像识别方法， 其特征在于， 所 述构建自注意力机制模块包括以下步骤： 41)设定自注意力机制模块由窗口模块与滑动窗口模块串接构成； 42)设定窗口模块： 输入为初始特征图， 初始特征图为草莓降维特征图或草莓块拼接特 征图， 首先经过LN标准化， 再通过基于窗口自注意力机制输出窗口自注意特征图， 将初始特 征图与得到的窗口自注意特征图融合得到融合特征图， 将 融合特征图再经过LN标准化， 再 输入多层感知机模块中输出得到多层感知特征图， 将融合特征图与得到的多层感知特征图 再进行融合成最终输出窗口特 征图； 43)对窗口自注意力机制进行设定； 44)设定滑动窗口模块： 将窗口模块中的基于窗口的自注意力机制换成移动 窗口自注意力机制即得到滑动窗 口模块， 并将窗口模块的最终输出窗口特征图作为滑动窗口模块的输入， 输出一层草莓病 害信息或一层 层级式草莓病害特 征图； 45)设定移动窗口自注意力机制由窗口移动和设置蒙板组成， 首先输入窗口模块的最终输出窗口特征图， 窗口移动对其中的窗口进行向下移动一半 窗口的距离， 即窗口从左上角分别向右侧和下方各偏移了 得到移动窗口， 其中M是 窗口大小； 对于得到的移动 窗口采用窗口自注意力机制中的自注意力计算方法计算每个滑动窗 口的信息； 利用移位配置的方法， 通过设置蒙板来隔绝 不同区域的信息 。 5.根据权利要求1所述的基于自注意力 机制的草莓病 害图像识别方法， 其特征在于， 所 述草莓病害分类识别模型的训练包括以下步骤： 51)训练草莓病害分类识别模型： 511)将增强后的草莓病害图像输入草莓病 害分类识别 模型， 首先通过块分割将增强后 的草莓病害图像分成一个个块， 对于得到的分成块的草莓 分割特征图首先通过降维模块训权　利　要　求　书 2/3 页 3 CN 115019303 A 3