(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210964797.1 (22)申请日 2022.08.11 (71)申请人 淮阴工学院 地址 223000 江苏省淮安市经济技 术开发 区枚乘东路1号 (72)发明人 陈晓兵　张冰莹　康丽　包涵　 张润　周冬冬　郭舒心　 (74)专利代理 机构 淮安市科文知识产权事务所 32223 专利代理师 吴晶晶 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进YOLOv5的化工生产过程中安全防 护品佩戴检测方法 (57)摘要 本发明公开了一种基于改进YOLOv5的化工 安全防护品佩戴检测方法， 获取训练图像， 使用 MixUp算法对安全帽图像数据和口罩图像数据进 行加权融合， 得到更多存在双目标的训练图像； 搭建包含注意力机制NAM模块和Encoder结构的 改进的YOLOv5网络模型， 在骨干网络中插入注意 力机制NAM模型， 在颈部模块添加了改进的 Encoder结构； 将训练数据集和测试数据集输入 到改进的YOLOv5网络模型中， 进行优化训练， 得 到改进的安全防护品佩戴检测模 型； 将待检测图 像数据集输入 上述模型， 得到待检测图像中的安 全防护品的检测结果。 与现有技术相比， 本发明 充分优化了网络模型的特征提取能力， 有效地提 高了小目标检测的精确度， 提高了化工生产过程 中安全防护品佩戴检测的准确性。 权利要求书3页 说明书7页 附图2页 CN 115205604 A 2022.10.18 CN 115205604 A 1.一种基于改进YOLOv5的化工安全防护品佩戴检测方法， 其特 征在于， 包括以下步骤： 步骤1： 获取训练图像并进行预处理， 使用MixUp数据增 强算法对安全帽图像数据和口 罩图像数据进行加权融合， 得到更多存在双目标的训练图像， 按比例分配得到训练数据集 D1和测试数据集D2； 步骤2： 搭建包 含注意力机制NAM模块和Encoder结构的改进的YOLOv5网络模型； 步骤3： 搭将训练数据 集D1和测试数据 集D2输入改进的YOLOv5网络模型中， 对网络进行 训练与测试， 得到改进的安全防护品佩戴检测模型Mod； 步骤4： 搭将待检测图像输入 模型Mod中， 得到待检测图像中的安全防护品的检测结果。 2.根据权利要求1所述的基于改进YOLOv5的化工安全防护 品佩戴检测方法， 其特征在 于， 所述步骤1中获取训练图像并进行 预处理具体包括以下步骤： 步骤1.1： 通过化工厂的监控图像和公共数据集获取安全防护品佩戴情况的图像， 其中 安全防护品包括 安全帽和口罩； 步骤1.2： 对得到的图像进行筛选， 选取安全防护品佩戴图像， 包括不同场景、 光线、 遮 挡和多目标情况 下的图片， 并且删除错 误图片； 步骤1.3： 对筛选后的图像进行归一化处理， 将图像按照统一规定命名， 统一图像为RGB 三通道彩色图， 统一图像尺寸； 步骤1.4： 利用L abelImg工具对图像进行手动标注， 标注图像中安全帽和口罩的位置和 类别， 并生成XML标签文件。 3.根据权利要求2所述的基于改进YOLOv5的化工安全防护 品佩戴检测方法， 其特征在 于， 所述步骤1中使用MixUp算法对安全帽图像数据和口罩图像数据进行加权融合具体包 括： 步骤1.5： 通过MixUp数据增强算法随机对一张佩戴口罩的图像和一张佩戴安全帽的图 像初始图像进行加权处 理， 得到更多的同时存在安全帽和口罩的图像数据； 步骤1.6： 加权融合公式如下： 其中， 表示新生 成的同时存在安全帽和口罩类别的图像数据， xa表示随机一张佩戴 口罩的图像， xb表示随机一张佩戴安全帽的图像， λ是MixUp方法的权值， 取值范围为λ∈ [0.4， 0.6]； 步骤1.7： 将数据增强后的数据集按照8∶2的比例划分， 得到训练数据集D1和测试数据 集D2。 4.根据权利要求1所述的基于改进YOLOv5的化工安全防护 品佩戴检测方法， 其特征在 于， 所述步骤2改进的YOLOv5网络模型包括以下 结构： 改进的YOLOv5网络主 要包括改进的Backbo ne模块、 改进的Neck模块和Head模块； 所述改进的Backbone模块包括Focus模块、 CSP模块、 SPP模块和注意力机制NAM模块； Focus模块首先把输入的安全防护品佩戴图片进行切片处理， 然后进行Concat操作， 再对切 片后的图像进行卷积操作， 得到304 ×304大小的初始特征图， CSP模块由卷积块和若干个残 差结构组成， 对网络中的梯度信息进行优化， 通过在特征图中融合梯度信息降低网络的参 数量， SPP模块用于特征提取， 使用三个不同卷积核对CSP中输出的特征图进 行下采样， 得到 三个特征图， 再进行Concat操作， 最后将融合后的特征图进 行卷积操作； 在CSP模块和SPP模权　利　要　求　书 1/3 页 2 CN 115205604 A 2块后均插入注意力机制NAM模块， 通过使用BN的缩放因子来表示权值的重要程度， NAM模块 主要包括通道注意力模块和空间注意力模块； 改进的Neck模块主要包括FPN模块和PAN模块， FPN模块自上而下的对特征 图进行上采 样操作， 增大特征图， 将得到的特征图与CSP模块中输出的特征图进行Concat操作， PA N模块 自下而上的对特征图进 行下采样操作， 缩小 特征图， 将得到的特征图与FPN模块中输出的特 征图进行Concat操作， 在每个输出后插入改进的Enco der结构， Enco der结构的输出特征图 和FPN模块的输出 特征图进行Co ncat操作， 进一 步的提取 更多的特 征信息； 改进的Encoder结构， 首先对输入 的特征图进行展平操作， 将特征图展平为一个序列， 对该序列进行Positional  Encoding操作， 用于对图像区域进行位置编码， 得到位置序列X， 接着是一个Multi ‑Head Attention层， 将Position al Encoding操作的输出和Multi ‑Head  Attention层的输出进 行Add操作， 再对输出的特征矩阵进 行归一化处理并输入多层感知器 中， 将多层感知器的输出和Add操作的输出再一次进行Add操作， 最后对输出的特征矩阵进 行归一化处理和Rear range操作， 使改进的Encoder结构的输出符合Head模块的输入要求； 将上述修改后的模块和结构按照YOLOv5的网络形式进行堆叠， 得到包含注意力机制 NAM模块和Encoder结构的改进的YOLOv5网络模型。 5.根据权利要求4所述的基于改进YOLOv5的化工安全防护 品佩戴检测方法， 其特征在 于， 所述注意力机制NAM模块通过使用BN的缩放因子来表 示权值的重要程度， BN缩放因子公 式如下： 其中， μB表示mini ‑batchB中的某个特征图的平均值， σB表示mini ‑batchB中的某个特征 图的标准差， γ和β 均通过反向传播训练更新的变换参数， Bout和Bin表示输出和输入的信息 。 所述通道注意力模块通过利用网络训练过程中的权重信 息来突出显著特征， 其公式如 下所示： Mc＝sigmoid(Wγ(BN(F)))， 其中Mc表示输出特征， F表示输入的特征， γ是每个通道的权重因子， Wγ权重的计算公式 为： 所述空间注意力模块通过应用BN缩放因子对像素的重要性进行判断， 其公式如下所 示： Ms＝sigmoid(Wδ(BNs(F)))， 其中， Ms表示输出特征， F表示输入的特征， δ是每个通道的权重因子， Wδ权重的计算公式 为： 6.根据权利要求5所述的基于改进YOLOv5的化工安全防护 品佩戴检测方法， 其特征在 于， 对不显著的权 重进行抑制， 在损失函数中添加了正则化， 其公式如下 所示： Loss＝∑(x， y)l(f(x， W)， y)+p∑g(γ)+p∑g( δ )， 其中x、 y分别表示输入和输出， W表示网络中的权重， l为损失函数， g表示范数惩罚函 数， p是g(γ)和g( δ )的权值。 7.根据权利要求4所述的基于改进YOLOv5的化工安全防护 品佩戴检测方法， 其特征在权　利　要　求　书 2/3 页 3 CN 115205604 A 3