(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210893505.X (22)申请日 2022.07.27 (71)申请人 上海大风实验室 设备有限公司 地址 201617 上海市松江区玉佳西路6 6号- 2 (72)发明人 孙可芯　张朋　张洁　 (74)专利代理 机构 深圳运赢知识产权代理事务 所(普通合伙) 44771 专利代理师 王倩斐 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于视觉智能的中考实验评分方法 (57)摘要 本申请涉及一种基于视觉智能的中考实验 评分方法， 属于计算机视觉和智慧教育领域， 本 申请可实现计算机快速准确地评判考试实验操 作的得分， 针对实验场景的检测难点， 发明了基 于Yolo v3改进的G ‑Yolo v3智能目标检测模型； 首先， 通过使用密集残差网络替代原始Yolo  v3 的深度残差网络进行特征提取， 解决了特征传递 过程中梯度消失的问题； 其次， 通过对原始模型 增加特征提取尺度， 加强了局部细 节和全局 信息 的联系与学习； 最后， 使用GHM ‑CLoss函数替换 Yolo v3的交叉熵损失函数计算模型的分类损 失， 解决了数据集难易样本不均衡的问题。 该模 型在速度和检测精度方面达到了很好的平衡， 降 低错检以及漏检的情况， 适用于中考实验场景的 实时高精度检测。 权利要求书2页 说明书7页 附图7页 CN 115424005 A 2022.12.02 CN 115424005 A 1.一种基于 视觉智能的中考实验评分方法， 其特 征在于， 包括如下步骤： 步骤1： 划分实验步骤， 形成评分机制， 确定得分点并找出对应关键判断特 征； 步骤2： 采集每 个关键特 征对应的图像， 制作图像集； 步骤3： 对图像集中的图片进行 预处理以及数据增强， 扩大图像集 容量； 步骤4： 遍历图像集， 使用图像标注软件对每张图像中的关键得分特征进行标注， 将标 注目标的位置和类别 信息保存起 来， 制得数据集并划分为实验图像训练集和 测试集； 步骤5： 以Yo lo v3模型为基础， 构建视 觉智能检测模型G ‑Yolo v3模型； 步骤6： 采用聚类算法对制作的数据集中的目标框的高和宽进行聚类， 获得更适合的先 验框尺寸； 步骤7： 使用实验图像训练集对视觉检测模型G ‑Yolo v3进行训练， 训练周期共300代， 得到最终的模型； 步骤8： 使用实验图像测试集对视 觉检测模型G ‑Yolo v3进行性能测试； 步骤9： 将改进后的视 觉检测模型G ‑Yolo v3与原始Yolo v3进行性能对比； 步骤10： 使用摄像头拍摄学生实验考试过程， 通过视觉检测模型G ‑Yolo v3识别关键得 分特征并反馈位置信息； 步骤11： 根据实验得分要求和视觉检测模型G ‑Yolo v3反馈的关键特征类别及位置信 息， 通过已建立的评分机制对考 生判断得分。 2.根据权利要求1所述的一种基于视觉智能的中考实验评分方法， 其特征在于， 步骤1 中形成评分机制的具体方法为： 评分机制分为静态单目标检测和动态多目标组合识别两种判定方式， 静态单目标检测 是指视野内出现关键特征即判定得分； 动态多目标 组合识别则是视野内同时出现多个关键 特征， 通过视觉检测模 型G‑Yolo v3反馈其相对位置关系并计算判断是否 符合要求， 从而判 定得分。 3.根据权利要求2所述的一种基于视觉智能的中考实验评分方法， 其特征在于， 所述步 骤5中构建 G‑Yolo v3模型的方法为： S51、 构建G ‑Yolo v3模型的特征提取层， 使用密集卷积网络DenseNet替代原始 Darknet‑53的深度残差网络ResNet； S52、 构建G ‑Yolo v3模型的检测输出层， 在原始Yolo  v3检测输出层上增加第四个特征 提取尺度； S53、 构建G ‑Yolo v3模型的损失函数， 具体为使用GHM ‑CLoss函数计算模型的分类损 失， 替换原 始Yolo v3的二值交叉熵损失计算方式。 4.根据权利要求3所述的一种基于视觉智能的中考实验评分方法， 其特征在于， 所述步 骤5中构建 G‑Yolo v3模型的方法为： S51的步骤为： 使用Dense层替代原始Yolo  v3的Residual层， 通过直接连接所有非线性变换层， 并使 每一残差层拼接之前所有层的输入， 而后传递输出 的特征给之后的所有层， 加强特征 的融 合与传递； S52的步骤为： 对Yolo v3原始52x52尺度层融合后的特 征连接上采样层；权　利　要　求　书 1/2 页 2 CN 115424005 A 2与浅层网络特 征拼接， 形成第4个特 征尺度， 输出的特 征尺度由52x52提升 至104x104； 通过route层将第109层与特 征提取网络的第1 1层特征进行特征融合； S53中损失函数计算公式为： 式中p为模型输出类别概率、 p*是真实值标签， 取值为0或1、 系数βi由样本的梯度密度确 定、 LCE为二值交叉熵损失函数， 计算公式如下： LCE＝‑[p*log(p)+(1 ‑p*)log(1‑p)]， psigmo id(x)。 5.根据权利要求4所述的一种基于视觉智能的中考实验评分方法， 其特征在于， 所述步 骤6中采用聚类算法对制作的数据集目标框 重聚类的具体方法为： 读取已标注好的数据集， 随机取出其中一个图片的宽度和高度值形成坐标点并作为初 始聚类中心， 再使用K ‑means算法聚类出十二个avg  IOU （样本框与anchors  boxs的交并比 平均值） 最高值对应的先验框尺寸。 6.根据权利要求5所述的一种基于视觉智能的中考实验评分方法， 其特征在于， 所述步 骤7中训练模型的具体方法为： 训练的样本批尺寸设定为16， 每10次迭代更新1次权重， 训练共200个迭代周期， 训练的 初始学习率设为0.0 01， 学习率调整采用epoc h‑decay策略， 随迭代周期下降。 7.根据权利要求6所述的一种基于视觉智能的中考实验评分方法， 其特征在于， 所述步 骤9中模型性能对比的具体步骤为： 采用平均精度均值mAP， 识别速度作为性能评价指标， 观察测试集上两种模型的整体检 测能力； 观察两种模型在同一测试集下 的PR曲线； 对比在复杂图像上两种模型的目标检测 情况， 对比复杂特 征类别测试的具体mAP值， 进一 步比较模型的检测性能。 8.根据权利要求7所述的一种基于视觉智能的中考实验评分方法， 其特征在于， 还包括 记录学生实验规范以及不规范 的图像， 将实验规范 的图片制作成规范图集， 将实验不规范 的图片制作成不 规范图集。 9.根据权利要求8所述的一种基于视觉智能的中考实验评分方法， 其特征在于， 将规范 图集以及不 规范图集发生给老师以及学生的智能终端。 10.根据权利要求9所述的一种基于视觉智能的中考实验评分方法， 其特征在于， 所述 智能终端至少为手机、 笔记本电脑或平板电脑中的一种。权　利　要　求　书 2/2 页 3 CN 115424005 A 3