(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210810141.4 (22)申请日 2022.07.11 (71)申请人 心鉴智控 （深圳） 科技有限公司 地址 518000 广东省深圳市福田区华强北 街道福强社区振华路中电迪富大厦4 层 (72)发明人 任杰　 (74)专利代理 机构 深圳汉林汇融知识产权代理 事务所(普通 合伙) 44850 专利代理师 吴洪波 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 镜片瑕疵检测方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及镜片检测领域， 公开了一种镜片 瑕疵检测方法、 装置、 设备及存储介质， 用于提高 镜片瑕疵检测的准确率。 所述镜片瑕疵检测方法 包括： 控制点光源、 待检测镜片和图像采集终端 之间的距离， 并调整图像采集终端中的光圈开口 大小以使待检测镜片小孔 成像， 得到待检测镜片 对应的目标图像； 将目标图像输入镜片瑕疵检测 模型； 通过特征提取网络对目标图像进行图像特 征提取， 得到深层图像特征和浅层图像特征； 通 过特征融合网络对深层图像特征和浅层图像特 征进行融合并构建图像特征金字塔， 得到瑕疵图 像特征； 通过瑕疵检测网络对瑕疵图像特征进行 瑕疵分类预测和瑕疵位置预测， 得到瑕疵检测结 果。 权利要求书2页 说明书11页 附图4页 CN 115082416 A 2022.09.20 CN 115082416 A 1.一种镜片瑕疵检测方法， 其特 征在于， 所述镜片瑕疵检测方法包括： 控制预置的点光源、 待检测镜片和预置的图像采集终端之间的距离， 并调整所述图像 采集终端中的光圈开口大小以使 所述待检测镜片小孔成像， 得到所述待检测镜片对应的目 标图像； 将所述目标图像输入预置的镜片瑕疵检测模型中， 其中， 所述镜片瑕疵检测模型包括： 特征提取网络、 特 征融合网络和瑕疵检测网络； 通过所述特征提取网络对所述目标图像进行图像特征提取， 得到所述目标图像对应的 深层图像特 征和浅层图像特 征； 通过所述特征融合网络对所述深层图像特征和所述浅层图像特征进行融合， 并基于所 述浅层图像特征中的位置信息和所述深层图像特征中的语义信息构建图像特征金字塔， 得 到瑕疵图像特 征； 通过所述瑕疵检测网络对所述瑕疵图像特征进行瑕疵分类预测和瑕疵位置预测， 得到 所述待检测镜片对应的瑕疵检测结果。 2.根据权利要求1所述的镜片瑕疵检测方法， 其特征在于， 所述镜片瑕疵检测方法还包 括： 从预置的数据库中获取镜片瑕疵图像， 以及获取深度学习网络， 其中， 所述镜片瑕疵图 像中带有瑕疵位置和瑕疵类型的标注信息； 将所述镜片瑕疵图像输入所述深度 学习网络进行网络训练， 得到所述深度学习网络对 应的样本预测结果； 根据所述样本预测结果和所述标注信 息对所述深度 学习网络进行参数调整， 直至所述 深度学习网络收敛， 得到 镜片瑕疵检测模型。 3.根据权利要求2所述的镜片瑕疵检测方法， 其特征在于， 所述将所述镜片瑕疵图像输 入所述深度学习网络进行网络训练， 得到所述深度学习网络对应的样本预测结果， 包括： 对所述深度学习网络进行网络参数初始化； 基于预置的随机图像裁剪算法对所述镜片瑕疵图像进行预处理， 得到预处理后的镜片 瑕疵图像； 将预处理后的镜片瑕疵图像输入所述深度学习网络中， 得到图像特 征； 对图像特征进行下采样和特征融合， 并对镜片瑕疵图像的类别和位置信 息进行逻辑 回 归预测， 得到样本预测结果。 4.根据权利要求2所述的镜片瑕疵检测方法， 其特征在于， 所述根据所述样本预测结果 和所述标注信息对所述深度学习网络进行参数调整， 直至所述深度学习网络 收敛， 得到镜 片瑕疵检测模型， 包括： 根据所述标注信息和所述样本预测结果并通过预置的侧重损失函数计算整体网络损 失， 其中， 所述整体网络损失包括初步提取框的位置损失、 最终预测瑕疵框的位置损失以及 最终预测瑕疵框的分类损失； 根据所述整体网络损失并采用反 向传播算法和梯度 下降算法依次更新网络参数， 并对 所述深度学习网络进行迭代计算， 直至所述深度学习网络收敛， 得到 镜片瑕疵检测模型。 5.根据权利要求2所述的镜片瑕疵检测方法， 其特征在于， 所述镜片瑕疵检测方法还包 括：权　利　要　求　书 1/2 页 2 CN 115082416 A 2对所述镜片瑕疵图像进行筛选过滤， 并去除无效镜片瑕疵图像， 其中， 所述无效镜片瑕 疵图像包括镜片错 位图像、 镜片缺失图像和镜片种类错 误图像； 标注所述镜片瑕疵图像中的镜片瑕疵的位置信息和镜片瑕疵的类别 信息。 6.根据权利要求1所述的镜片瑕疵检测方法， 其特征在于， 所述通过所述特征融合网络 对所述深层图像特征和所述浅层图像特征进 行融合， 并基于所述浅层图像特征中的位置信 息和所述深层图像特 征中的语义信息构建图像特 征金字塔， 得到 瑕疵图像特 征， 包括： 通过所述特征融合网络对所述深层图像特征和所述浅层图像特征进行融合， 其中， 所 述特征融合网络包括： 自底向上的链路、 自顶向下的链路和横向连接的旁路； 通过所述自底向上的链路对所述深层图像特征和所述浅层图像特征构建图像特征金 字塔； 通过所述自顶向下的链路中的双线性插值进行采样并将高层图像特征图转换为和前 一层图像特 征尺度相同大小的图像特 征； 通过所述横向连接的旁路进行图像特 征融合并添加卷积， 输出瑕疵图像特 征。 7.根据权利要求1 ‑6中任一项所述的镜片瑕疵检测方法， 其特征在于， 所述通过所述瑕 疵检测网络对所述瑕疵图像特征进行瑕疵分类预测和瑕疵位置预测， 得到所述待检测镜片 对应的瑕疵检测结果， 包括： 通过所述瑕疵检测网络对所述瑕疵图像特征进行瑕疵分类预测和瑕疵位置预测， 其 中， 所述瑕疵检测网络包括： 区域 候选框网络和分类 器， 所述分类 器包括两层全连接层； 基于所述两层全连接层和所述 区域候选框网络对所述瑕疵图像特征进行特征处理， 得 到所述待检测镜片对应的瑕疵检测结果。 8.一种镜片瑕疵检测装置， 其特 征在于， 所述镜片瑕疵检测装置包括： 采集模块， 用于控制预置的点光源、 待检测镜片和预置的图像采集终端之间的距离， 并 调整所述图像采集终端中的光圈开口大小以使 所述待检测镜片小孔成像， 得到所述待检测 镜片对应的目标图像； 输入模块， 用于将所述目标图像输入预置的镜片瑕疵检测模型中， 其中， 所述镜片瑕疵 检测模型包括： 特 征提取网络、 特 征融合网络和瑕疵检测网络； 提取模块， 用于通过所述特征提取网络对所述目标图像进行图像特征提取， 得到所述 目标图像对应的深层图像特 征和浅层图像特 征； 融合模块， 用于通过所述特征融合网络对所述深层图像特征和所述浅层图像特征进行 融合， 并基于所述浅层图像特征中的位置信息和所述深层图像特征中的语义信息构建图像 特征金字塔， 得到 瑕疵图像特 征； 预测模块， 用于通过所述瑕疵检测网络对所述瑕疵图像特征进行瑕疵分类预测和瑕疵 位置预测， 得到所述待检测镜片对应的瑕疵检测结果。 9.一种镜片瑕疵检测设备， 其特征在于， 所述镜片瑕疵检测设备包括： 存储器和至少一 个处理器， 所述存 储器中存 储有指令； 所述至少一个处理器调用所述存储器中的所述指令， 以使得所述镜片瑕疵检测设备执 行如权利要求1 ‑7中任一项所述的镜片瑕疵检测方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储有指令， 其特征在于， 所述指令被处 理器执行时实现如权利要求1 ‑7中任一项所述的镜片瑕疵检测方法。权　利　要　求　书 2/2 页 3 CN 115082416 A 3