(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210935369.6 (22)申请日 2022.08.04 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市雁塔区太白南 路2号 申请人 南京认知物联网研究院有限公司 (72)发明人 王黎明　田隆　李宇飞　石昊南　 刘鹤辉　李国志　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 成丹　耿慧敏 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于上下文特征融合的工业品视觉检测方 法及检测器 (57)摘要 本发明涉及一种基于上下文特征融合的工 业品视觉检测方法及检测器， 属于工业产品光学 图像处理领域， 用于解决当前检测算法对产品进 行单独检测存在误判、 漏检情况， 而通过二次检 测会导致检测速度变慢， 对于特定缺陷检测又缺 乏普适性等问题。 本发明方法采用深度神经网络 并结合上下文信息来进行工业产品的表面缺陷 检测方法， 提高工业产品表面缺陷的检测速度和 准确度， 且具有良好 地普适性。 权利要求书2页 说明书8页 附图3页 CN 115546100 A 2022.12.30 CN 115546100 A 1.一种基于上下文特征融合的工业品视觉检测方法， 其特征在于， 所述方法包括下述 步骤： 获取待检测工业品表面的光学图像， 基于预设的第一深度神经网络进行特征提取， 获 得特征图像； 基于预设的第二深度神经网络， 对特征图像图进行缺陷检测， 获得缺陷类别及缺陷位 置； 基于预设的第 三深度神经网络， 对前后两张特征图像进行融合， 获得融合特征， 检测判 断融合图像中工业品的缺陷类别； 基于第二深度神经网络和第三深度神经网络的检测结果， 对边 缘缺陷进行分析判定； 所述上下文信息为将待检测产品表面的光学图像特征图的前一张图或后一张图的光 学图像特 征。 2.根据权利要求1所述的方法， 其特征在于， 所述第一深度神经网络由N个残差网络构 成， N为设定值； 所述第二深度神经网络采用单阶段目标检测算法， 在输出层使用全连接卷积层回归目 标框位置和所属的类别； 所述第三深度神经网络采用的是长短期记 忆网络。 3.根据权利要求1所述的方法， 其特征在于， 所述第 二深度神经网络在特征图上生成不 同尺寸的锚框， 并对每 个锚框做二分类， 输出M个建议检测框作为 缺陷位置； 对M个建议检测框进行目标多分类， 预测缺陷位置的具体缺陷类型。 4.根据权利要求1所述的方法， 其特征在于， 所述融合特征通过将两张相邻特征图的前 后端进行拼接， 并根据确定的上下文特征获取比例获取相邻两张图像数据的特征， 拼接的 前后端长度能够设置； 对于首张图， 使用随机生成的部分特 征进行拼接 。 5.根据权利要求1所述的方法， 其特征在于， 所述第三深度神经网络， 在训练时通过下 述损失函数 更新参数， 直至损失值小于第三设置阈值； 式中： Lcls()为目标二分类的损失函数； Pr和Pr*分别为预测目标的概率和真实标签值； 表示目标多分类的权 重系数。 6.根据权利要求1所述的方法， 其特征在于， 所述第 一深度神经网络与第 二深度神经网 络串联， 在训练时通过 下述损失函数同时更新各自参数， 直至损失值小于第二设置阈值； 式中： Lcls()为目标二分类的损失函数； Lreg()为边框回归定位的损失函数； Pr和Pr*分 别为预测目标的概率和真实标签值； tr＝(trx， try， trw， trh)， tr为第r个预测 框的位置的4个 位置坐标向量， trx、 try、 trw、 trh分别为第r个预测框的位置中心坐标和预测框的宽、 高；权　利　要　求　书 1/2 页 2 CN 115546100 A 2为第r个真实框的4个位置坐标向量， 分别为第r个真实框的位置中心坐标与真实框的宽和高； 和 分别为目标多分类与 和边框回归定位两个任务的权 重系数， λ为平衡参数。 7.根据权利要求1所述的方法， 其特 征在于， 所述对边 缘缺陷进行分析判定包括： 若第二深度神经网络判断边缘存在缺陷， 但第三深度神经网络判断边缘存在缺陷， 则 边缘处缺陷为真； 若第二深度神经网络判断边缘无缺陷， 但第三深度神经网络判断边缘存在缺陷， 则边 缘处缺陷为漏检； 若第二深度神经网络判断边缘存在缺陷， 但第三深度神经网络也判断边缘无缺陷， 则 边缘处缺陷为 误判； 若第二深度神经网络判断边缘无缺陷， 但第三深度神经网络判断边缘无缺陷， 则边缘 处缺陷为 假。 8.一种基于上下文特征融合的工业品视觉检测器， 其特征在于， 所述检测器包括第一 深度神经网络、 第二深度神经网络、 第三深度神经网络、 分析判定模块； 所述第一深度神经网络， 被配置用于对工业品表面光学图像进行特征提取， 获取特征 图像； 所述第二深度神经网络， 被配置用于对特征图像图进行缺陷检测， 获得缺陷类别及缺 陷位置； 所述第三深度神经网络， 被配置用于对前后两张特征图像进行融合， 获得融合特征， 检 测判断融合图像中工业品的缺陷类别； 所述分析判定模块， 被配置用于基于第 二深度神经网络和第 三深度神经网络的检测结 果对边缘缺陷进行分析判定； 所述上下文信息为将待检测产品表面的光学图像特征图的前一张图或后一张图的光 学图像特 征。 9.根据权利要求8所述的检测器， 其特征在于， 所述第一深度神经网络由N个残差网络 构成， N为设定值； 所述第二深度神经网络采用单阶段目标检测算法， 在输出层使用全连接 卷积层回归目标框位置和所属的类别； 所述第三深度神经网络采用的是长短期记 忆网络。 10.根据权利要求8所述的检测器， 其特 征在于， 所述对边 缘缺陷进行分析判定， 包括： 若第二深度神经网络判断边缘存在缺陷， 但第三深度神经网络判断边缘存在缺陷， 则 边缘处缺陷为真； 若第二深度神经网络判断边缘无缺陷， 但第三深度神经网络判断边缘存在缺陷， 则边 缘处缺陷为漏检； 若第二深度神经网络判断边缘存在缺陷， 但第三深度神经网络也判断边缘无缺陷， 则 边缘处缺陷为 误判； 若第二深度神经网络判断边缘无缺陷， 但第三深度神经网络判断边缘无缺陷， 则边缘 处缺陷为 假。权　利　要　求　书 2/2 页 3 CN 115546100 A 3