(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211045106.4 (22)申请日 2022.08.25 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 申请人 中电数据服 务有限公司 (72)发明人 周晓飞　江岱阳　张继勇　李世锋　 周振　何帆　 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于交互式特征和级联特征的钢铁表面缺 陷检测方法 (57)摘要 本发明涉及基于交互式特征和级联特征的 钢铁表面缺陷检测方法， 包括深度特征提取网 络、 深度特征融合网络和显著性预测 网络。 模型 的输入是经扩增后的SD ‑saliency ‑900数据集。 首先以级联的方式部署多分辨率的两个卷积分 支(即高/低)级联特征集成(CFI)单元融合了来 自多分辨率 分支的最后一个卷积块的深度特征， 得到增强的高级深度语义特征， 并传递给解码 器， 在编码器部分， 还部署 了另一个连接， 将相邻 编码器级别的特征转移到解码器的同一阶段。 本 发明方法提供的网络模型可以充分有效地利用 空间信息来生成高质量的显著性图， 能够较好地 突出缺陷。 权利要求书3页 说明书6页 附图2页 CN 115359019 A 2022.11.18 CN 115359019 A 1.基于交 互式特征和级联 特征的钢铁表面 缺陷检测方法， 其特 征在于： 包括以下步骤： 步骤一、 深度特征的提取： 构建深度特征提取网络， 采用高/低两个卷积分支提取深度 特征 所用的提取分支基于ResNet ‑34模型构建； 步骤二、 深度特 征的融合： 采用了特 征集成单 元融合两个分支的高级深层特 征 步骤三、 显著性预测； 步骤四、 深度特征提取网络、 深度特征融合网络和显著性预测网络以端到端的方式联 合训练。 2.根据权利要求1所述的一种基于交互式特征和级联特征的钢铁表面缺陷检测方法， 其特征在于： 所述 步骤一具体包括： 使用Res‑Net34来构建高分辨 率的卷积分支， ResNet‑34的“conv1”中的卷积层kernel  size＝7×7,channel＝64， stride＝2， 被3×3的卷积层channel＝64， stride＝1所取代， 同时丢弃 “conv1”后的最大池化层， 结合“conv2_x”， 构建了一个新的卷积块conv ‑E1， 三个卷积块Conv ‑Ei(i＝2,3,4)直接利用 Res‑Net34的三个残差学习块 “conv3_x”、“conv4_x”和“conv5_x”， 依次采用最大池化层和 两个卷积块Conv ‑Ei(i＝5,6)， 其中每个卷积块由三个基本残差块channel＝512组成， 对于 低分辨率的卷积分支， 先在卷积层之前使用了一个最大池化层str ide＝4， 后使用四个卷积 块， 即Conv‑Ei(i＝1,2,3,4)。 3.根据权利要求1所述的一种基于交互式特征和级联特征的钢铁表面缺陷检测方法， 其特征在于： 所述 步骤二具体包括： 通过串联和卷积操作， 将 高、 低分辨率分支的两个深度特征 结合起来， 可写 成： 其中 为初始集成特征， [ ·,·]表示连接操作， 表示卷积 块Conv‑C1， 其中包含一 个卷积层kernel  size＝3×3， stride＝1， c hannel＝512， 扩大编码器的接受域， 部署一个卷积块Conv ‑B， 用hB表示， 其中包含三个扩展的卷积层 kernel size＝3×3、 stride＝1、 padding＝2、 channel＝512、 三个批归一化层(BN)层和三 个ReLU层， 得到 丰富的高级深层语义特 征FD， 如下： 编码器可提供多尺度的深度特 征 4.根据权利要求1所述的一种基于交互式特征和级联特征的钢铁表面缺陷检测方法， 其特征在于： 所述 步骤三具体包括： 每个解码器块集成来自相应的编码器块的特征、 来自相邻的编码器块的特征以及来自 其先前的解码器 块的输出， 对 于每个解码器块Conv‑Di， 其输入 不仅包含先前解码器 块 的输出， 还包括来自当前级编码器块的Conv ‑Ei和相邻级别的编码器块即Conv ‑E(i‑ 1)和Conv‑E(i+1， 可以得到第i个解码器块Co nv‑Di的输入如下：权　利　要　求　书 1/3 页 2 CN 115359019 A 2其中u×2(·)和d×0.5(·)表示上采样和下采样 操作采样率 ＝2,0.5， 利用生成的初始融合深度特征 将它们分别传递给相应的解码器块， 被定 义为 可得到6个层次的深度特征 在整个网络中引入深度监督， 以优化显著性预 测， 得到 将所有解码器块的显著性预测 结合， 得到最终的显著性预测S。 5.根据权利要求1所述的一种基于交互式特征和级联特征的钢铁表面缺陷检测方法， 其特征在于： 所述 步骤四具体包括： 在训练阶段， 编码器的部分参数用ResNet ‑34初始化， 其余参数用Xavier初始化采用 Adam优化器对模型进行训练其中初始学习率、 betas、 eps和权值衰减分别设置 为10‑3、 (0.9、 0.999)、 10‑8和0， 选择公共条带钢数据集SD ‑saliency ‑900作为数据集， 以验证模型的有效性。 SD ‑ saliency ‑900包括3种带钢表面缺陷， 包括包含、 补丁和划痕， 每种缺陷有300张图像， 200 × 200分辨率， 从而生 成了包含1620张图像的训练集， 从初始训练集中每种类型的缺陷中选择 图像， 并加入盐和胡椒噪声ρ ＝20％， 生成噪声干扰训练集， 将初始训练集和噪声干扰训练 集结合起来， 得到最 终训练集， 执行水平翻转来增强训练集， 在训练阶段， 将 每个图像I的大 小调整为25 6×256， 然后进行归一 化((I‑μ )/σ， μ＝0.46 69和σ ＝0.2437)。 整个网络的总损耗L可以定义为 采用混合损失来定义显著性预测损 失： 二进制分类任务 通常采用BC E损失， 可以写为 其中， lB、 GT和S分别表示BC E损失、 地 面真实值和预测的显著性图， IoU损失经常被用来评估GT和S的相似性， 可以写成 其中lI是IoU的损失，权　利　要　求　书 2/3 页 3 CN 115359019 A 3