(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211028774.6 (22)申请日 2022.08.26 (71)申请人 常州大学 地址 213164 江苏省常州市武进区湖塘镇 滆湖中路21号 (72)发明人 夏新栋　杨彪　黄振涛　谢陈明玥 　 汤芷涵　黄怡　王睿　杨长春　 (74)专利代理 机构 大连理工大 学专利中心 21200 专利代理师 刘秋彤 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06V 10/30(2022.01) G06V 10/40(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 基于级联YOLO-GAN的晶圆缺陷检测及定位 算法 (57)摘要 本发明属于深度学习计算机机器视觉领域 和半导体技术检测领域， 提出一种基于级联 YOLO‑GAN的晶圆缺陷检测及定位算 法。 在晶圆片 生成制造过程中， 将原始图像晶圆片分别送入基 于改进YOLOv5的晶圆检测模型和基于BiseNet的 晶圆语义分割模 型中， 获得晶圆片目标检测框位 置和晶圆片的前景掩模； 原始图像输入至基于改 进生成对抗网络的缺陷检测模型， 进而重构晶圆 图像， 并定位晶圆缺陷区域； 利用晶圆片目标检 测框位置作为约束， 对缺陷图像的连通域进行分 析， 引入Softmax分类器实现对缺陷的定位以及 晶圆缺陷的细分。 本发明实现对不同尺度晶圆片 的视觉检测， 适用于晶圆缺陷的自动检测， 能够 大大提高缺陷检测的准确性与效率。 权利要求书2页 说明书6页 附图2页 CN 115439427 A 2022.12.06 CN 115439427 A 1.一种基于级联YOLO ‑GAN的晶圆缺陷检测及定位 算法， 其特 征在于， 包括 步骤如下； 1)、 在晶圆片生成制造过程中， 将原始图像晶圆片送入基于改进YOLOv5的晶圆检测模 型中， 获得晶圆片目标检测框位置； 2)、 输入原始图像晶圆片至基于BiseNet的晶圆语义分割模型， 进行晶圆片语义分割， 获得晶圆片的前 景掩模m； 3)、 原始图像T输入至基于改进生成对抗网络的缺陷检测模型， 基于改进生成对抗网络 的缺陷检测模型包括生成器G、 鉴别器D与二次编码器E； 原始图像经生成器生成重构图像， 采用内容损失Lcon反映重构图像与真实图像之间的差异； 二次编码器对重构图像进行二次 编码得到二次隐变量， 用编码损失函数Lenc降低原始图像的隐变量和 重构图像的二次隐变 量之间的差值； 将原始图像和重构图像输入至鉴别器， 生成器和 鉴别器迭代优化达到纳什 平衡， 直至原始图像和重构图像在博弈过程中产生的对抗损失满足要求， 基于改进生成对 抗网络的缺陷检测模型训练完成； 鉴别器中原始图像T和重构图像做差， 获得差分图像； 利 用晶圆片的前景掩模进行约束， 进而将差分图像ΔT中的前景像素数数目与给定阈值进行 比较， 判断是否存在缺陷； 4)、 当步骤3)的检测结果存在缺陷时， 利用步骤1)中的晶圆片目标检测框位置作为约 束， 对缺陷图像的连通域进行分析， 引入Softmax分类器实现对缺陷的定位以及晶圆缺陷的 细分； Softmax分类器采用交叉熵损失函数评估， 并对晶圆片缺陷分类的正确与否进行调 整； 当步骤3)的检测结果 不存在缺陷时， 直接 输出晶圆片定位及缺陷检测结果。 2.根据权利 要求1所述的基于级联YOLO ‑GAN的晶圆缺陷检测及定位算法， 其特征在于， 所述步骤1)改进YOLOv5的晶圆检测模型基于单阶段YOLOv5进行改进， 改进YOLOv5的晶圆检 测模型输出模块采用mobilenet卷积算子替代单阶段YOLOv5的标准卷积， 以提高特征融合 速度； 改进YOLOv5的晶圆检测模型包括骨架网络、 特征增强网络、 上下采样网络层、 mobilenet卷积层和检测头网络层； 原始图像晶圆片通过骨架网络和特征增强网络， 得到从低级特征尺度1/2x到高级特征 尺度1/16x的多尺度特征信息流； 再通过上下采样网络层与 1×1卷积核对特征图在深度方 向进行加权信息整合， 得到不同尺寸的特征图； 不同尺寸的特征图同时送入检测头网络层， 检测特征图中不同尺度的目标， 实现晶圆片检测获得晶圆片目标检测框位置 。 3.根据权利 要求1所述的基于级联YOLO ‑GAN的晶圆缺陷检测及定位算法， 其特征在于， 所述步骤2)中， 基于BiseNet的 晶圆语义分割模型 具体为 基于BiseNet的晶圆语义分割模型采用双向语义分割网络， 输入原始图像晶圆片， 分别 经空间路径和上下文路径进行提取特征， 空间路径中经过卷积批处理进 行批处理规范化和 激活， 保留输入晶圆片原图像的空间尺度并丰富空间信息编码； 上下文路径结合注意力优 化模块， 优化每一段 的特征输出； 空间路径和上下文路径所提取 的特征均输入至特征融合 模块， 经主损失函数监 督BiseNet输出， 从而获得晶圆片的前 景掩模。 4.根据权利 要求1所述的基于级联YOLO ‑GAN的晶圆缺陷检测及定位算法， 其特征在于， 所述步骤3)中， 基于改进生成对抗网络的缺陷检测模型包括生成器G、 鉴别器D与二次编码 器E； 生成器G是一个生成式的网络， 其包括编码器GE和解码器GD； 输入原始图像通过编码器 GE和解码器GD生成重构图像 生成器G中的编码器GE对原始图像T进行编码得到隐变量a，权　利　要　求　书 1/2 页 2 CN 115439427 A 2隐变量a输入生成器G中解码器GD解码得到重构图像 WGD、 WGE分别表示编码器GE和解码器GD的可学习权重； 二次编码器E对重构图像进行编码， 得到二 次隐变量 如下式所示： WE表示解码 器E的可学习参数； 根据隐变量a和二次隐 变量 的差值得到编码损失； 鉴别器D是判别网络， 其 为三层卷积神经网络； 输入原 始图像和 重构图像至鉴别器D中， 判别并输出 该重构图像是否为真实图像， 输出lD， 5.根据权利 要求1或4所述的基于级联YOLO ‑GAN的晶圆缺陷检测及定位算法， 其特征在 于， 所述基于改进生成对抗网络的缺陷检测模型， 采用加权方式联合 生成损失函数； 设计对抗损 失、 内容损 失和编码损 失三个损 失函数， 采用加权方式构造出联合损 失函 数； 采用对抗损失函数表征Ladv生成器与鉴别器在博弈过程中产生的损失， 使用L2范数损失 函数计算， 如下式所示： Ladv＝||f(r) ‑f(G(r)||2； 采用内容损失Lcon反映重构图像 与真实 图像T之间的差异， 使用L1范数损失函数计算， 如 下式所示： Lcon＝||T‑G(r)||1； 采用编码损 失Lenc来降低输入图像特征向量T与 重构图像特征向量 之间的差距， 使用L2范数损失函数 计算， 如下式所示： Lenc＝||GE(x)‑E(G(x))||2， 最后， 通过加权方式生成联合损失函数L， 如 下式所示： L＝ωadvLadv+ωconLcon+ωencLenc， ωadv， ωcon， ωenc是加权参数， 用于调整单个损失 对总体目标函数的影响。 6.根据权利 要求1所述的基于级联YOLO ‑GAN的晶圆缺陷检测及定位算法， 其特征在于， 所述检测结果存在缺陷时， 将训练生成对抗网络得到的缺陷区域按照宽高等比例放大2倍 得到晶圆缺陷掩模M， M包含了缺陷区域及其空间上下文信息， 利用晶圆缺陷掩模M从目标检 测框中提取细分瑕疵特征， 过程如下式所示： D＝F ⊙M； 其中， ⊙表示逐点相乘， F表示 mobilenet卷积算子输出的特征图， D表示晶圆片缺陷相关 的目标检测 框； 使用多层感知器 MLP对D进行编码降维， 得到降维后的特征编码D'； 降维后的特征编码D'经过Softmax分类器 后， 使用交叉熵损失函数进行 分类， 如下式所示： k表示细分瑕疵种类数目， 表示标签的o ne‑hot编码， di表示Softmax分类 器的输出。权　利　要　求　书 2/2 页 3 CN 115439427 A 3