(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210969247.9 (22)申请日 2022.08.12 (71)申请人 西南交通大 学 地址 610031 四川省成 都市二环路北一段 申请人 四川华腾公路试验检测有限责任公 司 (72)发明人 扎伊德·阿尔胡达 　唐堂　杜富和　 彭博　 (74)专利代理 机构 北京正华智诚专利代理事务 所(普通合伙) 11870 专利代理师 刘方正 (51)Int.Cl. G06T 7/10(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) (54)发明名称 基于类激活映射的路面裂缝分割方法 (57)摘要 本发明公开了一种基于类激活映射的路面 裂缝分割方法， 其包括获取路面裂缝图像， 并对 其进行限制对比度自适应直方图均衡化处理； 将 处理后的路面裂缝图像裁剪成若干补丁， 并输入 已训练的Xc eption网络生成类激活映射； 将所有 补丁输入已训练的DeepLabV 3+网络， DeepLabV3+ 网络包括编码器、 解码器和连接二者的交叉层； 采用编码器得到每张补丁的特征图， 将特征图和 类激活映射在交叉层进行卷积运算操作输出至 解码器中， 得到对应的分割结果； 采用裂缝边界 细化模块CBRM细化每张补丁的分割结果中的裂 缝边界， 得到补丁的分割掩膜； 采用重叠融合方 法对所有补丁对应的分割掩膜进行组合， 并基于 最大概率方法获得路面裂缝图像的最终分割结 果。 权利要求书4页 说明书12页 附图3页 CN 115457044 A 2022.12.09 CN 115457044 A 1.基于类激活映射的路面裂缝分割方法， 其特 征在于， 包括 步骤： S1、 获取路面裂缝图像， 并对其进行限制对比度自适应直方图均衡化处 理； S2、 将步骤S1处理后的路面裂缝图像裁剪成若干补丁， 并输入已训练的Xception网络 生成类激活映射； S3、 将所有补丁输入已训练的DeepLabV3+网络， D eepLabV3+网络包括一个编码器、 一个 解码器和连接二 者的交叉层； S4、 采用编码器得到每张补丁的特征图， 将特征图和类激活映射在交叉层进行卷积运 算操作输出至解码器中， 得到对应的分割结果； S5、 采用裂缝边界细化模块CBRM细化每张补丁的分割结果中的裂缝边界， 得到补丁的 分割掩膜； S6、 采用重叠融合方法对所有补丁对应的分割掩膜进行组合， 并基于最大概率方法获 得路面裂缝图像的最终分割结果。 2.根据权利要求1所述的基于类激活映射的路面裂缝分割方法， 其特征在于， 还包括采 用类激活映射优化模块RC M对步骤S2中的类激活映射进行优化： A1、 采用类激活映射优化模块RCM计算类激活映射中当前像素k和像素q的特征相似性 fsim(xk， xq)： 其中， xk和xq分别为像素点k像素点q的像素值； 和 分别为像素点k像 素点q 的像素值通过一个单独的卷积层进行运算； 为像素点k的运算结果进行转置操 作； ‖. ‖ 为范 数； A2、 根据特征相似性和Xception网络生成的类激活映射CAMoriginal， 计算精细化的类激 活映射CAMRefined： 其中， ReLU(.)为激活函数； 步骤S4中采用的类激活映射 为精细化后的类激活映射。 3.根据权利要求1所述的基于类激活映射的路面裂缝分割方法， 其特征在于， 所述S5进 一步包括： S51、 采用卷积定向边界操作生成每张补丁分割结果的候选级别层次图， 每张补丁在其 候选级别层次图中选取m个不重 叠的区域作为可靠区域； S52、 每张补丁在可靠区域的空间和特征层建模形成构造图， 可靠区域的空间和特征维 度被表示 为邻接图， 构造图G＝(gi,j)m×m： 其中， gi， j为图矩阵； ri和rj分别为补 丁g中的第i个和第j个可靠区域； M(ri,rj)为ri和rj 之间的相似度； exp( ·)为以e为底的幂次方计算； 为范数；权　利　要　求　书 1/4 页 2 CN 115457044 A 2S53、 根据特 征相似度， 构建每 个可靠区域r的分割得分模型： 其中， αj为第j个区域的矩阵； S54、 构建优化目标函数， 并对其进行规范化处 理， 规范化后模型为： 其中， f为f＝(f(r1),...,f(rm))T， ω为区域的权值； δ1和 δ2均为权重， D为邻接图中包含 度值的对角矩阵， M为M(ri,rj)导出的f的范数， L为补丁的拉普拉斯矩阵， L＝D ‑G； α为α＝ ( α1, α1,..., αm)T； H为对角矩阵， 其前r个元 素设置为1， 其 余元素设置为0； S55、 对规范化后模型进行求 解， 得到优化后的α*： 其中， α*为最终优化的方程； S56、 根据优化后的α*和分割得分模型， 得到优化后的分割得分作为补丁的分割掩膜。 4.根据权利要求1或3所述的基于类激活映射的路面裂缝分割方法， 其特征在于， 步骤 S6进一步包括： S61、 读取记录的路面裂缝图像裁 剪时每个补丁的位置， 预测出分割掩膜的位置分布； S62、 对于 重叠位置的分割掩膜， 将重 叠区域的最大概 率相加， 计算出最终的输出概 率； S62、 根据补丁的位置分布和输出概率， 对补丁进行拼接， 之后对拼接后的图像经过 argmax处 理， 得到路面裂缝图像的最终分割结果。 5.根据权利要求1所述的基于类激活映射的路面裂缝分割方法， 其特征在于， 进行限制 对比度自适应直方图均衡化处 理的计算公式为： x＝H(I) 其中， x为后的路面裂缝图像， I为初始的路面裂缝图像； H( ·)为限制对比度自适应直 方图均衡化操作。 6.根据权利 要求1所述的基于类激活映射的路面裂缝分割方法， 其特征在于， Xception 网络的训练方法： S21、 获取预训练后的Xception网络， 移除Xception网络的最后一层池化层， 采用两个 可分离扩张卷积取代Xcepti on最后的两个 独立卷积； S22、 采用裂缝图像分类数据集对步骤S21构建的Xcepti on网络进行训练； S23、 训练过程中， 随机初始化全连接层的权值， 在完成全局平均池化GAP后， 将特征发 送到初始化权 重的全连接层后， 采用softmax函数激活； S24、 通过迭代最小化交叉熵损失， 对Xception网络进行优化， 得到已训练的Xception 网络， 交叉熵损失函数为： 其中， y为真实标签值； 为预测值； L oss为交叉熵损失。 7.根据权利要求6所述的基于类激活映射的路面裂缝分割方法， 其特征在于， 所述裂缝 图像分类数据集为数据集CLC， 包含40000张补丁， 其中20000张裂缝表示正类， 另外20000张权　利　要　求　书 2/4 页 3 CN 115457044 A 3