(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210941820.5 (22)申请日 2022.08.08 (65)同一申请的已公布的文献号 申请公布号 CN 114998713 A (43)申请公布日 2022.09.02 (73)专利权人 中科视语 （北京） 科技有限公司 地址 102300 北京市门头沟区石龙 经济开 发区永安路20号3号楼 A-6193室 (72)发明人 王金桥　朱炳科　赵旭　赵朝阳　 陈盈盈　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 李文清 (51)Int.Cl. G06V 20/00(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) G06V 10/54(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 114120086 A,202 2.03.01 CN 113706472 A,2021.1 1.26 CN 112330664 A,2021.02.0 5 US 2022237928 A1,202 2.07.28 审查员 林筱枫 (54)发明名称 路面病害识别方法、 装置、 系统、 电子设备及 存储介质 (57)摘要 本发明涉及计算机视觉技术领域， 提供一种 路面病害识别方法、 装置、 系统、 电子设备及存储 介质， 该方法采用病害识别模型， 可以实现路面 病害的自动识别， 提高路面病害的识别率， 降低 工作人员的工作量， 节约人力资源。 而且， 该病害 识别模型采用携带有路面信息标签的病害路面 图像样本训练得到， 采用的病害路面图像样本包 括真实病害路面图像样本以及合成病害路面图 像样本， 合成病害路面图像样 本通过真实病害路 面图像样本中的病害区域对应的纹理特征图像 的表观信息， 对纹理特征图像与健康路面图像进 行融合得到， 可以提高训练样 本中病害形态的多 样性， 进而提高了病害识别模型的通用性。 权利要求书2页 说明书13页 附图4页 CN 114998713 B 2022.11.04 CN 114998713 B 1.一种路面病害识别方法， 其特 征在于， 包括： 获取待识别路面图像； 将所述待识别路面图像输入至病 害识别模型， 得到所述病 害识别模型输出的所述待识 别路面图像中的路面信息， 所述路面信息的类别包括病害信息； 其中， 所述病害识别模型基于携带有路面信息标签的病害路面图像样本训练得到， 所 述病害路面图像样本包括真实病害路面图像样本以及合成病害路面图像样本， 所述合成病 害路面图像样本基于所述真实病害路面图像样本中的病害区域对应的纹理特征图像的表 观信息， 对所述纹 理特征图像与健康路面图像进行融合得到； 所述将所述待识别路面图像输入至病 害识别模型， 得到所述病 害识别模型输出的所述 待识别路面图像中的路面信息， 具体包括： 将所述待识别路面图像分别输入至所述病害识别模型的第一特征提取层以及第二特 征提取层， 得到所述第一特征提取层输出的所述待识别路面图像的第一分辨率的细节特征 以及所述第二特 征提取层输出的所述待识别路面图像的语义特 征； 将所述细节特征以及所述语义特征均输入至所述病 害识别模型的融合层， 得到所述融 合层输出的所述细节特 征与所述语义特 征的融合特 征； 将所述融合特征输入至所述病 害识别模型的分类层， 得到所述分类层输出的所述路面 信息。 2.根据权利要求1所述的路面病 害识别方法， 其特征在于， 所述健康路面图像的确定方 法包括： 基于所述真实病 害路面图像样本携带的所述路面信 息标签， 确定所述真实病 害路面图 像样本中除所述病害区域外的非病害区域图像， 所述 非病害区域图像中包含有所述病害区 域对应的空白区域； 基于所述非病害区域图像， 对所述空白区域进行图像修复， 得到所述 健康路面图像。 3.根据权利要求1所述的路面病 害识别方法， 其特征在于， 所述纹理特征图像的确定方 法包括： 基于所述真实病害路面图像样本携带的病害信息标签， 提取所述病害区域， 得到病害 区域图像； 基于局部二值模式算法， 提取所述病害区域图像中的纹理特征， 得到所述纹理特征图 像。 4.根据权利要求1所述的路面病 害识别方法， 其特征在于， 将所述待识别路面图像输入 至所述病害识别模型的第一特征提取层， 得到所述第一特征提取层输出的所述待识别路面 图像的第一分辨 率的细节特 征， 具体包括： 对所述待识别路面图像的分辨 率进行调整， 得到所述第一分辨 率的第一图像； 将所述第一图像输入至所述第 一特征提取层， 得到所述第 一特征提取层输出的所述细 节特征； 和/或， 将所述待识别路面图像输入至所述病 害识别模型的第 二特征提取层， 得到所述第 二特 征提取层输出的所述待识别路面图像的语义特 征， 具体包括： 对所述待识别路面图像的分辨 率进行调整， 得到第二分辨 率的第二图像；权　利　要　求　书 1/2 页 2 CN 114998713 B 2将所述第二图像输入至所述第 二特征提取层， 得到所述第 二特征提取层输出的所述语 义特征。 5.根据权利要求1所述的路面病 害识别方法， 其特征在于， 所述将所述融合特征输入至 所述病害识别模型的分类层， 得到所述分类层输出的所述路面信息， 具体包括： 将所述融合特征输入至所述分类层， 由所述分类层基于所述融合特征， 对所述待识别 路面图像进 行逐像素分类， 得到所述路面信息， 并确定所述路面信息对应的路面彩色图像， 由所述分类层输出 所述路面信息以及所述路面彩色图像。 6.一种路面病害识别装置， 其特 征在于， 包括： 图像获取模块， 用于获取待识别路面图像； 病害识别模块， 用于将所述待识别路面图像输入至病害识别模型， 得到所述病害识别 模型输出的所述待识别路面图像中的路面信息， 所述路面信息的类别包括病害信息； 其中， 所述病害识别模型基于携带有路面信息标签的病害路面图像样本训练得到， 所 述病害路面图像样本包括真实病害路面图像样本以及合成病害路面图像样本， 所述合成病 害路面图像样本基于所述真实病害路面图像样本中的病害区域对应的纹理特征图像的表 观信息， 对所述纹 理特征图像与健康路面图像进行融合得到； 所述病害识别模块， 具体包括： 特征提取子模块， 用于将所述待识别路面图像分别输入至所述病 害识别模型的第 一特 征提取层以及第二特征提取层， 得到所述第一特征提取层输出的所述待识别路面图像的第 一分辨率的细节特 征以及所述第二特 征提取层输出的所述待识别路面图像的语义特 征； 融合子模块， 用于将所述细节特征以及所述语义特征均输入至所述病 害识别模型的融 合层， 得到所述融合层输出的所述细节特 征与所述语义特 征的融合特 征； 分类子模块， 用于将所述融合特征输入至所述病害识别模型的分类层， 得到所述分类 层输出的所述路面信息 。 7.一种路面病害识别系统， 其特征在于， 包括： 图像采集装置以及如权利要求6所述的 路面病害识别装置， 所述图像采集装置与所述路面病害识别装置连接； 所述图像采集装置安装于行驶在待识别路面的车辆上， 用于采集所述待识别路面图 像。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至5任一项所 述的路面病害识别方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 5任一项所述的路面病害识别方法。权　利　要　求　书 2/2 页 3 CN 114998713 B 3