(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210983139.7 (22)申请日 2022.08.16 (71)申请人 广东华路交通科技有限公司 地址 510420 广东省广州市白云区丛云 路 399号 申请人 广东交科技 术研发有限公司 　 北京崇理科技有限公司 (72)发明人 李善强　题晶　吴传海　杨晓荣　 许新权　王敬飞　陈楚鹏　姚艳茹　 (74)专利代理 机构 广州中屹智权专利代理事务 所(特殊普通 合伙) 44816 专利代理师 黄河 (51)Int.Cl. G06T 7/521(2017.01) G06T 5/00(2006.01)G06T 3/40(2006.01) G06V 10/30(2022.01) G06V 10/80(2022.01) (54)发明名称 基于三维数字全息的路面病害图像融合的 数据处理方法 (57)摘要 本发明公开了一种基于三维数字全息的路 面病害图像融合的数据处理方法， 通过激光干涉 仪生成数字干涉条纹图像并投射到路面上， 并对 路面进行采集得到原始图； 用计算机模拟还原重 建， 得到三维全息病害 图； 采用傅里叶变换得到 二维病害图； 将三维全息病害图和二维病害图进 行融合生 成融合病害图； 采用指定数据对融合模 型进行测试模拟校正， 获得最终训练模型。 本申 请能根据原始全息图获得三维病害图和二维病 害图， 通过最小二乘法， 左右和前后病害图拼接 形成多尺 寸病害数据库， 二维和三维病害图数据 的结合不仅大大提高了数据精度， 而且提高了图 像质量， 病害检测类型覆盖了路面各种病害， 能 够方便设备自动识别路面病害。 权利要求书2页 说明书6页 附图5页 CN 115330846 A 2022.11.11 CN 115330846 A 1.基于三维数字全息的路面病害图像融合的数据处理方法， 其特征在于， 具体步骤如 下： S1、 通过三维数字全息车载采集设备中的激光干涉仪生成数字干涉条纹图像并投射到 路面上， 并用至少 两台工业相 机对路面进行采集得到原始图， 按照工业相 机采集有效范围 对原始图进行裁 剪得到原 始全息图； S2、 用计算机模拟光学衍射过程来实现路面的全息再现和处理还原重建， 得到带有路 面深度数据的三维全息病害图； S3、 采用傅里叶多级矩阵变换和傅里叶多级矩阵逆变换对原始全息图去除干涉条纹信 息， 从而得到二维病害图； S4、 将同一张原始全息图生成的三维全息病 害图和二维病害图进行同源数据融合生成 融合病害图； S5、 采用最小二乘拟合法对至少两台工业相机得到的三维全息病 害图和二维病害图分 别进行多尺寸融合， 得到多尺寸的路面数据集； 对第一步生成的小尺寸路面数据进行降噪 处理， 截去各边 边缘噪音； S6： 多尺寸的路面数据集进行数据融合， 生成三维全息病害数据库、 二维病害数据库和 融合病害 数据库， 代入搭建的神经网络模型训练， 获得融合模 型， 采用指 定数据对融合模型 进行测试模拟校正， 获得最终训练模型。 2.根据权利要求1所述的基于三维数字全息的路面病害图像融合的数据处理方法， 其 特征在于： 步骤S2中， 所述原始全息图包含路面带有数字干涉条纹的光强信息和光波的相 位信息， 根据光 强和电磁方程的关系， 采用傅里叶快速变换进 行三维重建得到相位差， 计算 连续的相位差变化还原路面原始全息图的整体深度信息， 即得到带有路面深度数据的三 维 全息病害图； 具体数字全息三维还原过程 为： S21、 原始全息图中任意像素点(x,y)电磁能量方程 为： E(x,y)＝A(x,y)exp(iφ(x,y) ) 其中φ(x,y)为任意像素点(x,y)相位信息， A(x,y)为任意像素点(x,y)的光强信息； S22、 原始全息图任意像素点(x,y)的光强方程 为： I(x,y)＝A(x,y)2＝I(x,y)＝E(x,y)2＝E(x,y)E(x,y)*； S23、 菲涅尔数字衍 射变换公式： 其中： Γ( ξ， β )为原始全息图的光强和相位， λ为光源的波长， i表示复数， d为激光干涉 仪到相机光圈平面的垂直距离， ρ 为相机光圈衍 射到激光干涉仪平面上的衍 射距离； S24、 傅里叶变换等价于菲涅尔变化， 通过公式转换获得原始全息图任意像素点(x,y) 三维全息相位信息， 通过连续的傅里叶变化得到原始全息图整体的相位差， 即原始全息图 所有像素点的深度信息， 从而三维还原得到路面的三维全息病害图：权　利　要　求　书 1/2 页 2 CN 115330846 A 2I(x,y)＝|Γ( ξ， β )|2 3.根据权利要求1所述的基于三维数字全息的路面病害图像融合的数据处理方法， 其 特征在于： 步骤S3中， 获取原始全息图本身的路面信息， 原始全息图中任意像素点(x， y)光 强A(x， y)的傅里叶多 级公式： 根据傅里 叶多级公式， 删除其中的傅里叶零级和一级a0+a1(x,y)1数据， 然后进行傅里 叶多级逆变换就得到消除干涉 条纹信息的原 始全息图中任意像素点(x,y)二维像素； 通过对原始全息图所有像素点进行傅里叶多级矩阵变换和傅里叶多级矩阵逆变换， 消 除数字干涉条纹获得路面 二维病害图。 4.根据权利要求1所述的基于三维数字全息的路面病害图像融合的数据处理方法， 其 特征在于： 步骤S4中， 将同一张原始全息图生成的三维全息病害图和二维病害图进行像素 级别的数据融合； 具体数据融合过程如下： 原始全息 图的图像本身表示为矩阵数据， 三维全息病害图生 成矩阵A， 二维病害图生成矩阵B， 矩阵在最优化准则下能表示为一个低秩矩阵和稀疏矩阵 的叠加， 通过分别对矩阵A和矩阵B相加得到矩阵C， 对矩阵C进行增广拉格朗日乘子法求解 低秩矩阵E稀疏矩阵F， 对E和F分别叠加转换生成图形， 最终得到融合病害图。 5.根据权利要求1所述的基于三维数字全息的路面病害图像融合的数据处理方法， 其 特征在于： 在步骤S 5中， 对不同工业相机获取的三 维全息病害图、 二 维病害图和融合病害图 进行拼接缝合获得路面图； 采用最小二乘法求得需要拼接的路面图的最优拟合平面ax+by+cz+d＝0， 以其中一个 工业相机的拟合平面为基准， 旋转另一个工业相机的路面图， 使得左右两侧路面图完全处 于同一个 基准面， 进行无缝拼接， 生成左右拼接病害图； 将不同的两 台工业相机的左右拼接病 害图的前后拼接， 以拟合平面的空间数据求得两 个平面空间的偏差角度， 并选取前面一个左右拼接图作为基准面， 将需要拼接的图像进行 三维空间旋转， 最 终将需要拼接的三 维数据矩阵进行空间对接， 达到无缝拼接， 前后拼接即 可生成多尺寸路面图。 6.根据权利要求1所述的基于三维数字全息的路面病害图像融合的数据处理方法， 其 特征在于： 在步骤S6中， 把 不同尺寸的三维全息病害图和二维病害图分别进行 特征工程； 首先标注部分数据， 然后通过归一化和二值化对数据进行预处理， 生成三维全息病害 图数据库、 二维病害图数据库、 三维全息图和融合病害数据库， 对三个数据库进行数据分 割， 生成对应的三个训练集、 验证集和测试集， 分别代入搭建好的神经网络模型进 行迭代训 练得到三个训练模型， 分别通过训练模型加权表决融合和平均化融合方式得到的两种融合 模型， 导入融合模型， 对三个测试集进 行测试， 选取符合要求的结果模型导出作为的训练模 型。权　利　要　求　书 2/2 页 3 CN 115330846 A 3