(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211054669.X (22)申请日 2022.08.31 (71)申请人 南京智慧基础设施技 术研究院有限 公司 地址 210000 江苏省南京市雨 花台区宁双 路19号云密城1 1号楼7层 (72)发明人 吴智深　黄璜　黄玺　 (74)专利代理 机构 南京华恒专利代理事务所 (普通合伙) 32335 专利代理师 裴素艳 (51)Int.Cl. G01N 29/44(2006.01) G01N 29/04(2006.01) G01N 21/88(2006.01) G06V 10/80(2022.01)G06V 10/762(2022.01) (54)发明名称 一种基于视觉与声纹融合的自引导自调适 移动检测系统及方法 (57)摘要 本发明公开了一种基于视觉与声纹融合的 自引导自调适移动检测系统包括视觉异常检测 模块、 音频异常检测模块和视觉场景复原模块， 所述视觉异常检测模块搭载于巡检机器人的前 端摄像装置， 所述音 频异常检测模块搭载于巡检 机器人的前端敲击检测装置， 所述视觉场景复原 模块搭载于后台控制端， 其中： 所述视觉异常检 测模块包括： 图像信号采集单元， 图像信号分析 单元， 图像信号二级检测单元， 边缘检测识别单 元； 所述音频异常检测模块包括： 声音信号接收 单元， 声音信号分析单元， 声音信号匹配单元； 所 述视觉场景复原模块包括： 复原信息接收单元， 复原信息融合单元。 该检测系统完美融合了视觉 与声纹信息,极大提升损伤检测的准确度和检测 效率。 权利要求书2页 说明书5页 附图4页 CN 115436488 A 2022.12.06 CN 115436488 A 1.一种基于视觉与声纹融合的自引 导自调适移动检测系统， 其特征在于， 包括视觉异 常检测模块、 音频异常检测模块和视觉场景复原模块， 所述视觉异常检测模块搭载于巡检 机器人的前端摄像装置， 所述音频异常检测模块搭载于巡检机器人 的前端敲击检测装置， 所述视觉场景复原模块搭 载于后台控制端， 其中： 所述视觉异常检测模块包括： 图像信号采集单 元， 用于将检测路径上的各个 检测点的图像信号采集下来； 图像信号分析 单元， 用于分析图像信号的像素 特征来获得图像信息； 图像信号二级检测单元， 用于将多光源下的图像信号的法向量作为输入， 通过视觉算 法实现恢复结构表面的表面梯度、 曲率信息； 边缘检测识别单元， 用于通过输入表面梯度与曲率信息， 将结构表面的损伤转换成边 缘梯度图， 引导 敲击系统对损伤区域 位置进行敲击检测， 进 而获得损伤的深度信息； 所述音频异常检测模块包括： 声音信号接收单 元， 用于将系统采集的连续声 音信号依据检测的时间序列依次导入； 声音信号分析单元， 用于分析不同时间段的声音信号组的声纹特征， 并对比各项声纹 特征是否发生变化； 声音信号匹配单元， 用于通过调 整敲击检测的频率和冲击度激发相匹配的损伤的声纹 特征， 进而通过机器学习分类算法获得深度损伤的 的损伤深度信息； 所述视觉场景复原模块包括： 复原信息接收单元， 用于将损伤深度信息和通过视觉算法得到的表面梯度、 曲率信息 导入该模块中； 复原信息融合单元， 用于将损伤深度信息和通过视觉算法得到的表面梯度、 曲率信息 进行融合。 2.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统， 其特征 在于， 所述图像信号分析单元获得的图像信息根据结构检测划分为多个敲击检测区域， 并 引导敲击检测区域， 以实现自引导功能。 3.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统， 其特征 在于， 所述图像信号 二级检测单 元中使用的视 觉算法为 光度立体法。 4.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统， 其特征 在于， 所述声 音信号分析 单元中获得的声纹特 征包括波长、 强度、 衰减特性和声 波频谱。 5.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统， 其特征 在于， 所述声 音信号匹配单 元中采用的机器学习分类方法为聚类算法和分类算法。 6.一种基于 视觉与声纹融合的自引导自调适移动检测方法， 其特 征在于， 包括： S1、 图像检测步骤： S1.1通过巡检机器人的前端摄像装置， 在检测路径的各个检测点上采集 图像信号， 将 采集的图像信号 导入视觉异常监测模块； S1.2通过分析步骤S1.1中的图像信号的像素特征， 并对比各项像素特征， 如果发生变 化， 则执行步骤S1.3， 否则， 重复步骤S1.1； S1.3将多光源下的图像信号的法向量作为输入， 通过光度立体法恢复结构表面的表面 梯度、 曲率信息， 同时， 将结构表面的损伤通过边 缘检测识别单 元转换成边 缘梯度图；权　利　要　求　书 1/2 页 2 CN 115436488 A 2S2、 声音检测步骤： S2.1根据 步骤S1.3中获得的边缘梯度图的引导来进行敲击检测， 收集敲击检测过程中 产生的连续声 音信号， 根据采集时间序列依次导入音频异常检测模块； S2.2分析不同时间段的声音信号组的波长、 强度、 衰减特性、 声波频谱等声纹特征， 并 对比各项 声纹特征， 如果发生变化， 则执 行步骤S2.3， 否则， 重复步骤S2.1； S2.3调整敲击检测的频率、 强度， 将各项声纹特征所构成的特征向量作为输  入， 导入 音频异常检测模块， 通过机器学习分类算法输出损伤深度信息； S3、 复原步骤： S3.1将步骤S1.3中通过光度 立体法得到的表面梯度、 曲率信息与步骤S2.3中通过聚类 算法得到的损伤深度信息进行融合； S3.2根据步骤S3.1中 融合的信息复原出整个 检测过程中损伤的三维信息 。 7.根据权利要求6所述的基于视觉与声纹融合的自引导自调适移动检测方法， 其特征 在于， 所述步骤S2.1中声音信号的采集与所述步骤S1.1中多光源的图像信号采集同时进 行。 8.根据权利要求6所述的基于视觉与声纹融合的自引导自调适移动检测方法， 其特征 在于， 所述步骤S2与所述步骤S1同时触发二级检测， 视觉异常检测模块的图像信息反馈至 音频异常检测模块用于调整检测输出， 提高整个检测系统对复杂耦合的检测精度， 以实现 检测系统的自调适功能。 9.根据权利要求6所述的基于视觉与声纹融合的自引导自调适移动检测方法， 其特征 在于， 所述步骤S2与所述步骤S1通过事先设定的路径依次检测各个检测点， 并在检测过程 中通过视 觉引导对检测点周边 一定区域内进行检测， 以实现移动检测功能。权　利　要　求　书 2/2 页 3 CN 115436488 A 3