(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211012797.8 (22)申请日 2022.08.23 (71)申请人 中国矿业大 学 地址 221116 江苏省徐州市铜山区大 学路1 号 (72)发明人 芦楠楠　刘盛东　马占国　赵全　 章俊　刘书奎　龚鹏　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 潘文龙 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于数据融合的深部地下工程四维支护结 构损伤辨识方法 (57)摘要 本发明公开了一种基于数据融合的深部地 下工程四维支护结构损伤辨识方法， 用于深部地 下工程四维支护健康监测， 其重点考虑四维支护 结构的时域、 频域、 动态频域等不同模态间的隐 含关系， 利用大量震、 电、 磁多场监测数据所提出 的深度融合模 型， 并采用该模型对四维支护结构 损伤程度进行辨识， 对四维支护结构出现的早期 破裂进行预警。 本发明首先设计了单模态特征提 取网络， 分别提取时域、 频域、 动态频域的时空特 征。 此外， 本发明还设计了张量融合模块， 生成更 加丰富的融合特征， 并通过张量 分解简化分类过 程， 加速推理。 通过时域增强模块， 对轻微破裂和 严重破裂 两种类别进行增强， 提高识别效果。 权利要求书2页 说明书7页 附图4页 CN 115546531 A 2022.12.30 CN 115546531 A 1.一种基于数据融合的深部地下工程 四维支护结构损伤辨识方法， 用于深部地下工程 四维支护结构的损伤辨识， 其特 征在于： 包括以下步骤： S1、 将采集的电信号转换为图像的形式， 并经过预处理产生时域数据、 频域数据和动态 频域数据； 针对不同模态的输入， 利用单模态特 征提取网络， 提取 各个模态的时空特 征； S2、 设计张量融合模块， 采用基于张量的数据融合方法融合频域和动态频域的单模态 特征， 并在其基础上采用张量分解的方法简化分类过程， 降低分类过程中的参数量； S3、 设计时域增强模块， 补充多模态数据融合过程中丢失的单模态特征， 对张量融合模 块识别较差的类别进行增强。 2.如权利要求1所述的一种基于数据融合的深部地下工程四维支护结构损伤辨识方 法， 其特征在于： 采用滑窗技术、 离散傅里叶变换和 动态差分对原始数据预 处理将原始时间 序列数据转换为图像的形式， 具体为： 利用滑窗技术沿原始数据的时间轴进行滑动， 步长设置为窗长， 划分时间片， 作为一个 小的时间段的信息， 调整 数据的维度即得到构建的时域数据； 对于划分好的时间片信息， 通 过离散傅里叶变换获取数据的幅度信息和相位信息， 调整 数据的维度即得到构建的频域数 据； 在频域数据的基础上， 为了捕获数据中频率的变化信息， 参照视频序列对相 邻帧差分获 取变化的物体， 对频域数据中相邻的时间片进行差分， 获取 频率的变化信息 。 3.如权利要求1所述的一种基于数据融合的深部地下工程四维支护结构损伤辨识方 法， 其特征在于： 提取 各个模态的时空特 征的具体过程如下： S11、 针对不同模态的输入， 采用三层卷积神经网络提取各传感器自身的空间特征； 其 中， 在第一层卷积时， 将不同位置的传感器信号作为卷积的通道， 在卷积的过程中， 实现各 传感器的线性组合， 融合各位置传感器的信息， 再通过两层卷积神经网络挖掘数据的局部 空间特征； S12、 将各传感器的融合特征送入循环神经网络GRU， 挖掘融合特征的时间依赖性， 加入 平均池化层， 平衡不同时刻的输出， 完成单模态特 征的提取。 4.如权利要求1所述的一种基于数据融合的深部地下工程四维支护结构损伤辨识方 法， 其特征在于： 在步骤S2中， 采用张量外积的方法对频域和动态频域的特 征进行融合， 融合公式如下： 其中， 表示生成的融合特征， 分别表示待融合的频域特征和动态 频域特征， F表示特 征的数量； 对融合特征 进行分类， 需要一个权重为 的全连接层， 其 中， h代表识别 的类别数， 最终的分类输出用 表示， 则 其中， 符号 ·代表内积运算， 是权重最后一个维度的切片， 是输 出的一个单 元， 此时， 分类过程权 重的参数量随模态的数量呈指数 型增长； 进一步地， 对权重 和 进行CP分解， 即权　利　要　求　书 1/2 页 2 CN 115546531 A 2其中， R代 表对 进行CP分解的秩， 表示CP分解的秩 ‑1张量； 代入分类公式， 并化简， 得到简化的分类过程： 由于对于一维特征， 全连接层的分类公式为 权重 与输入 之间为矩阵乘法， 为输出， 在不考虑偏置b的情况下， 对于输出的某一元素 其计算方式如下: 由于 和 与全连接层的分类具有相同的形式， 故将其看作对单模态 特征 和 的分类过程， 定义 表示全连接层的运 算， 则分类过程可简化 为： 其中， 符号*表示张量的元素积运算， 此时， 分类过程权重的参数量与模态数量之间呈 线性关系， 简化了运 算， 同时， 较少的参数减少了模型 过拟合的风险。 5.如权利要求1所述的一种基于数据融合的深部地下工程四维支护结构损伤辨识方 法， 其特征在于： 在步骤S 3中， 设计时域增强模块， 利用时域的单模态特征， 识别四维支护结 构的损伤程度， 经过变换矩阵与张量融合模块的输出相加， 对破裂成度的识别进 行增强， 同 时， 弥补张量融合模块融合时丢失的单模态特 征。权　利　要　求　书 2/2 页 3 CN 115546531 A 3