(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211028528.0 (22)申请日 2022.08.25 (71)申请人 绍兴幺贰玖零科技有限公司 地址 312000 浙江省绍兴 市新昌县澄潭街 道棠村村153号 (72)发明人 王慧铭　 (74)专利代理 机构 北京恒泰铭睿知识产权代理 有限公司 1 1642 专利代理师 胡琳丽 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06Q 10/00(2012.01) (54)发明名称 基于多重注意力机制的故障检测方法及其 系统 (57)摘要 本申请涉及机械 设备的故障智能诊断领域， 其具体地公开了一种基于多重注意力机制的故 障检测方法及其系统， 其在数据源域内采用变分 模态分解和希尔伯 特变换方法将旋转机械设备 的振动信号处理成与红外图像同维的时频图像， 并分别使用具有通道注意力机制和空间注意力 机制的卷积神经网络模型对所述时频图像和所 述红外图像进行编码， 以提取出更关注于所述时 频图像中适于故障检测的特定局部时频隐含关 联特征以及更聚焦于能够表征故障的温度隐含 关联模式， 并且在融合这两个特征时进一步计算 所述特征图之间的衍生信息超凸度量因数， 使 得 所述特征图间的流形差异性能够适应各子维度 投影上的凸单调性， 以利于提高故障分类的精度 和准度。 权利要求书4页 说明书11页 附图5页 CN 115410069 A 2022.11.29 CN 115410069 A 1.一种基于多重注意力机制的故障检测方法， 其特 征在于， 包括： 训练阶段， 包括： 通过振动传感器和红外相机获取机 械设备的振动信号和红外图像； 通过变分模态分解和希尔伯特变换方法将所述振动信号转化为与所述红外图像具有 相同尺寸的时频图像； 将所述时频图像通过使用通道注意力机制的第一卷积神经网络模型以获得第一特征 图； 将所述红外图像通过使用空间注意力机制的第二卷积神经网络以获得第二特 征图； 计算所述第 一特征图和所述第 二特征图之间的衍生信 息超凸度量因数， 所述衍生信 息 超凸度量因数为以所述第一特征图中各个位置的特征值与所述第二特征图中对应的各个 位置的特 征值之间的距离的加权和的对数函数值； 融合所述第一特 征图和所述第二特 征图以获得分类特 征图； 将所述分类特 征图通过分类 器以获得分类损失函数值； 计算所述衍生信息超凸度量因数和所述分类损失函数值之间的加权和作为损失函数 值对所述第一卷积神经网络模型和所述第二卷积神经网络模型进行训练； 以及 推断阶段， 包括： 通过振动传感器和红外相机获取待检测机 械设备的振动信号和红外图像； 通过变分模态分解和希尔伯特变换方法将所述振动信号转化为与所述红外图像具有 相同尺寸的时频图像； 将所述时频图像通过经训练阶段训练完成的所述使用通道注意力机制的第一卷积神 经网络模型以获得第一特 征图； 将所述红外图像通过经训练阶段训练完成的所述使用空间注意力机制的第二卷积神 经网络以获得第二特 征图； 融合所述第一特 征图和所述第二特 征图以获得分类特 征图； 以及 将所述分类特征图通过分类器以获得分类结果， 所述分类结果用于表示待检测机械设 备是否存在故障。 。 2.根据权利要求1所述的基于多重注意力 机制的故障检测方法， 其中， 通过变分模态分 解和希尔伯特变换方法将所述振动信号转化为与所述红外图像具有相同尺寸的时频图像， 包括： 将所述振动信号与所述红外图像进行变分模态分解以转换为线性平稳信号； 对所述线性平稳信号进行希尔伯特变换以获得 具有相同尺寸的时频图像。 3.根据权利要求2所述的基于多重注意力 机制的故障检测方法， 其中， 将所述 时频图像 通过使用通道注意力机制的第一卷积神经网络模型以获得第一特征图， 包括： 所述第一卷 积神经网络模型的各层 在层的正向传递中对输入数据进行： 对所述输入数据进行基于二维卷积核的卷积处 理以生成卷积特 征图； 对所述卷积特 征图进行池化处 理以生成池化特 征图； 对所述池化特 征图进行激活 处理以生成激活特 征图； 计算所述激活特 征图的沿通道维度的各个特 征矩阵的全局均值以获得通道特 征向量； 计算所述通道特征向量中各个位置的特征值相对于所述通道特征向量的所有位置的权　利　要　求　书 1/4 页 2 CN 115410069 A 2特征值的加权和的比值以获得通道加权特 征向量； 以及 以所述通道加权特征向量的各个位置的特征值作为权重对所述激活特征图的沿通道 维度的特 征矩阵进行点乘以获得生成特 征图； 其中， 所述第 一卷积神经网络模型的最后一层输出的所述生成特征图为所述第 一特征 图。 4.根据权利要求2所述的基于多重注意力 机制的故障检测方法， 其中， 将所述红外图像 通过使用空间注意力机制的第二卷积神经网络以获得第二特征图， 包括： 所述第二卷积神 经网络模型的各层 在层的正向传递中对输入数据进行： 对所述输入数据进行基于二维卷积核的卷积处 理以生成卷积特 征图； 对所述卷积特 征图进行池化处 理以生成池化特 征图； 对所述池化特 征图进行激活 处理以生成激活特 征图； 对所述激活特 征图进行沿通道维度的全局平均池化以获得空间特 征矩阵； 对所述空间特 征矩阵进行 卷积处理和激活 处理以生成权 重向量； 以及 以所述权重向量中各个位置的权重值分别对所述激活特征图的各个特征矩阵进行加 权以获得生成特 征图； 其中， 所述第 二卷积神经网络模型的最后一层输出的所述生成特征图为所述第 二特征 图。 5.根据权利要求4所述的基于多重注意力 机制的故障检测方法， 其中， 计算所述第 一特 征图和所述第二特 征图之间的衍 生信息超凸度量因数， 包括： 以如下公式计算所述第一特征图和所述第二特征图之间的所述衍生信息超凸度量因 数； 其中， 所述公式为： 其中 表示所述第一特征图中的各个位置的特征值， 表示所述第二特征图 中的各个位置的特 征值， |·|表示所述第一特 征图与所述第二特 征图之间的距离 。 6.根据权利要求5所述的基于多重注意力 机制的故障检测方法， 其中， 将所述分类特征 图通过分类 器以获得分类损失函数值， 包括： 所述分类器以如下公式对所述分类特征图进行处理以生成分类结果， 其中， 所述公式 为： softmax{(Wn,Bn):…:(W1,B1)|Project(F)}， 其中Project(F)表示将所述分类特征图投 影为向量， W1至Wn为各层全连接层的权 重矩阵， B1至Bn表示各层全连接层的偏置矩阵； 以及 计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。 7.一种基于多重注意力机制的故障检测系统， 其特 征在于， 包括： 训练模块， 包括： 数据获取单元， 用于通过振动传感器和红外相机获取机械设备的振动信号和红外图 像； 时频图像转化单元， 用于通过变分模态分解和希尔伯特变换方法将所述数据获取单元权　利　要　求　书 2/4 页 3 CN 115410069 A 3