(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210737229.8 (22)申请日 2022.06.27 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 刘晓宇　刘家奇　王照　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 吴文茂　刘芳 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/70(2022.01) G06V 10/80(2022.01) G06V 10/766(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06F 40/42(2020.01) G06N 3/04(2006.01) (54)发明名称 异常状态确定方法、 装置、 设备、 介质及产品 (57)摘要 本申请属于人工智能技术领域， 具体提供一 种异常状态确定方法、 装置、 设备、 介质及产品， 该方法包括： 获取监控区域中被监控 人员的声音 特征数据和人脸特征数据； 所述声音特征数据和 人脸特征数据的数据维度相同； 将所述声音特征 数据和人脸特征数据输入预设人员异常状态确 定模型， 以生成被监控人员处于异常状态的概 率； 若根据所述概率和预设概率阈值确定被监控 人员处于异常状态， 则输出异常状态信息至异常 预警设备。 本申请的异常状态确定方法， 以多模 态的方式确定被监控人员处于异常状态的概率， 准确性较高。 从而提高了异常状态确定的准确 性， 进而， 也提高了安防效果。 权利要求书4页 说明书18页 附图5页 CN 115019371 A 2022.09.06 CN 115019371 A 1.一种人员异常状态确定方法， 其特 征在于， 包括： 获取监控区域中被监控人员的声音特征数据和人脸特征数据； 所述声音特征数据和人 脸特征数据的数据维度相同； 将所述声音特征数据和人脸特征数据输入预设人员异常状态确定模型， 以生成被监控 人员处于异常状态的概 率； 若根据所述概率和预设概率阈值确定被监控人员处于异常状态， 则 输出异常状态信 息 至异常预警设备。 2.根据权利要求1所述的方法， 其特征在于， 所述监控区域为自动取款机的预设范围区 域； 所述获取监控区域中被监控人员的声 音特征数据和人脸特 征数据， 包括： 获取自动取款机发送的异常状态确定指令； 所述异常状态确定指令为所述自动取款机 在被监控人员输入正确账户密码后生成的； 根据所述异常状态确定指令获取所述自动取款机的预设范围区域的声音信号数据和 图像数据； 将所述声 音信号数据输入预设卷积神经网络中， 以提取 所述声音特征数据； 将所述图像数据输入预设人脸识别模型中， 以提取 所述人脸特 征数据。 3.根据权利要求1或2所述的方法， 其特征在于， 所述预设人员异常状态确定模型包括： 多模态融合子模型和分类概 率确定子模型； 所述将所述声音特征数据和人脸特征数据输入预设人员异常状态确定模型， 以生成被 监控人员处于异常状态的概 率， 包括： 将所述声音特征数据和人脸特征数据输入所述多模态融合子模型进行多模态共有特 征处理、 多模态私有特征处理以及多模态特征融合处理， 以生成对应的最终多模态特征数 据； 将所述最终多模态特征数据输入所述分类概率确定子模型进行分类处理和概率确定 处理， 以生成被监控人员处于异常状态的概 率。 4.根据权利要求3所述的方法， 其特征在于， 所述多模态融合子模型包括： 私有特征网 络模块、 共有特 征网络模块和融合回归网络模块； 所述将所述声音特征数据和人脸特征数据输入所述多模态融合子模型进行多模态共 有特征处理、 多模态私有特征处理以及多模态特征融合处理， 以生成对应的最终多模态特 征数据， 包括： 将所述声音特征数据输入所述私有特征网络模块进行图像翻译处理、 私有特征筛选处 理和注意力机制处 理， 以输出翻译后的最终图像私有特 征和第一图像共有特 征； 将所述声音特征数据、 所述人脸特征数据以及所述第 一图像共有特征输入所述共有特 征网络模块进行共有特征提取、 共有特征融合处理和注意力机制处理， 以生成最终共有特 征； 将所述最终图像私有特征和最终共有特征输入所述融合回归网络模块进行特征融合 和回归处 理， 以生成最终多模态特 征数据。 5.根据权利要求4所述的方法， 其特征在于， 所述私有特征网络模块包括： 翻译子模块、 第一注意力机制处 理子模块、 私有特 征掩码矩阵以及第一共有特 征掩码矩阵； 所述将所述声音特征数据输入所述私有特征网络模块进行图像翻译处理、 私有特征筛权　利　要　求　书 1/4 页 2 CN 115019371 A 2选处理和注意力机制处 理， 以输出翻译后的最终图像私有特 征和第一图像共有特 征， 包括： 将所述声 音特征数据输入所述翻译子模块以翻译成对应图像特 征数据； 将所述图像特征数据输入所述第 一共有特征掩码矩阵进行共有特征筛选， 以生成所述 第一图像共有特 征； 将所述图像特征数据输入所述私有特征掩码矩阵进行私有特征筛选， 以生成对应图像 私有特征； 将所述图像私有特征输入所述第 一注意力 机制处理子模块进行注意力 机制处理， 以生 成所述最终图像私有特 征。 6.根据权利要求5所述的方法， 其特征在于， 所述第一注意力机制处理子模块包括： 归 一化指数函数和私有特 征注意力单 元； 所述图像私有特 征为多个； 所述将所述图像私有特征输入所述第 一注意力 机制处理子模块进行注意力 机制处理， 以生成所述 最终图像私有特 征， 包括： 采用所述归一 化指数函数确定各 所述图像私有特 征的注意力权 重； 采用所述私有特征注意力单元根据 预设权重阈值对所述注意力 权重进行筛选， 并将筛 选后对应的图像私有特 征确定为所述 最终图像私有特 征。 7.根据权利要求4所述的方法， 其特征在于， 所述共有特征网络模块包括： 共有特征融 合生成子模块、 门控注意力网络和第二注意力机制处 理子模块； 所述将所述声音特征数据、 所述人脸特征数据以及所述第 一图像共有特征输入所述共 有特征网络模块进行共有特征提取、 共有特征融合处理和注意力机制处理， 以生成最终 图 像共有特 征， 包括： 将所述声音特征数据、 所述人脸特征数据以及所述第 一图像共有特征输入所述共有特 征融合生成子模块进行共有特 征提取和共有特 征融合处 理， 以生成融合共有特 征； 将所述融合共有特征输入所述门控注意力网络进行共有特征优化处理， 以输出优化后 的融合共有特 征； 将所述优化后的融合共有特征输入所述第二注意力机制处理子模块进行注意力机制 处理， 以生成所述 最终共有特 征。 8.根据权利要求7所述的方法， 其特征在于， 所述共有特征融合生成子模块包括： 第二 共有特征掩码矩阵、 长短期记 忆人工神经网络和特 征融合单 元： 所述将所述声音特征数据、 所述人脸特征数据以及所述第 一图像共有特征输入所述共 有特征融合生成子模块进行共有特征提取和共有特征融合处理， 以生成融合共有特征， 包 括： 将所述人脸特征数据输入所述长短期记忆人工神经网络进行卷积处理， 以生成对应第 一中间特 征数据； 将所述第一中间特征数据输入所述第 二共有特征掩码矩阵进行共有特征筛选， 以生成 对应第二图像共有特 征； 将所述声音特征数据输入所述长短期记忆人工神经网络进行卷积处理， 以生成对应第 二中间特 征数据； 将所述第二中间特征数据输入所述第 二共有特征掩码矩阵进行共有特征筛选， 以生成 对应声音共有特 征；权　利　要　求　书 2/4 页 3 CN 115019371 A 3