(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211058205.6 (22)申请日 2022.08.30 (71)申请人 深圳市声扬科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室(入驻深圳市 前海商务秘书 有限公司) (72)发明人 陈东鹏　张伟彬　 (74)专利代理 机构 深圳市智圈知识产权代理事 务所(普通 合伙) 44351 专利代理师 李璇 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 40/70(2022.01)G06K 9/62(2022.01) G06V 10/80(2022.01) G06N 5/00(2006.01) (54)发明名称 基于多模态的识别方法、 装置、 电子设备及 存储介质 (57)摘要 本申请公开了一种基于多模态的识别方法， 应用于车辆， 所述车辆包括至少两种传感器， 该 方法包括： 获取通过所述至少两种传感器检测到 的所述车辆内的至少两种传感数据， 并获取所述 车辆所处的当前环境； 基于所述车辆所处的当前 环境， 确定所述至少两种传感数据各自对应的目 标置信度； 基于所述至少两种传感数据各自对应 的目标置信度， 确定所述至少两种传感数据各自 对应的权重； 将所述至少两种传感数据和所述至 少两种传感数据各自对应的权重输入至多模态 识别模型中， 获得所述多模态识别模 型输出的识 别结果。 通过本申请的方法能够提高最后识别结 果的准确性， 避免由于某一传感器失效导致识别 结果与实际相差巨大的问题， 同时提高了乘员的 体验。 权利要求书2页 说明书13页 附图4页 CN 115457519 A 2022.12.09 CN 115457519 A 1.一种基于多模态的识别方法， 其特征在于， 应用于车辆， 所述车辆包括至少两种传感 器， 所述方法包括： 获取通过所述至少两种传感器检测到的所述车辆 内的至少两种传感数据， 并获取所述 车辆所处的当前环境； 基于所述车辆所处的当前环境， 确定所述至少两种传感数据各自对应的目标置信度； 基于所述至少两种传感数据 各自对应的目标置信度， 确定所述至少两种传感数据 各自 对应的权 重； 将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识 别模型中， 获得 所述多模态 识别模型输出的识别结果。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述车辆所处的当前环境， 确定 所述至少两种传感数据各自对应的目标置信度， 包括： 获取所述至少两种传感数据各自对应的预设置信度； 基于所述车辆所处的当前环境对所述至少两种传感数据各自对应的所述预设置信度 进行调整， 获得 所述至少两种传感数据各自对应的所述目标置信度。 3.根据权利要求2所述的方法， 其特征在于， 所述获取所述至少两种传感数据 各自对应 的预设置信度， 包括： 确定所述至少两种传感器各自在所述车辆内的位置信息； 基于所述至少两种传感器各自在所述车辆 内的位置信 息， 确定所述至少两种传感器对 应的至少两种传感数据各自对应的所述预设置信度。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述至少两种传感器各自在所述 车辆内的位置信息， 确定所述至少两种传感器对应的至少两种传感数据各自对应的预设置 信度， 包括： 确定待识别对象在所述车辆内的位置信息； 基于所述至少两种传感器各自在所述车辆内的位置信息和所述待识别对象在所述车 辆内的位置信息， 确定所述至少两种传感器对应的至少两种传感数据各自对应的所述预设 置信度。 5.根据权利要求1所述的方法， 其特征在于， 所述将所述至少两种传感数据和所述至少 两种传感数据各自对应的权重输入至多模态识别模型中， 获得所述多模态识别模型输出的 识别结果， 包括： 根据所述至少两种传感数据， 确定所述至少两种传感数据对应的识别任务； 将所述识别任务、 所述至少两种传感数据和所述至少两种传感数据各自对应的权重输 入至所述多模态 识别模型中进行识别， 获得 所述多模态 识别模型输出的识别结果。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 所述将所述至少两种传感数据和 所述至少两种传感数据各自对应的权重输入至多模态识别模型中， 获得所述多模态识别模 型输出的识别结果， 包括： 基于所述至少两种传感数据 各自对应的权重， 对所述至少两种传感数据的数据 特征进 行加权融合， 得到融合特 征； 将所述融合特征输入至所述多模态识别模型中， 获得所述多模态识别模型输出的识别 结果。权　利　要　求　书 1/2 页 2 CN 115457519 A 27.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 在所述将所述至少两种传感数据 和所述至少两种传感数据各自对应的权重输入至多模态识别模型中， 获得所述多模态识别 模型输出的识别结果之后， 还 包括： 根据所述识别结果输出提示信息， 其中， 所述提示信息用于提示用户根据所述识别结 果进行处 理。 8.一种基于多模态的识别装置， 其特征在于， 应用于车辆， 所述车辆包括至少两种传感 器， 所述装置包括： 传感数据获取模块， 用于获取通过所述至少两种传感器检测到的所述车辆 内的至少两 种传感数据， 并获取 所述车辆所处的当前环境； 目标置信度确定模块， 用于基于所述车辆所处的当前环境， 确定所述至少两种传感数 据各自对应的目标置信度； 权重确定模块， 用于基于所述至少两种传感数据各自对应的目标置信度， 确定所述至 少两种传感数据各自对应的权 重； 识别结果获取模块， 用于将所述至少两种传感数据和所述至少两种传感数据 各自对应 的权重输入至多模态 识别模型中， 获得 所述多模态 识别模型输出的识别结果。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 处理器； 存储器， 所述存储器上存储有计算机可读指令， 所述计算机可读指令被所述处理器执 行时， 实现如权利要求1至7中任一项所述的方法。 10.一种计算机可读取存储介质， 其特征在于， 所述计算机可读取存储介质中存储有程 序代码， 所述 程序代码可被处 理器调用执 行如权利要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115457519 A 3