(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111452903.X (22)申请日 2021.11.30 (71)申请人 北京津发科技股份有限公司 地址 100089 北京市海淀区清河安宁庄东 路18号23号楼北辅房202号 (72)发明人 赵起超　杨苒　 (74)专利代理 机构 北京维正专利代理有限公司 11508 代理人 卓凡　梁栋 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/20(2022.01) G06F 3/0484(2022.01) G06N 20/00(2019.01) (54)发明名称 一种多模态人机交互与状态智能预警的方 法、 装置及系统 (57)摘要 本申请涉及一种多模态人机交互与状态智 能预警的方法、 装置及系统， 该方法包括多通道 人机交互流程， 尤其是其中的状态智能预警流 程， 能够实时从多模态采集设备获取操作人的身 心状态指标数据； 并将从不同采集设备获取的身 心状态指标数据输入对应预测模型得到对应预 测目标的状态阶段； 再根据每个所述预测目标的 所述状态阶段触发对应预警操作。 本申请丰富了 自然人机交互非接触式指令输入的方式， 能够有 效降低人机交互过程中人因失误、 提高安全性， 同时， 提升系统交互性能以及人机匹配能力与人 机交互效率。 权利要求书3页 说明书10页 附图2页 CN 114327046 A 2022.04.12 CN 114327046 A 1.一种多模态人机交互与状态智能预警的方法， 其特征在于， 执行任意一种人机交互 流程或多种人机交互流程同步执行， 所述人机交互流程包括脑机交互流程、 眼动交互流程、 肌电交互流程、 手势交 互流程、 语音交 互流程、 情感交 互流程和状态智能预警流 程； 其中： 所述眼动交互流程： 根据实时获取的眼动数据确定对应操作显示项， 并触发操作所述 操作显示项的对应指令； 所述手势交互流程： 根据实时获取的手势参数判定当前手势， 并根据手势判定结果触 发对应指令； 所述状态智能预警流 程： 实时从多模态的采集设备获取操作人的身心状态指标 数据； 根据从不同采集设备获取的所述身心状态指标 数据得到对应预测目标的状态阶段； 根据每个所述预测目标的所述状态阶段触发对应预警操作。 2.根据权利要求1所述的方法， 其特征在于， 所述根据实时获取的眼动数据确定对应操 作显示项， 并触发操作所述操作显示项的对应指令， 包括： 实时获取眼动数据； 其中， 所述眼动数据包括用户眼睛注视位置在眼动仪上的第一坐 标以及对应注视的有效值； 将每次获取的所述第 一坐标转换为操作显示项所在第 一屏幕的第 二坐标， 并根据 所述 第二坐标在所述第一屏幕上查找到对应操作显示项； 根据所述有 效值判断对所述操作显示项的操作有效性； 并在操作有 效性为有效时触发 操作所述操作显示项的对应指令 。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 二坐标在所述第 一屏幕上 查找到对应操作显示项包括： 获取所述第一屏幕上 各个显示项的坐标； 判断所述第 二坐标是否在显示项的第 一区域内， 如果所述第 二坐标在显示项的第 一区 域内， 判定所述显示项为对应操作显示项； 其中， 所述第一区域 为以显示项的坐标为圆心， 以预设第一 值为半径的区域。 4.根据权利要求2所述的方法， 其特征在于， 所述有 效值为注视所述第 一坐标位置的持 续时间； 所述根据所述有效值判断对所述操作显示项的操作有效性包括： 判断所述有效值是否大于预设阈值， 如果大于所述预设阈值， 对所述操作显示项的操 作有效性 为有效； 如果小于等于所述预设阈值， 对所述操作显示项的操作有效性 为无效。 5.根据权利要求1所述的方法， 其特 征在于， 所述手势参数包括： 左手参数hand.IsLeft， 如果所述左手参数为有效状态， 做出当前手势的是左手； 右手参数hand.IsRight， 如果所述右手参数为有效状态， 做出当前手势的是右手； 抓样强度参数hand.GrabStrength， 值在0至1之间； 当抓样强度参数为0时， 手部状态为 完全展开状态； 当抓样强度参数为1时， 手部状态为握拳状态； 掌心垂直方向参数hand.PalmNormal， 用于判断手掌掌心垂直方向， 掌心垂直方向参数 为横坐标X， 表示掌心垂 直方向为水平； 掌心垂 直方向参数为 纵坐标Y， 表示掌心垂 直方向为 竖直； 手移动方向参数hand.PalmVelocity， 用于判断手移动方向， 手移动方向参数为横坐标权　利　要　求　书 1/3 页 2 CN 114327046 A 2X， 表示手移动方向为左右， 手移动方向参数为横坐标Y， 表示手移动方向为上 下方向。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述手势参数判定当前手势， 并 根据手势判定结果触发对应指令， 包括： 根据所述左手参数和所述右手参数判断做当前手势为左手做出还是右手做出， 得到第 一结果； 根据所述 抓样强度参数判断所述手部状态， 得到第二结果； 根据所述掌心 垂直方向参数判断掌心 垂直方向， 得到第三结果； 根据所述手移动方向参数判断手移动方向， 得到第四结果； 根据所述第一结果、 所述第二结果、 所述第三结果和所述第四结果得到当前手势； 根据当前手势触发当前手势对应的指令 。 7.根据权利要求1所述的方法， 其特征在于， 所述根据从不同采集设备获取的所述身心 状态指标 数据得到对应预测目标的状态阶段， 包括： 将从不同采集设备获取的所述身心状态指标数据输入对应的预测模型得到对应预测 目标的状态阶段。 8.根据权利要求7 所述的方法， 其特 征在于， 所述预测模型的训练方法包括以下步骤： 收集所述预测目标的样本数据集； 其中， 所述样本数据集包括多个样本数据， 每个样本 数据包括 一个人在所述预测目标的不同状态阶段对应的所述身心状态指标 数据； 对所述样本数据集中的每 个样本数据按照状态阶段进行分类， 并分别标注； 将分类标注后的所述样本数据集分为训练集和 测试集； 通过所述训练集对构建的预测模型进行训练， 在迭代预设训练周期后， 得到最终的预 测模型； 将测试集中的每个样本数据依次输入训练后的预测模型， 得到对应的测试结果； 其中， 所述测试结果包括所述测试集中的每个样本数据输入训练后的预测模型后， 预测模型输出 的状态阶段； 根据所述测试结果计算本次训练后的所述预测模型的评估指标； 当评估指标符合要求 时训练结束。 9.根据权利要求1所述的方法， 其特征在于， 所述根据从不同采集设备获取的所述身心 状态指标 数据得到对应预测目标的状态阶段， 包括： 判断对应采集设备获取的身心状态指标 数据与对应 状态预设值的关系； 如果所述身心状态指标数据都大于状态预设值， 对应预测目标的状态阶段为第 一状态 阶段； 如果所述身心状态指标数据都小于状态预设值， 对应预测目标的状态阶段为第 二状态 阶段； 如果所述身心状态指标数据不全大于或不全小于状态预设值， 对应预测目标的状态阶 段为第三状态阶段。 10.根据权利要求1所述的方法， 其特 征在于， 所述预警操作包括： 以不同颜色边框 显示不同所述状态阶段的方式输出 所述状态阶段的预警状态； 通过语音播 放不同所述状态阶段的方式输出 所述状态阶段的预警状态； 通过发送预警消息的方式输出 所述状态阶段的预警状态。权　利　要　求　书 2/3 页 3 CN 114327046 A 3