(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210666670.1 (22)申请日 2022.06.14 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 张铁　孙韩磊　邹焱飚　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李秋武 (51)Int.Cl. G06F 3/01(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) B25J 9/16(2006.01)B25J 9/22(2006.01) (54)发明名称 基于人类技能学习及 模仿的人-机器人协同 控制方法 (57)摘要 本发明提供了基于人类技能学习及模仿的 人‑机器人协同控制方法， 包括以下步骤： 人类导 师拖动机器人自由运动， 采集该过程中人类导师 的手臂肌肉群的肌电信号和关节转角信息以及 真实的手臂力量作为三维手臂力量估计模型的 训练样本； 提取肌电信号中的幅值信息和震颤信 息； 对幅值信息和关节转角信息进行数据融合， 获得三维运动方向的力相关信息； 借助添加了肌 电信号修正单元和输入输出控制单元的并联长 短时记忆神经网络构建三维手臂力量估计模型； 建立手臂力量为输入和运动速度为输出的回归 关系， 完成人类协作技能模仿模型的构建； 将三 维手臂力量转化为机器人的速度调整量， 从而控 制机器人配合人类完成协作任务， 让协作系统具 备更加柔顺的交互性能。 权利要求书2页 说明书9页 附图4页 CN 115268629 A 2022.11.01 CN 115268629 A 1.基于人类技能学习及模仿的人 ‑机器人协同控制方法， 其特征在于， 该方法包括信号 采集及处理、 三 维手臂力量估计模型的构建、 人类协作技能模仿模型的构建和人 ‑机器人协 作， 分别对应如下步骤： 步骤1、 人类导师通过施加不同的大小和方向的手臂力量拖动机器人自由运动， 采集该 过程中人类导师的手臂肌肉群的肌电信号和关节转角信息以及真实的手臂力量作为三维 手臂力量估计模型 的训练样本； 并采用均方根滤波器提取肌电信号中的幅值信息， 采用快 速傅里叶变换提取肌电信号中震颤信息， 从而完成信号采集及处 理； 步骤2、 采用快速正交搜索方法， 对得到的幅值信息和关节转角信息进行数据融合， 获 得三维运动方向的力相关信息； 将获取的幅值信息、 震颤信息和力相关信息作为输入， 真实 的手臂力量为输出， 借助添加了肌电信号修正单元和输入输出控制单元的并联长短时记忆 神经网络， 构建用于估计得到三维手臂力量的三维手臂力量估计模型； 步骤3、 借助三维手臂力量估计模型和角度传感器获得人类协作演示过程的手臂力量 信息和速度信息， 建立手臂力量为输入和运动速度为输出 的回归关系， 从而完成人类协作 技能模仿模型的构建； 步骤4、 依据构建的人类协作技能模仿模型， 将估计得到的三维手臂力量直接转化为机 器人的速度调整量， 从而控制机器人配合人类完成协作任务。 2.根据权利要求1所述的基于人类技 能学习及模仿的人 ‑机器人协同控制方法， 其特征 在于， 所述手臂肌肉群的肌电信号包括三角肌前端、 三角肌后端、 肱二头肌、 肱三头肌、 胸大 肌和冈下肌的肌电信号。 3.根据权利要求1所述的基于人类技 能学习及模仿的人 ‑机器人协同控制方法， 其特征 在于， 所述关节转角信息包括肘关节转角信息和肩关节转角信息 。 4.根据权利要求1所述的基于人类技 能学习及模仿的人 ‑机器人协同控制方法， 其特征 在于， 所述震颤信息为 4‑12Hz的肌电信号平均幅值， 其表达式为： 式中， EFFT为震颤信息， FEraw[k]为时域信号的双边功率密度谱的第k个数值， 其由快速 傅里叶变换求得； N为样本数据量； nmin和nmax分别代表频率为4Hz和12Hz 时对应的双边功率 密度谱序列号。 5.根据权利要求2所述的基于人类技 能学习及模仿的人 ‑机器人协同控制方法， 其特征 在于， 所述快速正交搜索方法采用提取信号与实际输出臂力的相关系 数作为迭代标准， 提 取去除关节转动影响的力相关肌电信号幅值信息， 迭代标准的表达式为， 式中， Cov(Fy,Ey)为力相关信息Ey与测量臂力Fy的协方差； Var[Fy]为手臂力量Fy的方 差； Var[Ey]为力相关信息 Ey的方差。 6.根据权利要求5所述的基于人类技 能学习及模仿的人 ‑机器人协同控制方法， 其特征权　利　要　求　书 1/2 页 2 CN 115268629 A 2在于， 所述肌电信号 修正单元采用基于低通离 散滤波器原理的神经网络结构， EES[n]＝EES[n‑1]+σ(EFFTWE+bE)(ERMS[n]‑EES[n‑1])； 式中， EES[n]为第n个数据修正后的肌电信号； WE和bE为肌电信号修正单元的权值和偏 置； σ(·)为Sigmo id函数； ERMS[n]为第n个经均方根滤波处 理的肌电信号幅值信息 。 7.根据权利要求6所述的基于人类技 能学习及模仿的人 ‑机器人协同控制方法， 其特征 在于， 所述输入输出控制单 元采用朴素贝叶斯 算法获取 人类运动意图的方向， 其表达式为， 式中， ERMS1,ERMS2，……， ERMS6为待分类样本， 分别为六块肌 肉群均方根滤波后的肌电信 号幅值信息； yk为人类运动意图方向， 分为四种特征属性， 分别为无输出力、 X轴方向力、 Y轴 方向力和Z轴方向力， 其中当三个方向的力均小于4N视为无输出力； P(ERMSi|yk)为特征属性 发生情况下各 分类样本的概率； P(yk)为各特征属性发生的条件概率； P(ERMSi)为分类样本出 现的概率； yt为当前时刻人类运动意图方向。 8.根据权利要求1所述的基于人类技 能学习及模仿的人 ‑机器人协同控制方法， 其特征 在于， 所述并联长 短时记忆神经网络采用三个并联结构的子LSTM神经网络 分别对三 维手臂 力量进行估计。 9.根据权利要求1所述的基于人类技 能学习及模仿的人 ‑机器人协同控制方法， 其特征 在于， 所述人类协作技能模仿模 型采用基于K ‑means聚类的多模型高斯过程回归算法， 得到 手臂力量与速度调整量的回归关系。 10.根据权利要求1所述的基于人类技能学习及模仿的人 ‑机器人协同控制方法， 其特 征在于， 所述人类协同技能模仿模型为人类面对力量信息变化时的速度调整技能。权　利　要　求　书 2/2 页 3 CN 115268629 A 3