(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211107295.3 (22)申请日 2022.09.13 (71)申请人 东莞理工学院 地址 523808 广东省东莞 市松山湖科技产 业园区大 学路1号 (72)发明人 李醒　孙悦超　王建辉　朱宇轩　 (74)专利代理 机构 北京中强智尚知识产权代理 有限公司 1 1448 专利代理师 王欢 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/08(2006.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 20/40(2022.01) (54)发明名称 基于多尺度时空分解卷积网络的上肢康复 动作识别方法 (57)摘要 本申请公开了一种基于多尺度时空分解卷 积网络的上肢康复动作识别方法， 包括： 对上肢 康复动作进行采集， 获得若干样本视频数据； 基 于各所述样 本视频数据进行视频帧采样， 获得若 干样本视频帧序列； 对各所述样 本视频帧序列分 别进行混合数据增强处理， 获得若干处理后的样 本视频帧序列； 基于各所述处理后的样本视频帧 序列对初始多尺度时空分解卷积网络模型进行 模型训练， 获得目标多尺度时空分解卷积网络模 型； 基于所述目标多尺度时空分解卷积网络模型 对待识别的目标视频数据进行动作识别， 获得动 作识别结果。 本申请中的方法能够快速、 准确地 对待识别的目标视频数据进行动作识别， 提高了 动作识别的效率以及准确度。 权利要求书2页 说明书14页 附图5页 CN 115223250 A 2022.10.21 CN 115223250 A 1.一种基于多尺度时空分解卷积网络的上肢康复动作识别方法， 其特 征在于， 包括： 对上肢康复动作进行采集， 获得若干样本 视频数据； 基于各所述样本 视频数据进行视频帧采样， 获得若干样本 视频帧序列； 对各所述样本视频帧序列分别进行混合数据增强处理， 获得若干处理后的样本视频帧 序列； 基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络模型进行模型 训练， 获得目标多尺度时空分解卷积网络模型； 基于所述目标多尺度时空分解卷积网络模型对待识别的目标视频数据进行动作识别， 获得动作识别结果。 2.如权利要求1所述的方法， 其特征在于， 所述对上肢康复动作进行采集， 获得若干样 本视频数据， 具体包括： 根据上肢运动康复标准和Fugl ‑Meyer运动功能评估量表的上肢板块结合脑卒中日常 康复训练动作， 设计上肢康复动作集； 基于摄像机采集不同性别以及不同年龄的用户执行所述上肢康复动作集的视频图像， 以获得所述若干样本 视频数据。 3.如权利要求1所述的方法， 其特征在于， 所述基于各所述样本视频数据进行视频帧采 样， 获得若干样本 视频帧序列， 具体包括： 基于预设的滑动窗口采用滑动间隔采样的方式， 分别对各所述样本视频帧数据进行视 频帧采样， 以获得 所述若干样本 视频帧序列。 4.如权利要求1所述的方法， 其特征在于， 对各所述样本视频帧序列分别进行混合数据 增强处理， 获得若干处 理后的样本 视频帧， 具体包括： 基于随机光度增强、 随机噪声以及随机几何变换， 按照随机顺序， 依次对各样本视频帧 序列进行 数据增强处 理， 以获得与各样本 视频帧序列对应的处 理后的样本 视频帧序列； 其中， 所述随机光度增强包括如下任意一种或几种： 随机亮度、 随机对比度、 随机饱和 度以及随机色调； 所述随机噪声包括： 椒盐噪声或高斯噪声； 所述随机几何变换包括如下任意 一种或几种： 随机 裁剪、 随机旋转以及随机反转。 5.如权利要求1所述的方法， 其特征在于， 所述初始多尺度时空分解卷积网络模型依次 包括： 初始第一时空分解卷积层、 初始第一池化层、 初始第二时空分解卷积层、 初始第三时 空分解卷积层、 初始第二池化层、 初始第一时域多尺度卷积层、 初始第三池化层、 初始第二 时域多尺度卷积层、 初始第四池化层、 初始第三时域多尺度卷积层以及 初始第五池化层； 所述基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络模型进行 模型训练， 获得目标多尺度时空分解卷积网络模型， 具体包括： 依次基于初始第 一时空分解卷积层、 初始第一池化层、 初始第二 时空分解卷积层、 初始 第三时空分解卷积层、 初始第二池化层、 初始第一时域多尺度卷积层、 初始第三池化层、 初 始第二时域多尺度卷积层、 初始第四池化层、 初始第三时域多尺度卷积层以及初始第 五池 化层对各所述样本视频帧序列进 行特征提取处理， 获得与各样本视频帧序列对应的第一目 标特征向量； 基于各所述第一目标 特征向量获得与各样本 视频帧序列对应的第一动作识别结果；权　利　要　求　书 1/2 页 2 CN 115223250 A 2基于各所述样本视频帧序列的第一动作识别结果以及各所述样本视频帧序列对应的 动作标签， 分别对所述初始第一时空分解卷积层、 初始第一池化层、 初始第二时空分解卷积 层、 初始第三时空分解卷积层、 初始第二池化层、 初始第一时域多尺度卷积层、 初始第三池 化层、 初始第二时域多尺度卷积层、 初始第四池化层、 初始第三时域多尺度卷积层以及初始 第五池化层中的参数进 行调整， 获得目标第一时空分解卷积层、 目标第一池化层、 目标第二 时空分解卷积层、 目标第三时空分解卷积层、 目标第二池化层、 目标第一时域多尺度卷积 层、 目标第三池化层、 目标第二时域多尺度卷积层、 目标第四池化层、 目标第三时域多尺度 卷积层以及目标第五池化层， 以获得 所述目标多尺度时空分解卷积网络模型。 6.如权利要求2所述的方法， 其特征在于， 所述上肢康复动作集包括如下任意一种或几 种康复动作： 上肢摸高、 喝水、 肩部水平外展、 梳 头、 肩部屈曲、 肘部屈曲、 肘关节屈、 提裤。 7.一种基于多尺度时空分解卷积网络的上肢康复动作识别装置， 其特 征在于， 包括： 动作采集模块， 用于对上肢康复动作进行采集， 获得若干样本 视频数据； 采样模块， 用于基于各 所述样本 视频数据进行视频帧采样， 获得若干样本 视频帧序列； 数据增强模块， 用于对各所述样本视频帧序列分别进行混合数据增强处理， 获得若干 处理后的样本 视频帧序列； 训练模块， 用于基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络 模型进行模型训练， 获得目标多尺度时空分解卷积网络模型； 识别模块， 用于基于所述目标多尺度时空分解卷积网络模型对待识别的目标视频数据 进行动作识别， 获得动作识别结果。 8.如权利要求7 所述的装置， 其特 征在于， 所述动作采集模块具体用于： 根据上肢运动康复标准和Fugl ‑Meyer运动功能评估量表的上肢板块结合脑卒中日常 康复训练动作， 设计上肢康复动作集； 基于摄像机采集不同性别以及不同年龄的用户执行所述上肢康复动作集的视频图像， 以获得所述若干样本 视频数据。 9.一种存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计算机程序被处 理器执行时实现上述权利要求 1‑6任一项所述基于多尺度时空分解卷积网络的上肢康复动 作识别方法的步骤。 10.一种电子设备， 其特征在于， 至少包括存储器、 处理器， 所述存储器上存储有计算机 程序， 所述处理器在执行所述存储器上 的计算机程序时实现上述权利要求1 ‑6任一项所述 基于多尺度时空分解卷积网络的上肢康复动作识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 115223250 A 3