(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211013632.2 (22)申请日 2022.08.23 (71)申请人 深圳市赛 为智能股份有限公司 地址 518000 广东省深圳市龙岗区南湾街 道下李朗社区联李东路8号赛为大楼 A101至15楼 (72)发明人 王秋阳　胡懋成　汪玉冰　郑博超　 周婧雯　凤阳　刘丹　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 周永敬 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/46(2022.01) G06V 10/80(2022.01)G06V 20/40(2022.01) (54)发明名称 基于关键点及光流的人体行为识别方法、 装 置及设备 (57)摘要 本发明实施例公开了一种基于关键点及光 流的人体行为识别方法、 装置及设备， 方法包括： 获取检测区域内的图像数据； 对图像数据进行切 帧处理， 以得到多帧静态图片； 将多帧静态图片 以图片序列的形式输入至人体行为预测模型中 进行处理， 以得到人体行为识别结果。 本发明在 骨骼关键点位置特征中融合光流特征， 然后对融 合后的特征使用图卷积神经网络进行行为识别， 很好的结合了关键点长短时间序列的特征， 提高 了识别率。 使用光流模型可以很好的提取光流信 息。 另外， SPO ‑GCN可以同时提取原图信息， 骨骼 关键点位置信息以及光流信息， 并将三者信息进 行融合， 同时在空间， 时间序列维度上进行行为 预测， 使得模型 更加鲁棒， 提高了模型的准确度。 权利要求书2页 说明书13页 附图2页 CN 115359566 A 2022.11.18 CN 115359566 A 1.基于关键点及光 流的人体行为识别方法， 其特 征在于， 包括： 获取检测区域内的图像数据； 对图像数据进行切帧处 理， 以得到多帧静态图片； 将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理， 以得到人体 行为识别结果。 2.根据权利要求1所述的基于关键点及光流的人体行为识别方法， 其特征在于， 所述将 多帧静态图片以图片序列的形式输入至人体行为预测模型中进行 处理， 以得到人体行为识 别结果， 包括： 将多帧静态图片以图片序列的形式输入至跟踪模型进行处理， 以得到带有id索引的人 物图像； 将带有id索引的人物图像输入目标检测与关键点检测模型进行处理， 以得到不同id人 物的人体骨骼关键点信息； 将带有id索引的人物图像输入至光 流模型中进行处 理， 以得到二维光 流特征图； 将人体骨骼关键点信息、 二维光流特征图输入至 图模型进行处理， 以得到人体行为识 别结果。 3.根据权利要求2所述的基于关键点及光流的人体行为识别方法， 其特征在于， 所述将 多帧静态图片以图片序列的形式输入至跟踪模型进行处理， 以得到带有id索引的人物图 像， 包括： 将多帧静态图片以图片序列的形式输入至跟踪模型， 以检测出不同的人体目标框； 对检测出的不同的人体目标框赋予索引id， 以得到带有id索引的人物图像。 4.根据权利要求2所述的基于关键点及光流的人体行为识别方法， 其特征在于， 所述将 带有id索引的人物图像输入目标检测与关键点检测模型进 行处理， 以得到不同id人物的人 体骨骼关键点信息， 包括： 对带有id索引的人物图像添加keypoints分支进行关键点检测， 以得到id人物的人体 骨骼关键点信息 。 5.根据权利要求2所述的基于关键点及光流的人体行为识别方法， 其特征在于， 所述将 带有id索引的人物图像输入至光 流模型中进行处 理， 以得到二维光 流特征图， 包括： 使用特征描述算子对前后两帧带有id索引的人物图像分别提取运动显著特征， 以得到 第一特征图和第二特 征图； 将第一特 征图和第二特 征图逐像素求相关性处 理， 以得到相关性特 征； 将相关性特 征输入到卷积层和残差层进行处 理后， 得到处 理后的特 征； 将处理后的特 征进行上采样放大处 理， 以得到第一阶段的光 流信息； 利用第一阶段的光 流信息对提取到的光 流特征图进行Warp操作， 以得到Warp特 征图； 使用Subtracting  Operator对第二特征图和Warp特征图进行element ‑wise  subtraction处理， 以得到特 征差图； 将特征差图和第一特征 图输入到FlowNetCorr网络中进行光流估计， 以得到二维光流 特征图。 6.根据权利要求5所述的基于关键点及光流的人体行为识别方法， 其特征在于， 所述利 用第一阶段的光 流信息对提取到的光 流特征图进行Warp操作， 以得到Warp特 征图， 包括：权　利　要　求　书 1/2 页 2 CN 115359566 A 2使用特征描述算子运动边界直方图对前后两帧带有id索引的人物图像进行运动物体 边界信息的特 征提取； 对提取到的运动物体边界信息中的x方向和y方向上的光流图进行HOG特征计算， 以得 到x方向和y方向上光 流特征图； 将x方向和y方向上的光 流特征图进行合并， 以得到合并后的光 流特征图； 对合并后的光 流特征图进行双线性插值处 理， 以得到Warp特 征图。 7.根据权利要求2所述的基于关键点及光流的人体行为识别方法， 其特征在于， 所述将 人体骨骼关键点信息、 二 维光流特征图输入至图模 型进行处理， 以得到人体行为识别结果， 包括： 基于人体骨骼关键点信息构建骨骼 节点图； 基于静态图片的像素信息构建像素图； 基于二维光 流特征图构建光 流图； 对骨骼节点图、 像素图和光流图进行时间特征提取和 空间特征提取， 以得到第一时空 特征图、 第二时空特 征图和第三时空特 征图； 将第一时空特征图、 第二时空特征图和第三时空特征图进行融合处理， 得到融合特征 图； 将融合特 征图通过全连接层和SoftMax处 理， 以得到人体行为识别结果。 8.基于关键点及光 流的人体行为识别装置， 其特 征在于， 包括： 获取单元， 用于获取检测区域内的图像数据； 第一处理单元， 用于对图像数据进行切帧处 理， 以得到多帧静态图片； 第二处理单元， 用于将多帧静态图片以图片序列的形式输入至人体行为预测模型中进 行处理， 以得到人体行为识别结果。 9.一种计算机设备， 其特征在于， 包括存储器、 处理器以及存储在所述存储器上并可在 所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1～7 中任意一项所述的基于关键点及光 流的人体行为识别方法步骤。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计 算机程序包括程序指 令， 所述程序指 令被处理器执行时， 使得所述处理器执行如权利要求 1 ～7任意一项所述的基于关键点及光 流的人体行为识别方法步骤。权　利　要　求　书 2/2 页 3 CN 115359566 A 3