(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211012593.4 (22)申请日 2022.08.23 (71)申请人 深圳市赛 为智能股份有限公司 地址 518000 广东省深圳市龙岗区南湾街 道下李朗社区联李东路8号赛为大楼 A101至15楼 (72)发明人 胡懋成　王秋阳　周婧雯　汪玉冰　 郑博超　凤阳　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 周永敬 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 多人行为识别方法、 装置、 计算机设备及存 储介质 (57)摘要 本发明实施例公开了一种多人行为识别方 法、 装置、 计算机设备及存储介质， 其中方法包 括： 获取检测区域内的图像数据； 对图像数据进 行切帧处理， 以得到多帧静态图片； 将多帧静态 图片以图片序列的形式输入至人体行为预测模 型中进行处理， 以得到人体行为识别结果。 本发 明结合了多目标跟踪、 关键点检测以及光流估计 方法， 可以有效的对多目标移动的人体进行实时 行为识别， 对较 短时间段内大幅移动人体的行为 检测有很好的兼容性， 提高了模 型在不同场景识 别的鲁棒性以及准确性， 使 得模型对于复杂内容 的图像有较好的理解能力。 权利要求书3页 说明书16页 附图2页 CN 115359563 A 2022.11.18 CN 115359563 A 1.多人行为识别方法， 其特 征在于， 包括： 获取检测区域内的图像数据； 对图像数据进行切帧处 理， 以得到多帧静态图片； 将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理， 以得到人体 行为识别结果。 2.根据权利要求1所述的多人行为识别方法， 其特征在于， 所述将多帧静态图片以图片 序列的形式输入至人体行为预测模型中进行处 理， 以得到人体行为识别结果， 包括： 将多帧静态图片以图片序列的形式输入至跟踪模型进行处理， 以得到带有id索引的人 物图像； 将带有id索引的不同人物图像输入至关键点检测模型进行处理， 以得到关键点热力 图； 将带有id索引的人物图像输入至光 流模型中进行处 理， 以得到光 流特征图； 将关键点热力图和光流特征图输入至视频分类模型中进行处理， 以得到人体行为识别 结果。 3.根据权利要求2所述的多人行为识别方法， 其特征在于， 所述将带有id索引的不同人 物图像输入至关键点检测模型进行处 理， 以得到关键点热力图， 包括： 将带有id索引的不同人物图像输入到多个串联的ExtrackBlock中进行处理， 以得到人 物特征； 将人物特 征进行输入到Refi neBlock进行处 理， 以得到关键点热力图。 4.根据权利要求3所述的多人行为识别方法， 其特征在于， 所述将带有id索引的不同人 物图像输入到多个串联的Ext rackBlock中进行处 理， 以得到人物特 征， 包括： 将带有id索引的不同人物图像分别进行深度 可分离卷积和空间可分离卷积处理， 以得 到深度卷积特 征和空间卷积特 征； 将深度卷积特 征和空间卷积特 征进行相加处 理， 以得到相加结果特 征； 将相加结果特征分别通过第 一卷积、 第二卷积、 第 三卷积和第四卷积进行处理， 以得到 第一卷积特 征、 第二卷积特 征、 第三卷积特 征和第四卷积特 征； 将第一卷积特征、 第二卷积特征、 第 三卷积特征和第四卷积特征分别 输入到4个注意力 机制分支中进 行处理， 以分别得到第一注意力分支特征、 第二注意力分支特征、 第三注意力 分支特征和第四注意力分支特 征； 将第一注意力分支特征、 第二注意力分支特征、 第三注意力分支特征和第 四注意力分 支特征进行co ncat处理， 以得到结合特 征； 将结合特 征与空间卷积特 征进行合并， 以得到人物特 征。 5.根据权利要求3所述的多人行为识别方法， 其特征在于， 所述将人物特征进行输入到 RefineBlock进行处 理， 以得到关键点热力图， 包括： 将人物特 征通过可变形卷积处理， 以得到可变形 卷积特征； 将可变形 卷积特征输入至SCSE中进行处 理， 以得到注意力权 重特征； 将可变形卷积特征输入到混合深度卷积网络并连接sigmoid层进行处理， 以得到注意 力特征图； 将注意力权重特征与注意力特征图进行相乘处理后得到的结果与可变形卷积特征进权　利　要　求　书 1/3 页 2 CN 115359563 A 2行相加处 理， 以得到 输出特征； 将输出特征通过双线性插值 放大到原 始尺寸， 以得到关键点热力图。 6.根据权利要求2所述的多人行为识别方法， 其特征在于， 所述将带有id索引的人物图 像输入至光 流模型中进行处 理， 以得到光 流特征图， 包括： 将前后两帧带有id索引的人物图像输入到残差卷积进行处理， 以得到第 一残差卷积特 征和第二残差卷积特 征； 将第一残差卷积特征和第二残差卷积特征分别输入到深度可分离卷积网络和 空间可 分离卷积网络进行 处理， 以得到第一深度可分离卷积特征、 第一空间可分离卷积特征、 第二 深度可分离卷积特 征、 第二空间可分离卷积特 征； 将第一深度可分离卷积特征和第一空间可分离卷积特征进行concat处理， 以得到第一 结合特征； 将第二深度可分离卷积特征和第二空间可分离卷积特征进行concat处理， 以得到第二 结合特征； 将第一结合特征、 第二结合特征进行相乘处理后的结果经过sigmoid激活函数处理， 以 得到激活函数 特征； 将第一残差卷积特 征进行卷积处理， 以得到卷积处 理特征； 将卷积处 理特征与激活函数 特征进行co ncat， 以得到合并特 征； 将合并特 征输入到卷积块中进行处 理， 以得到卷积块特 征； 对激活函数 特征进行空洞卷积上采样处 理， 以得到空洞卷积上采样特 征； 对合并特 征进行反卷积上采样处 理， 以得到反卷积上采样特 征； 对卷积块特 征进行反池化上采样处 理， 以得到反池化上采样特 征； 将空洞卷积上采样特征、 反卷积上采样特征、 反池化上采样特征的值进行相加处理， 以 得到第一相加处 理结果特 征； 将前 后两帧 带 有id 索 引的 人 物图 像 进行 co n ca t处 理 后再分 别输 入到 transformerEncoder和可变形 卷积进行处 理， 以得到第一处 理特征和第二处 理特征； 将第一处理特征进行resize处理后得到的结果与第二处理特征进行concat处理， 以得 到组合特 征； 将组合特征分别输入到两个卷积块中进行处理， 以得到第三处理特征和第四处理特 征； 将第三处理特征和第四处理特征分别通过上采样处理， 并将二者上采样处理得到的结 果进行相加处 理， 以得到第二相加处 理结果特 征； 将第一相加处理结果特征和第二相加处理结果特征进行concat处理， 以得到中间结果 特征； 将中间结果特 征分别输入到 两个卷积进行处 理， 得到光 流特征图。 7.根据权利要求2所述的多人行为识别方法， 其特征在于， 所述将关键点热力图和光流 特征图输入至 视频分类模型中进行处 理， 以得到人体行为识别结果， 包括： 将关键点热力图中的每个通道上的高斯热力图的关键点映射到单通道图上， 以得到单 通道高斯热力图； 将光流特征图进行比例缩放到与单通道高斯热力图一致的尺寸， 并与之进行concat合权　利　要　求　书 2/3 页 3 CN 115359563 A 3