(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211005577.2 (22)申请日 2022.08.22 (71)申请人 陕西师范大学 地址 710062 陕西省西安市长安 南路199号 (72)发明人 马苗　李雨桐　武杰　裴炤　黄聪　 (74)专利代理 机构 西安永生专利代理有限责任 公司 61201 专利代理师 申忠才 (51)Int.Cl. G06V 10/764(2022.01) G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)A63B 71/06(2006.01) (54)发明名称 基于特征自适应融合的立定跳远阶段分类 方法 (57)摘要 一种基于特征自适应融合的立定跳远阶段 分类方法， 由构建视频分类数据集、 运动信息自 适应融合、 构建视频分类网络、 训练视频分类网 络和检测测试集视频组成。 本发 明采用运动信息 自适应融合方式改变输入模态以注重运动边界 信息， 并在特征提取骨干网络中构建注重局部和 全局特征信息的双层池化时序注 意力模块， 得到 特征自适应融合的立定跳远阶段分类网络。 本发 明与现有技术相比， 具有运动特征信息获取更加 精细、 分类结果更加准确等优点， 在立定跳远自 建数据集上的对比仿真实验结果表明， 与现有的 主流方法相比， 分类准确率提高了14.1％， 可用 于立定跳远这一特定运动的阶段分类 。 权利要求书3页 说明书10页 附图3页 CN 115359292 A 2022.11.18 CN 115359292 A 1.一种基于特 征自适应融合的立定 跳远阶段分类方法， 其特 征在于由下述 步骤组成： (1)构建立定 跳远数据集 在操场自然环境场景下采集学生立定跳远运动视频， 将每一个完整的运动视频分割成 10个阶段剪辑， 构建立定跳远阶段数据集{S0， S1， S2， S3， S4， S5， S6， S7， S8， S9}， S0表示视频开始 到摆臂最高点阶段， S1表示摆臂最高点到脚掌开始离 地阶段， S2表示脚掌开始离 地到全脚掌 离地起跳阶段， S3表示全脚掌离地起跳到拉背 弓阶段， S4表示拉背 弓到大腿垂直地面阶段， S5表示大腿垂直地面到举腿膝最高点阶段， S6表示举腿膝最高点到脚后跟 开始落地阶段， S7 表示脚后跟开始落地到全脚掌落地阶段， S8表示全脚掌落地到骻骨最低点阶段， S9表示骻骨 最低点到 视频结束阶段， 将数据集按3： 1： 1划分成训练集、 验证集、 测试集； (2)运动信息自适应融合 将视频输入序列V分为等长的M个视频段V为{S1， S2， ...， SM}， 每段选择相邻的f帧堆叠 为{I1， I2， ...， IM}， 相邻帧集中的f帧为 将其输入运动增强模块得到运 动信息 每段的运动信息特征构成{ME1， ME2， ...， MEM}， 与每f帧 堆叠的第一帧为 以加性特征自适应融合方式馈送到视频分类网络， M为有 限正整数， f取值 为4； (3)构建视频分类网络 视频分类 网络由7×7的卷积层(1)与最大池化层(2)、 第二阶段残差块(3)、 第三阶段残 差块(4)、 第四阶段残差块(5)、 第五阶段残差块(6)依次串联构成， 第二阶段残差块(3)由3 个残差基础块串联构成， 第三阶段残差块(4)由4个残差基础块串联构成， 第四阶段残差块 (5)由6个残差基础块串联构成， 第五阶段残差块(6)由3个残差基础块串联构成， 每个残差 基础块由1 ×1卷积层与双 层池化时序注意力模块、 3 ×3卷积层、 1 ×1卷积层依次串联构成； (4)训练视频分类网络 1)视频分类网络初始化 用Xavier方法初始化视频分类网络参数； 2)设置视频分类网络的超级参数 将训练集的视频帧尺寸大小调整为224 ×224； 在训练过程中， 数据批量为8， 学习率为 0.0025， 在36轮次学习率衰减为0.0 0025， 后10次的学习率衰减为0.0 00025； 3)训练视频分类网络 将训练集中的所有视频输入视频分类网络， 进行 前向传播， 按下式确定损失函数L： 损失函数L为负对数似然损失； 使用随机梯度 下降方法降低损失值来进行反向传播， 反 复循环前向传播和反向传播， 并更新视频分类网络的权重和偏置， 直至损失函数收敛， 训练 结束， 得到训练好的视频分类网络； (5)检测测试集视频 将测试集输入到训练好的视频分类网络中， 输出视频分类结果。 2.根据权利要求1所述的基于特征自适应融合的立定跳远阶段分类方法， 其特征在于 所述的(2)运动信息自适应融合步骤为： 将视频输入序列V分为等长的M个视频段V为{S1，权　利　要　求　书 1/3 页 2 CN 115359292 A 2S2， ...， SM}， 每段选择相邻的f帧堆叠为{I1， I2， ...， IM}， 相邻帧集中的f帧为 将其输入运动增强模块得到运动信息 每段 的运动信息特征构成{ME1， ME2， ...， MEM}， 与每f帧堆叠的第一帧为 以加性 特征自适应融合方式馈送到 视频分类网络， M取值 为3～8。 3.根据权利要求1所述的基于特征自适应融合的立定跳远阶段分类方法， 其特征在于： 所述的(2)运动信息自适应融合中的加性特 征自适应融合方式为： 按下式确定特 征FIM： FIM＝I+ME 其中， I为每f帧堆叠的第一帧集合RGB特征， ME为每f帧堆叠的相邻帧对通过运动增强 模块得到的映射特 征， 按下式确定特 征融合结果FADP： FADP＝α1×FIIM+α2×FMEIM ∑iαi＝1 其中， 特征FIIM由特征I与特征FIM通道维按列拼接得到， 特征FMEIM由特征ME与特征FIM通 道维按列拼接得到， αi为归一化权重， ωi为初始化权重系数， ωj为特征权重， i∈{1,2}， j∈ {1,2}， 采用自适应可 学习权重系数给不同的特 征赋予权重。 4.根据权利要求1所述的基于特征自适应融合的立定跳远阶段分类方法， 其特征在于： 在(3)构建视频分类网络中， 所述的双层 池化时序 注意力模块的构建方法为： 该模块的输入 特征为X0∈[N,T,C,H,W]， N为批尺寸大小， T为特征的时间维度， C为通道数， H为 空间维度上 的长， W为空间维度上的宽， 将张量维度换位 为X1∈[N,C,T,H,W]， 按下式确定特 征 其中， n,c,t,h,w表示 其相应维度所有取值， Co nv1d()为 一维卷积； 按下式确定时序注意力权 重Ft： 按下式确定特 征X2： 其中， 表示逐元素相加， ⊙表示逐元素相乘； 按下式确定对时序位置敏感的重要性权 重Fs： 其中， Relu()为线性整流激活函数， Sigmoid()为S 型激活函数， K为卷积核大小、 K取值权　利　要　求　书 2/3 页 3 CN 115359292 A 3