(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210895264.2 (22)申请日 2022.07.26 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 梁美玉　于婉莹　杜军平　王旭　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 王刚 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) (54)发明名称 学生表情识别方法及教学状态评估方法及 相关设备 (57)摘要 本申请提供一种学生表情识别方法及教学 状态评估 方法及相关设备。 通过预先训练的学生 表情识别模型提取课堂教学视频中人脸图像上 多个视角的表情特征； 然后计算提取的多个视角 的表情特征对应的权重， 再融合计算得到的权重 和对应的表情特征， 得到全局表情特征； 最后， 根 据全局表情特征得到学生表情分类结果。 此外， 在学生表情识别方法的基础上， 通过融合课堂性 质、 学生表情识别结果和学生行为识别结果综合 进行课堂教学状态评估值的计算。 最后根据综合 评估值判定学生课堂听课状态。 本申请能够充分 提取学生表情特征， 提高姿势偏移场景下学生表 情识别能力， 还能够客观准确地对课堂教学视频 中的教学状态进行评估。 权利要求书2页 说明书9页 附图4页 CN 115457619 A 2022.12.09 CN 115457619 A 1.一种学生表情识别方法， 其特 征在于， 包括： 获取课堂教学视频中的人脸图像； 将所述人脸图像输入预先训练 的学生表情识别模型， 以得到所述学生表情识别模型输 出的学生表情分类结果； 其中， 所述学生表情识别模型基于多个视角对所述人脸图像进行特征提取得到多视角 特征集， 基于自注意力机制确定多个视角对应的权重特征集， 融合所述多视角特征集和所 述权重特征集得到全局表情特 征， 并根据所述全局表情特 征得到所述学生表情分类结果。 2.根据权利要求1所述的方法， 其特征在于， 所述方法还包括通过以下方法训练得到所 述学生表情识别模型： 获取第一人脸图像集， 并将所述第一人脸图像集输入预先训练的生 成式对抗网络， 以编辑所述第一人脸图像集中的学生表情， 得到生成人脸图像集； 获取第二人脸图像训练集； 根据所述第 二人脸图像训练集和所述生成人脸图像集， 训练基于多路自注意力 机制的 深度卷积神经网络， 将训练好的所述深度卷积神经网络作为所述学生表情识别模型。 3.根据权利要求1所述的方法， 其特征在于， 所述基于多个视角对所述人脸图像进行特 征提取得到多视角特 征集， 包括： 将所述人脸图像进行局部 裁剪， 得到局部 裁剪人脸图像； 将所述人脸图像进行局部遮挡， 得到局部遮挡人脸图像； 对所述人脸图像、 所述局部裁剪人脸图像和所述局部遮挡人脸图像分别提取特征， 以 得到整体特 征、 局部特 征和遮挡特 征； 根据所述整体特 征、 所述局部特 征和所述遮挡特 征， 得到多视角特 征集。 4.根据权利要求1所述的方法， 其特征在于， 所述基于自注意力 机制确定多个视角对应 的权重特征集， 包括： 通过所述学生表情识别模型的全连接层自适应地获取多个视角对应的权重值， 并基于 所述权重值得到所述权 重特征集。 5.根据权利要求2所述的方法， 其特征在于， 所述基于多路自注意力 机制的深度 卷积神 经网络包括的各支路对应于所述多个视角； 所述训练基于多路自注意力机制的深度卷积神经网络， 包括： 根据预先设置的约束性 损失函数优化多个视角对应的权 重值。 6.一种教学状态评估方法， 其特 征在于， 包括： 获取课堂教学视频中的人脸图像， 并确定当前课 堂性质； 通过如权利要求1至5任意一项所述的方法识别所述人脸图像中的学生表情， 得到学生 表情分类结果； 通过预设的行为识别算法， 识别所述课堂教学视频中的学生行为， 得到学生行为分类 结果； 根据所述学生表情分类结果和所述学生行为分类结果， 分别得到学生表情类别统计结 果和学生行为类别统计结果； 根据所述课堂性质、 所述学生表情类别统计结果和所述学生行为类别统计结果判定学 生状态， 并根据所述学生状态评估课 堂教学状态。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述学生状态评估课堂教学状权　利　要　求　书 1/2 页 2 CN 115457619 A 2态， 包括： 根据所述学生状态对学生打 分； 根据打分结果计算课 堂综合得分； 根据所述课 堂综合得分评估所述课 堂教学状态。 8.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 所述处 理器执行所述程序时实现如权利要求1至7任意 一项所述的方法。 9.一种教学状态评估 装置， 其特 征在于， 包括： 人脸图像获取模块， 被 配置为获取课 堂教学视频中的人脸图像， 并确定当前课 堂性质； 学生表情识别模块， 被配置为通过如权利要求1至5任意一项所述的方法识别所述人脸 图像中的学生表情， 得到学生表情分类结果； 学生行为识别模块， 被配置为通过预设的行为识别算法， 识别所述课堂教学视频中的 学生行为， 得到学生行为分类结果； 识别结果统计模块， 被配置为根据所述学生表情分类结果和所述学生行为分类结果， 分别得到学生表情类别统计结果和学生行为类别统计结果； 课堂教学状态评估模块， 被配置为根据所述课堂性质、 所述学生表情类别统计结果和 所述学生行为类别统计结果判定学生状态， 并根据所述学生状态评估课 堂教学状态。 10.一种非暂态计算机可读存储介质， 所述非暂态计算机可读存储介质存储计算机指 令， 其特征在于， 所述计算机指令用于使计算机执 行如权利要求1至7任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115457619 A 3