(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211023519.2 (22)申请日 2022.08.25 (71)申请人 成都信息工程大学 地址 610225 四川省成 都市西南 航空港经 济开发区学府路1段24 号 (72)发明人 岳希　王文鑫　何磊　唐聃　 刘敦龙　 (74)专利代理 机构 成都云纵知识产权代理事务 所(普通合伙) 51316 专利代理师 熊曦　伍星 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/32(2022.01) (54)发明名称 基于多特征融合和双流网络的微表情识别 方法 (57)摘要 本发明公开了基于多特征融合和双流网络 的微表情识别方法， 涉及图像处理领域， 包括： 获 取预设视频中微表情起始帧到结束帧的帧数据； 对帧数据进行峰值帧采集获得第一图像并进行 人脸裁剪获得第二图像， 添加掩膜获得第三图 像， 提取获得第三图像的水平和垂直光流特征 图； 提取获得帧数据第一面部动作特征图； 构建 微表情识别网络； 利用第三图像、 水平和垂直光 流特征图以及第一面部动作特征图构建训练集， 利用训练集训练微表情识别网络， 训练时， 第三 图像、 第一水平光流特征图和第一垂直光流特征 图输入网络的第一网络通道， 第一面部动作特征 图输入网络的第二网络通道； 利用训练后的微表 情识别网络识别微表情， 本方法具有良好的微表 情识别效果。 权利要求书2页 说明书11页 附图2页 CN 115359534 A 2022.11.18 CN 115359534 A 1.基于多特 征融合和双流网络的微表情识别方法， 其特 征在于， 所述方法包括： 获取预设视频中微表情起始帧到结束帧的帧数据； 对所述帧数据进行 峰值帧采集获得若干第 一图像， 对若干所述第 一图像进行人脸裁剪 获得若干第二图像； 对所述若干第二图像添加掩膜， 获得若干第三图像； 对所述若干第 三图像分别进行水平和 垂直光流特征提取， 获得若干第 一水平光流特征 图和若干第一垂直 光流特征图； 利用面部动作算法对所述帧数据进行面部动作 特征提取， 对提取获得的面部动作 特征 进行归一 化处理， 获得若干第一 面部动作特 征图； 构建微表情识别网络， 所述微表情识别网络包括输入层、 第一网络通道、 第二网络通 道、 融合层、 分类层和输出层， 所述输入层和所述输出层分别用于获得输入数据和输出分类 结果， 所述第一网络通道包括依 次连接的子网络和第一全连接层， 所述第一网络通道用于 对第一输入数据进行 处理获得第一处理结果； 所述第二网络通道包括依次连接的第一卷积 层、 第一池化层、 第二卷积层、 第三卷积层、 第二池化层、 扁平化层和第二全连接层， 所述第 二网络通道用于对第二输入数据进行 处理获得第二处理结果； 所述融合单元用于所述第一 处理结果和所述第二处理结果进 行拼接融合 获得融合结果， 并将融合结果输入第三全连接 层处理后输入分类层进行分类处 理； 利用所述若干第三图像、 所述若干第一水平光流特征图、 所述若干第一垂直光流特征 图和所述若干第一面部动作特征图构建训练集， 利用所述训练集训练所述微表情识别网络 获得训练后的微表情识别网络， 其中， 训练微表情识别网络时， 所述若干第三图像、 所述若 干第一水平光流特征图和所述若干第一垂直光流特征图输入所述第一网络通道， 所述第一 面部动作特 征图输入所述第二网络通道； 获得待处理图像， 将所述待处理图像输入训练后的微表情识别网络， 获得所述待处理 图像中的微表情识别结果。 2.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法， 其特征在于， 所述子网络为残差网络 。 3.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法， 其特征在于， 本方法利用裁剪框对所述第一图像进行人脸裁剪， 在裁剪前， 本方法还包括对裁剪框的坐 标进行归一 化处理。 4.根据权利要求3所述的基于多特征融合和双流网络的微表情识别方法， 其特征在于， 本方法中对裁 剪框的坐标进行归一 化处理， 具体包括： 累加帧数据中每 个图像对应初始裁 剪框的左上顶点 坐标和宽度， 获得累加结果； 基于所述累加结果分别计算左上顶点 坐标和宽度的均值， 获得第一均值和第二均值； 基于第一均值获得最终裁剪框的左上顶点坐标， 基于第二均值获得最终裁剪框的宽 度； 基于最终裁 剪框的顶点 坐标和宽度获得最终裁 剪框。 5.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法， 其特征在于， 本方法中的掩膜添加方式为： 选取预设视频中微表情的起始帧作为基线帧；权　利　要　求　书 1/2 页 2 CN 115359534 A 2依次计算基线帧与基线帧的下一帧至峰值帧之间的各个像素值差值的绝对值， 累加计 算获得的绝对值获得总差值矩阵； 将所述总差值矩阵进行二 值化处理获得二 值化结果； 对所述二值化结果进行 滤波处理， 获得第一滤波结果； 将第一滤波结果中离 散的微表情感兴趣区域进行融合获得融合结果； 对所述融合结果进行 滤波处理， 获得掩膜； 将掩膜与对应的原 始图像进行融合获得掩膜后的图像。 6.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法， 其特征在于， 本方法中的光 流特征提取方式为： 将已添加掩膜的视频帧序列的第一帧作为基线帧； 通过基线帧对已添加掩膜的起始帧到结束帧依次计算光流信 息， 获得光流特征提取结 果， 其中， 光 流特征提取结果为二维矢量场， 分别表示每 个像素运动的水平和垂直分量。 7.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法， 其特征在于， 所述对提取获得的面部动作特 征进行归一 化处理包括： 将视频帧序列第一帧的面部动作特 征作为基线面部动作特 征； 将起始帧到结束帧的面部动作特征依次与基线帧的面部动作 特征进行差值计算， 得到 归一化后的面部动作特 征。 8.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法， 其特征在于， 本方法在获得第一图像前还 包括样本扩充步骤， 所述样本扩充步骤 包括： 对预设视频峰值帧的前后两帧进行采样； 对微表情分类中样本数量 最少类别的峰值帧进行多倍扩充； 将微表情分类中非最少类别样本的峰值帧数量向最少类别扩充后的数量通过随机采 样方式进行靠 拢。 9.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法， 其特征在于， 本方法中的人脸裁 剪方式为： 计算获得裁 剪框的顶点 坐标和宽度； 基于裁剪框的顶点 坐标和宽度获得裁 剪框； 利用裁剪框对若干所述第一图像进行 人脸裁剪获得若干第二图像。 10.根据权利要求9所述的基于多特征融合和双流网络的微表情识别方法， 其特征在 于， 裁剪框的顶点 坐标和宽度的计算方式为： 计算出第一图像中人脸的左右内眼角坐标和左右眉尾坐标； 通过左右内眼角坐标计算出正方 形裁剪框的中心坐标； 通过左右眉尾的横坐标之差计算出正方 形裁剪框的宽度； 根据正方 形裁剪框的中心坐标和宽度确定正方 形裁剪框的左上顶点 坐标。权　利　要　求　书 2/2 页 3 CN 115359534 A 3