(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211078614.2 (22)申请日 2022.09.05 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 王庆祥　伊新宇　马凤英　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G16H 10/60(2018.01) G16H 20/70(2018.01) (54)发明名称 基于面部特 征的抑郁症 识别系统 (57)摘要 本发明公开了基于面部特征的抑郁症识别 系统； 其中， 系统包括： 获取模块， 其被配置为： 获 取受试者的面部表情图像； 预处理模块， 其被配 置为： 对采集的面部表情图像进行人脸检测， 得 到人脸区域图像； 将检测到的人脸区域图像进行 人脸对齐处理， 得到对齐后的人脸区域图像； 将 对齐后的人脸区域图像进行特征提取， 提取出若 干种人脸几何特征； 特征融合模块， 其被配置为： 将所有的人脸几何特征进行特征融合， 得到融合 后的人脸几何特征； 抑郁症识别模块， 其被配置 为： 将人脸几何特征， 输入到训练后的抑郁症识 别神经网络模型中， 输出最终的抑郁症识别结 果。 权利要求书2页 说明书6页 附图2页 CN 115376193 A 2022.11.22 CN 115376193 A 1.基于面部特 征的抑郁症 识别系统， 其特 征是， 包括： 获取模块， 其被 配置为： 获取受试者的面部表情图像； 预处理模块， 其被配置为： 对采集的面部表情图像进行人脸检测， 得到人脸区域图像； 将检测到的人脸区域图像进行人脸对齐处理， 得到对齐后的人脸区域图像； 将对齐后的人 脸区域图像进行 特征提取， 提取 出若干种人脸几何特 征； 特征融合模块， 其被配置为： 将所有的人脸几何特征进行特征融合， 得到 融合后的人脸 几何特征； 抑郁症识别模块， 其被配置为： 将人脸几何特征， 输入到训练后的抑郁症识别神经网络 模型中， 输出最终的抑郁症 识别结果。 2.如权利要求1所述的基于面部特征的抑郁症识别系统， 其特征是， 所述对采集的面部 表情图像进行 人脸检测， 得到人脸区域图像， 具体包括： 将采集到的面部表情图像转换成灰度图， 使用Op enCV库加载Haar级联分类器进行人脸 检测， 将图像中包 含完整人脸的部分裁 剪成224×224的正方 形图像。 3.如权利要求1所述的基于面部特征的抑郁症识别系统， 其特征是， 所述将检测到的人 脸区域图像进行 人脸对齐处 理， 得到对齐后的人脸区域图像， 具体包括： 使用Dlib库提供的68点关键点信息检测的模型来实现人脸对齐操作。 4.如权利要求1所述的基于面部特征的抑郁症识别系统， 其特征是， 所述将对齐后的人 脸区域图像进行 特征提取， 提取 出若干种人脸几何特 征， 具体包括： 使用开源工具Op enFace 2.0对面部表情图像进行面部特征提取， 获得若干种面部 几何 特征， 并存储在csv文件里； 其中， 若干种面部几何特征， 包括： 面部动作单元、 眼睛注视估 计、 二维关键点 位与三维关键点 位置。 5.如权利要求1所述的基于面部特征的抑郁症识别系统， 其特征是， 所述将所有的人脸 几何特征进行特征融合， 得到融合后的人脸几何特 征， 特征融合的方式采用串联融合。 6.如权利要求1所述的基于面部特征的抑郁症识别系统， 其特征是， 所述将人脸几何特 征， 输入到训练后的抑郁症识别神经网络模型中， 输出最终的抑郁症识别结果， 其中， 训练 后的的抑郁症 识别神经网络模型， 具体网络结构包括： 依次连接的输入层、 第一卷积块、 第一压缩激励模块SE1、 第二卷积块、 第二压缩激励模 块SE2、 第三卷积块、 第三压缩激励模块SE2、 第四卷积块、 第四压缩激励模块SE2、 第五卷积 块、 第五压缩激励模块S E2、 位置编码生 成器PEG和平均池化层， 所述平均池化层的输出端分 别与权重变化模块的输入端和全连接层D1的输入端 连接， 权重变化模块的输出端还与输入 层的输入端连接 。 7.如权利要求6所述的基于面部特征的抑郁症识别系统， 其特征是， 其中， 第 一卷积块， 包括一层卷积层co nv1； 其中， 第二卷积块， 包括依次连接的卷积层co nv2_1、 卷积层co nv2_2和卷积层co nv2_3； 其中， 第三卷积块， 包括依次连接的卷积层conv3_1、 卷积层conv3_2、 卷积层conv3_3和 卷积层co nv3_4； 其中， 第四卷积块， 包括依次连接的卷积层conv4_1、 卷积层conv4_2、 卷积层conv4_3、 卷积层co nv4_4、 卷积层co nv4_5和卷积层co nv4_6； 其中， 第五卷积块， 包括依次连接的卷积层co nv5_1、 卷积层co nv5_2和卷积层co nv5_3。权　利　要　求　书 1/2 页 2 CN 115376193 A 28.如权利要求6所述的基于面部特征的抑郁症识别系统， 其特征是， 所述第 一压缩激励 模块SE1、 第二压缩激励模块SE2、 第三压缩激励模块S E3、 第四压缩激励模块SE4和第五压缩 激励模块SE5， 其内部结构是一致的； 其中， 第一压缩激励模块S E1， 包括： 依次连接的全局平 均池化层、 全连接层c1和全连接层c2； 其中全局平均池化层作为压缩部分， 用于对特征进 行 压缩； 其中， 全连接层c1和全连接层c2作为激励部分， 全连接层c1用于压缩特征， 全连接层 c2用于恢复特 征。 9.如权利要求6所述的基于面部特征的抑郁症识别系统， 其特征是， 所述权重变化模 块， 包括： 依次连接的全连接层F1和Sigmoid激活函数层； 全连接层F1的作用是将平均池化 后的输出特征降维到与输入特征长度FL相同； Sigmoid激活函数层的作用是将全连接层F1 的输出压缩到 0至1之间； 所述权重变化模块的流 程如下： 首先判断当前迭代周期epoc h； 如果当前进行的是第一个迭代周期epoch， 那么输入特征Xinput与一个大小相同的全为1 矩阵w1逐点相乘， 大小不变； 如果当前迭代周期epoch 是更替参数n的倍数， 那么权重 更新wt， 输入的特征会与权重逐 点相乘； 如果当前迭代周期epoch不是更替参数n的倍数， 那么权重为上一个epoch的权重wt‑1， 输入的特 征会与其逐点相乘。 10.如权利要求1所述的基于面部特征的抑郁症识别系统， 其特征是， 所述将人脸几何 特征， 输入到训练后的抑郁症识别神经网络模型中， 输出最终的抑郁症识别结果， 其中， 训 练后的抑郁症 识别神经网络模型， 具体训练过程包括： 构建训练集和 测试集； 将训练集输入到训练后的抑郁症识别神经网络模型， 对模型进行训练， 当模型的损 失 函数值不再降低时， 停止训练， 得到初步训练后的抑郁症 识别神经网络模型； 将测试集输入到初步训练后的抑郁症识别神经网络模型进行测试， 当准确率高于设定 阈值时， 停止测试， 得到最终训练后的抑郁症识别神经网络模型； 否则更换训练集， 重新进 行训练和 测试。权　利　要　求　书 2/2 页 3 CN 115376193 A 3