(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210942319.0 (22)申请日 2022.08.08 (71)申请人 徐州市广联科技有限公司 地址 221000 江苏省徐州市铜山区安全科 技产业园A13 栋 (72)发明人 陈浩　蒋文岩　晁磊　吴丽娜　 邵志文　李贺贺　孟奇　安波　 周勇　程依凡　 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/24(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/33(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度可分离卷积与加性角度间隔损失 的人脸识别方法及装置 (57)摘要 本发明公开了一种基于深度可分离卷积与 加性角度间隔损失的人脸识别方法及装置， 从公 开的人脸数据集中抽取原始 图像组成训练数据 集， 对原始图像进行预处理， 构建深度可分离卷 积神经网络模块I提取灰度图像的多尺度区域特 征， 构建特征金字塔II， 构建卷积神经网络模块 III特征提取， 得到 先验框分类预测结果、 人脸框 回归预测结果及人脸五官的关键点坐标序列预 测结果， 根据人脸关键点对人脸框进行人脸矫 正， 构建采用采用加性角度间隔损失函数的卷积 神经网络模块IV， 提取人脸特征向量， 通过计算 特征向量间的相似度， 匹配人脸身份信息。 本发 明采用端到端的深度学习框架学习人脸区域检 测和特征向量提取， 有效提取图片中的人脸特 征， 实现人脸识别系统构建。 权利要求书3页 说明书8页 附图5页 CN 115393928 A 2022.11.25 CN 115393928 A 1.一种基于深度可分离卷积与加性角度间隔损失的人脸识别方法， 其特征在于， 包括 以下步骤： S1.从公开的人脸数据集中抽取原始图像组成训练数据集， 再对所述原始图像进行预 处理得到灰度图像， 所述原 始图像包括包 含人脸信息的图片与对应的人脸 位置标注信息； S2.构建深度可分离卷积神经网络模块I， 提取步骤S1内的灰度图像的多尺度区域特 征； S3. 构建特征金字塔II， 进行特征融合； S4. 利用步骤S3得到的融合特征， 构 建卷积神经网络模块III加强感受野， 完成特征提 取， 得到人脸先验框分类预测结果、 人脸框回归预测结果及人脸五官 的关键点坐标序列预 测结果； S5： 根据人脸关键点坐标， 比对标准人脸五点关键点坐标， 计算仿射变换矩阵， 对人脸 框进行人脸矫正； S6： 构建采用加性角度间隔损失函数的卷积神经网络模块IV， 训练网络模型， 提取人脸 特征向量； S7： 将两张给定包含待识别人脸图片分别输入训练好的卷积神经网络模型中， 分别得 到两张图片所包含人脸的特征向量， 计算特征向量间的相似度， 比对识别阈值， 匹配人脸身 份信息。 2.根据权利要求1所述的一种基于深度可分离卷积与加性角度间隔损失的人脸识别方 法， 其特征在于： 所述步骤S2中， 所述深度可分离卷积神经网络模块I包括两个主要网络模 块， 归一化模块I ‑I和深度可分离卷积模块I ‑II； 所述深度可分离卷积神经网络模块I的输 入为归一化模块I ‑I的输入， 所述归一化模块的输出为所述深度可分离卷积模块I ‑II的输 入， 所述深度可分离卷积模块 I‑II的输出为所述深度可分离卷积神经网络I的输出； 所述归一化模块I ‑I首先对深度可分离卷积神经网络I的输入通过零填充层I ‑I‑I， 将 零填充层I ‑I‑I的输出结果输入到卷积核尺寸为2 ×2的卷积层I ‑I‑II进行卷积， 将卷积层 I‑I‑II的输出结果输入到批量归一化层I ‑I‑III， 将批量归一化层的输出结果输入到ReLU 层， 将ReLU层的输出结果输入到通道数为16的深度可分离卷积单位I ‑I‑IV， 深度可分离卷 积单位I‑I‑IV的输出即为归一化模块I ‑I的输出； 深度可分离卷积模块I ‑II由4个深度可分 离卷积子模块构成， 分别为通道数为32的深度可分离卷积子模块I ‑II‑I， 通道数为64的深 度可分离卷积子模块I ‑II‑II， 通道数为128的深度可分离卷积子模块I ‑II‑III， 通道数为 256的深度可分离卷积子模块I ‑II‑IV， 前一个子模块的输出即为后一个子模块的输入， 其 中通道数为32的深度可分离卷积子模块I ‑II‑I包含2个深度可分离卷积单位， 通道数为64 的深度可分离卷积 子模块I‑II‑I包含2个深度可分离卷积单位， 通道数为 128的深度可分离 卷积子模块I‑II‑I包含6个深度可分离卷积单位， 通道数为256的深度可分离卷积 子模块I‑ II‑I包含2个深度可分离卷积单位， 深度可分离卷积子模块I ‑II‑II的输出C1， 深度可分离 卷积子模块I ‑II‑III的输出C2， 深度可分离卷积子模块I ‑II‑IV的输出C3即为深度可 分离卷 积神经网络I的网络 输出； 所述深度可分离卷积单位I ‑I‑IV、 深度可分离卷积子模块I ‑II‑I、 所述深度可分离卷 积子模块I ‑II‑II、 所述深度可分离卷积子模块I ‑II‑III、 所述深度可分离卷积子模块I ‑ II‑IV由若干深度可分离卷积单位I ‑III组成， 所述深度可分离卷积单位I ‑III将输入通过权　利　要　求　书 1/3 页 2 CN 115393928 A 2一个卷积核尺 寸为3×3的卷积层I ‑III‑I， 将卷积层I ‑III‑I的输出结果输入到批量归一化 层I‑III‑II， 将批量归一化层I ‑III‑II的结果输入到ReLU层I ‑III‑III， 将ReLU层I ‑III‑ III的输出结果输入到卷积核尺寸为1 ×1的卷积层I ‑III‑IV， 将卷积层I ‑III‑IV的输出结 果输入到批量归一化层I ‑III‑V， 最后将 批量归一化层I ‑III‑V的输出结果输入到ReLU层I ‑ III‑VI， ReLU层的输出 结果作为深度可分离卷积单位 I‑III的输出结果。 3.根据权利要求2所述的一种基于深度可分离卷积与加性角度间隔损失的人脸识别方 法， 其特征在于： 所述步骤S3中， 将 C1， C2， C3分别输入 卷积核尺 寸为1×1， 通道数为64的卷积 层II‑I， 输出D1， D2， D3， 其中D3为特征金字塔II的输出之一P3， 将P3与D2相加， 输入到卷积层 II‑II， 输出融合特征得到特征金字塔II的输出之一P2， 将P2与D1相加， 输入到卷积层II ‑ III， 输出融合特 征得到特征金字塔II的输出之一P1。 4.根据权利要求3所述的一种基于深度可分离卷积与加性角度间隔损失的人脸识别方 法， 其特征在于： 所述步骤S4中， 利用步骤S3得到的融合特征P1， P2， P3， 构建卷积神经网络模 块III加强感受野， 将P1， P2， P3分别输入卷积核尺寸为3 ×3的卷积层III ‑I， 将卷积层III ‑I 的输出结果输入到卷积核尺 寸为3×3的卷积层III ‑II， 将卷积层III ‑II的输出结果输入到 卷积核尺寸为3 ×3的卷积层III ‑III， 卷积层III ‑III的输出结果S1， S2， S3做为卷积果神经 网络模块III的输出结果， S1为人脸先验框分类预测结果， S2为人脸框回归 预测结果， S3为人 脸五官的关键点 坐标序列预测结果。 5.根据权利要求1所述的一种基于深度可分离卷积与加性角度间隔损失的人脸识别方 法， 其特征在于： 所述步骤S 5中， 根据人脸关键点坐标， 比对标准人脸 五点关键点坐标， 计算 仿射变换矩阵， 对人脸框进行人脸矫正;人脸关键点坐标为人脸图片尺寸为112 ×112时的 坐标值， 其坐标值矩阵为M1， 图片尺寸为112 ×112时的人脸五点关键点标准坐标值矩阵为 M2， 计算得到人脸图像 应旋转的角度为 ， 对应的仿射变化矩阵Mx，其中： , 。 6.根据权利要求1所述的一种基于深度可分离卷积与加性角度间隔损失的人脸识别方 法， 其特征在于： 所述步骤S6中， 构建采用 加性角度间隔损失函数的卷积神经网络模块IV， 提取人脸特征向量； 卷积神经网络模块IV由通过端到端的方法训练整个卷积神经网络模 型； 其中卷积神经网络模块IV的主干网络为ResNet50， 所采用的损失函数为加性角度间隔 损失函数 ： 其中， 为间隔函数： 权　利　要　求　书 2/3 页 3 CN 115393928 A 3