(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094914 4.6 (22)申请日 2022.08.09 (71)申请人 上海交通大 学医学院附属第九人民 医院 地址 200011 上海市黄浦区制造局路6 39号 (72)发明人 雷超宇　孙瀚池　黄靖　屈明宇　 卞睿彤　陈泽瑜　王骐宇　张可言　 谈子铭　陈烨欣　陶泽成　徐臻淇　 玉志勇　王翊涵　陆悦宁　朱佳莹　 宋雪霏　翟广涛　周慧芳　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 翁惠瑜 (51)Int.Cl. G06V 40/16(2022.01)G06V 40/18(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于边缘AI的多模态眼眶分类识别方法、 终 端及介质 (57)摘要 本发明涉及一种基于边缘AI的多模态眼眶 分类识别方法、 终端及介质， 所述方法应用于移 动终端， 包括以下步骤： 获取待识别的二维人脸 彩色图像， 对 所述二维人脸彩色图像进行区域分 割， 获取眼眶区域彩色图像； 获取与所述二维人 脸彩色图像相对应的三维人脸数据， 基于所述三 维人脸数据获取人脸深度图像， 对 所述人脸深度 图像进行区域分割， 获取眼眶区域深度图像； 将 所述眼眶区域彩色图像和眼眶区域深度图像作 为一轻量化多模态识别模型的输入， 获取识别的 分类结果。 与现有技术相比， 本发明具有可靠性 高、 规模小等优点。 权利要求书2页 说明书7页 附图1页 CN 115359527 A 2022.11.18 CN 115359527 A 1.一种基于边缘AI的多模态眼眶分类识别方法， 其特征在于， 该方法应用于移动终端， 包括以下步骤： 获取待识别的二维人脸彩色图像， 对所述二维人脸彩色图像进行区域分割， 获取眼眶 区域彩色图像； 获取与所述二维人脸彩色图像相对应的三维人脸数据， 基于所述三维人脸数据获取人 脸深度图像， 对所述人脸深度图像进行区域分割， 获取眼眶区域深度图像； 将所述眼眶区域彩色图像和眼眶区域深度图像作为一轻量化多模态识别模型的输入， 获取识别的分类结果； 其中， 所述轻量化多模态识别模型分别对眼眶区域彩色图像和眼眶区域深度图像进行 特征提取， 对应获得彩色特征和深度特征， 基于所述彩色特征和深度特征 的拼接结果获得 所述分类结果。 2.根据权利要求1所述的基于边缘AI的多模态眼眶分类识别方法， 其特征在于， 所述轻 量化多模态 识别模型的训练过程包括： 1)构建第一网络和第二网络， 获取第一数据集和第二数据集， 所述第一数据集为由眼 眶区域彩色图像组成的数据集， 每个眼眶区域彩色图像具有对应的类别标注信息， 所述第 二数据集 为由人脸深度图像组成的数据集， 每 个人脸深度图像具有对应的类别标注信息； 2)基于所述第一数据集和第二数据集， 分别对应对第一网络和第二网络进行稀疏训 练； 3)分别对步骤2)获得的第一网络和第二网络进行剪枝压缩； 4)分别对步骤3)获得的第一网络和第二网络进行正常训练； 5)将步骤4)获得的第一网络和第二网络输出的特征向量进行拼接， 将拼接后的特征向 量输入一全连接层中， 构建获得 联合识别模型； 6)将所述联合识别模型中所述全连接层 之前的其他部分冻结， 同时基于所述第 一数据 集和第二数据集对经冻结处 理的联合识别模型进行融合训练； 7)对步骤6)获得的联合识别模型进行量 化压缩， 获得 所述轻量 化多模态 识别模型。 3.根据权利要求2所述的基于边缘AI的多模态眼眶分类识别方法， 其特征在于， 所述第 一网络和第二网络均为Resnet ‑34网络。 4.根据权利要求2所述的基于边缘AI的多模态眼眶分类识别方法， 其特征在于， 所述稀 疏训练在损失函数中对BN层缩放因子和卷积权 重系数施加L1正则化约束。 5.根据权利要求2所述的基于边缘AI的多模态眼眶分类识别方法， 其特征在于， 所述剪 枝压缩包括结构化剪枝和非结构化剪枝。 6.根据权利要求2所述的基于边缘AI的多模态眼眶分类识别方法， 其特征在于， 所述量 化压缩为 INT8量化压缩。 7.根据权利要求2所述的基于边缘AI的多模态眼眶分类识别方法， 其特征在于， 所述正 常训练和融合训练的训练轮数均小于稀疏训练的训练轮数。 8.一种移动终端， 其特 征在于， 包括： 第一获取模块， 用于获取待识别的二维人脸彩色图像， 对所述二维人脸彩色图像进行 区域分割， 获取眼眶区域彩色图像； 第二获取模块， 用于获取与所述二维人脸彩色图像相对应的三维人脸数据， 基于所述权　利　要　求　书 1/2 页 2 CN 115359527 A 2三维人脸数据获取人脸深度图像， 对所述人脸深度图像进行区域分割， 获取眼眶区域深度 图像； 识别模块， 用于将所述眼眶区域彩色图像和眼眶区域深度图像作为一轻量化多模态识 别模型的输入， 获取识别的分类结果； 其中， 所述轻量化多模态识别模型分别对眼眶区域彩色图像和眼眶区域深度图像进行 特征提取， 对应获得彩色特征和深度特征， 基于所述彩色特征和深度特征 的拼接结果获得 所述分类结果。 9.根据权利要求8所述的移动终端， 其特征在于， 其特征在于， 所述识别模块包括模块 训练单元， 该模型训练单元训练并维护所述的轻量化多模态识别模型， 所述轻量化多模态 识别模型的训练过程包括： 1)构建第一网络和第二网络， 获取第一数据集和第二数据集， 所述第一数据集为由眼 眶区域彩色图像组成的数据集， 每个眼眶区域彩色图像具有对应的类别标注信息， 所述第 二数据集 为由人脸深度图像组成的数据集， 每 个人脸深度图像具有对应的类别标注信息； 2)基于所述第一数据集和第二数据集， 分别对应对第一网络和第二网络进行稀疏训 练； 3)分别对步骤2)获得的第一网络和第二网络进行剪枝压缩； 4)分别对步骤3)获得的第一网络和第二网络进行正常训练； 5)将步骤4)获得的第一网络和第二网络输出的特征向量进行拼接， 将拼接后的特征向 量输入一全连接层中， 构建获得 联合识别模型； 6)将所述联合识别模型中所述全连接层 之前的其他部分冻结， 同时基于所述第 一数据 集和第二数据集对经冻结处 理的联合识别模型进行融合训练； 7)对步骤6)获得的联合识别模型进行量 化压缩， 获得 所述轻量 化多模态 识别模型。 10.一种计算机可读存储介质， 其特征在于， 包括供电子设备的一个或多个处理器执行 的一个或多个程序， 所述一个或多个程序包括用于执行如权利要求1 ‑7任一所述多模态眼 眶分类识别方法的指令 。权　利　要　求　书 2/2 页 3 CN 115359527 A 3