(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211028288.4 (22)申请日 2022.08.25 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 陈伟涛　孙佰贵　许鸿斌　周志鹏　 谢宣松　 (74)专利代理 机构 北京众达德权知识产权代理 有限公司 1 1570 专利代理师 袁媛 (51)Int.Cl. G06V 40/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 活体检测方法、 活体检测模 型的训练方法及 对应装置 (57)摘要 本申请实施例公开了一种活体检测方法、 活 体检测模型的训练方法及对应装置。 主要技术方 案包括： 获取第一摄像头和第二摄像头针对待检 测对象采集的第一图像和第二图像； 依据所述第 一图像和第二图像的视差获取深度图信息； 通过 活体检测模型对所述第一图像和所述深度图信 息分别进行特征提取得到图像特征和深度图特 征后， 将所述图像特征和深度图特征进行融合得 到多模态融合特征， 利用所述多模态融合特征得 到所述待检测对象是否为活体的检测结果。 通过 本申请能够有效提高活体 检测的准确度。 权利要求书3页 说明书18页 附图9页 CN 115482591 A 2022.12.16 CN 115482591 A 1.一种活体 检测方法， 其特 征在于， 所述方法包括： 获取第一摄 像头和第二摄 像头针对待检测对象采集的第一图像和第二图像； 依据所述第一图像和第二图像的视 差获取深度图信息； 通过活体检测模型对所述第一图像和所述深度图信息分别进行特征提取得到图像特 征和深度图特征后， 将所述图像特征和深度图特征进行融合得到多模态融合特征， 利用所 述多模态融合特征得到所述待检测对 象是否为活体的检测结果， 其中， 所述活体检测模型 为机器学习模型。 2.根据权利要求1所述的方法， 其特征在于， 依据 所述第一图像和第 二图像的视差获取 深度图信息包括： 利用对所述第 一摄像头和所述第 二摄像头分别标定的内参矩阵、 畸变系数矩阵和旋转 矩阵， 对所述第一图像和所述第二图像进行极线校正； 将极线校正后的第一图像作为基准， 确定各位置处第一图像和第二图像的视 差； 利用各位置处第一图像和第 二图像的视差、 以及所述第 一摄像头和所述第 二摄像头的 光心距离， 确定各位置处的深度信息得到所述深度图信息 。 3.根据权利要求1所述的方法， 其特征在于， 所述活体检测模型包括： 特征提取层、 特征 融合层和解码层； 所述特征提取层对所述第 一图像和所述深度图信 息分别进行特征提取， 得到图像特征 和深度图特 征； 所述特征融合层对所述图像特征和深度图特征进行第 二合并处理得到第 二融合特征； 对所述第二融合特征分别进行第一注意力处理和第二注意力处理得到图像注意力矩阵和 深度图注意力矩阵； 将所述图像注意力矩阵和深度图注意力矩阵进行融合得到多模态注意 力矩阵； 利用所述多模态注意力矩阵分别对所述图像特征和所述深度图特征进行第三合并 处理， 得到多模态融合特 征； 所述解码层利用所述多模态融合特 征得到所述待检测对象是否为活体的检测结果。 4.根据权利要求3所述的方法， 其特征在于， 所述特征融合层对所述图像特征和深度图 特征进行第二 合并处理得到第二融合特 征包括： 所述特征融合层对所述图像特 征和深度图特 征进行第一 合并处理得到第一融合特 征； 对所述第一融合特 征进行全连接处 理， 得到多模态上 下文矩阵； 利用所述多模态上下文矩阵分别对所述图像特征和所述深度图特征进行第一增强处 理， 得到第一增强图像特 征和第一增强深度图特 征； 对所述第一增强图像特征和所述第 一增强深度图特征进行第 二合并处理， 得到第 二融 合特征。 5.根据权利要求1至4中任一项所述的方法， 其特征在于， 所述图像特征包括N个分辨率 尺度的图像特征， 所述深度图特征包括N个 分辨率尺度的深度图特征， 所述N为大于1的正整 数； 将所述图像特 征和深度图特 征进行融合得到多模态融合特 征包括： 将各分辨率尺度的图像特征和深度图特征分别进行融合， 得到N个分辨率尺度的多模 态融合特 征。 6.一种用户认证方法， 其特 征在于， 该 方法包括：权　利　要　求　书 1/3 页 2 CN 115482591 A 2采用如权利要求1至5中任一项所述的活体检测方法对待检测对象进行活体检测， 得到 所述待检测对象是否为活体的检测结果； 以及 对所述待检测对象进行生物特 征识别， 获得 是否通过生物特 征识别的识别结果； 若所述待检测对象为活体且通过生物特 征识别， 则确定所述用户认证成功。 7.一种活体 检测模型的训练方法， 其特 征在于， 所述方法包括： 获取训练数据， 所述训练数据包括图像样本、 深度图样本和对所述图像样本中对象标 注的是否为活体的标签； 其中， 所述图像样本包括多个图像对， 每个图像对包括第一摄像头 和第二摄像头针对同一对象采集的第一图像和 第二图像， 所述深度图样本包括依据各图像 对中第一图像和第二图像的视 差获取的深度图信息； 将所述图像样本 中的第一图像和深度图样本作为输入， 将对所述图像样本 中对象标注 的是否为活体的标签作为目标输出， 训练活体检测模型； 其中， 所述活体检测模 型对所述第 一图像和深度图样本分别进行特征提取得到图像特征和深度图特征后， 将所述图像特征和 深度图特征进 行融合得到多模态融合特征， 利用所述多模态融合特征得到所述第一图像中 对象是否为活体的检测结果， 其中， 所述活体 检测模型为机器学习模型。 8.根据权利要求7所述的方法， 其特征在于， 所述活体检测模型包括： 特征提取层、 特征 融合层和解码层； 所述特征提取层对所述第 一图像和所述深度图样本分别进行特征提取， 得到图像特征 和深度图特 征； 所述特征融合层对所述图像特征和深度图特征进行第 二合并处理得到第 二融合特征； 对所述第二融合特征分别进行第一注意力处理和第二注意力处理得到图像注意力矩阵和 深度图注意力矩阵； 将所述图像注意力矩阵和深度图注意力矩阵进行融合得到多模态注意 力矩阵； 利用所述多模态注意力矩阵分别对所述图像特征和所述深度图特征进行第三合并 处理， 得到所述多模态融合特 征； 所述解码层利用所述多模态融合特征得到所述第一图像中对象是否为活体的检测结 果。 9.根据权利要求8所述的方法， 其特征在于， 所述特征融合层进一步利用所述多模态融 合特征对所述图像特征和所述深度图特征进 行第二增强处理， 得到第二增强图像特征和 第 二增强深度图特 征； 所述解码层包括图像编码器、 深度编码器和融合编码器； 所述图像编码器利用所述第 二增强图像特征进行二分类， 得到所述第 一图像中对象是 否为活体的第一检测结果； 所述深度编码器利用所述第 二增强深度图特征进行二分类， 得到所述第 一图像中对象 是否为活体的第二检测结果； 所述融合编码器利用所述多模态融合特征得到所述第一图像中对象是否为活体的第 三检测结果； 训练目标为最小化总损 失函数的值， 所述总损 失函数由第一损 失函数值、 第二损 失函 数值和第三损失函数值确定， 所述第一损失函数值由所述第一检测结果与对所述图像样本 中对象标注的是否为活体的标签之 间的差异确定， 所述第二损失函数值由所述第二检测结 果与对所述图像样本中对象标注的是否为活体的标签之 间的差异确定， 所述第三损失函数权　利　要　求　书 2/3 页 3 CN 115482591 A 3