(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211113976.0 (22)申请日 2022.09.14 (71)申请人 重庆米帕斯科技有限公司 地址 400015 重庆市渝中区上清寺路9号第 7楼B附楼M -1开间 (72)发明人 曹亮　 (74)专利代理 机构 重庆天成卓越专利代理事务 所(普通合伙) 50240 专利代理师 王宏松 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 基于人脸检测和识别技术的特殊人员搜寻 方法、 装置及系统 (57)摘要 本发明提出了一种基于人脸检测和识别技 术的特殊人员搜寻方法、 装置及系统， 所述系统 包括： 人脸采集模块、 人脸识别模块、 热成像模 块、 图像存储模块和结果输出模块， 人脸采集模 块用于采集指定区域的若干个监控设备的视频 图像； 人脸识别模块用于将特殊人员人脸图像参 考样本与人脸采集模块中某段时间的人脸图像 进行比对； 热成像模块用于检测人的热成像从而 判断人的情绪； 图像存储模块用于存储 人脸采集 图像数据、 人脸识别图像数据、 识别结果图像数 据以及热成像数据； 结果输出模块， 用于展示特 殊人员， 并对他们的动态运行轨迹进行跟踪。 本 发明能够快速、 准确地识别出特殊人员的人脸特 征。 此外， 结合了情绪对 人的影响， 能够更加准确 地定位特殊人员。 权利要求书2页 说明书7页 附图2页 CN 115457631 A 2022.12.09 CN 115457631 A 1.一种基于人脸检测和识别技术的特殊人员搜寻系统， 其特征在于， 包括： 人脸采集模 块、 人脸识别模块、 热成像模块、 图像存 储模块和结果输出模块， 图像存储模块分别与人脸采集模块、 人脸识别模块、 结果输出模块相连， 人脸采集模块 的数据输出端与人脸识别模块的数据输入端相连， 人脸识别模块的数据输出端、 热成像模块的数据输出端与结果输出模块相连； 人脸采集模块用于采集指定区域的若干个监控设备的视频图像； 人脸识别模块用于将特殊人员人脸图像参考样本与人脸采集模块中某段时间的人脸 图像进行比对； 热成像模块用于检测人的热成像从而判断人的情绪； 图像存储模块用于存储人脸采集图像数据、 人脸识别图像数据、 识别结果图像数据以 及热成像数据； 结果输出模块， 用于展示特殊人员， 并对他们的动态运行轨 迹进行跟踪。 2.根据权利要求1所述的一种基于人脸检测和识别技术的特殊人员搜寻系统， 其特征 在于， 所述人脸识别模块还 包括： 通过多任务卷积神经网络MTCNN模型对所输入的图片进行人脸识别， 所述MTCNN模型包 括P‑Net、 R‑Net、 O‑Net。 3.一种基于人脸检测 和识别技 术的特殊人员搜寻方法， 其特 征在于， 包括以下步骤： S1、 通过人脸采集模块获得监控区域的若干监控设备的视频， 然后通过人脸识别模块 对采集的视频进行 人脸识别， 并将识别结果存 入图像存 储模块； S2， 获得特殊人员的人脸图像参考样本和查询时间段后， 通过人脸识别模块从图像存 储模块中查找与所述人脸图像参考样本相似的人脸图像， 若识别出特殊人员人脸图像与人 脸样本图像的相似度大于设定阈值， 则将人脸识别结果存 入临时存 储表N； S3， 通过热成像模块获取临时存储表N中特殊人员的情绪， 将处于不安和恐慌情绪的特 殊人员信息存 入临时存 储表N2， 并将结果发送至结果输出模块； S4， 通过结果输出模块将临时存 储表N2中特殊人员的动态运行轨 迹进行显示。 4.根据权利要求3所述的一种基于人脸检测和识别技术的特殊人员搜寻方法， 其特征 在于， 所述人脸识别模块还 包括： 首先对图像进行分块操作， 然后求取每 个图像块的积分图像； 然后对积分图像采用HA AR人脸特 征分类器进行特征提取。 5.根据权利要求4所述的一种基于人脸检测和识别技术的特殊人员搜寻方法， 其特征 在于， 所述HAAR人脸特征分类器包括四种特征模板， 分别提取边缘特征、 线性特征、 中心特 征和对角线特征， 因此， 通过四种特征模板最终获得积分图像对应的特征模型T， 并按照如 下公式统计 每个特征模型T的特 征值， 得到累积特 征量Gtotal： 其中I表示积分图像的总个数； Tij表示Ti的四种特征， 当j＝1为边缘特征， 当j＝2为线性特征， 当j＝3为中心特征， 当j ＝4为对角线特 征；权　利　要　求　书 1/2 页 2 CN 115457631 A 2Ti表示第i个积分图像的特 征模型； f(·)表示归一 化处理； exp(li)表示Ti的偏移量； di表示Ti对应的动态值； 其中G′total为修正后的累积特 征量； 为第一门限阈值； 为第二门限阈值， a1、 a2分别为第一、 第二 修正拟合系数； b1、 b2分别为第一、 第二调节系数。 6.根据权利要求4所述的一种基于人脸检测和识别技术的特殊人员搜寻方法， 其特征 在于， 还包括损失函数： 其中N表示图片的总数； xi表示第i张图片； p(xi)表示真实的标签； q(xi)表示预测的标签； λ1表示第一权 重调节值； λ2表示第二权 重调节值。 7.根据权利要求3所述的一种基于人脸检测和识别技术的特殊人员搜寻方法， 其特征 在于， 所述动态运行轨迹是通过设置的时间间隔从存储表N2中获得特殊人员名单， 并从存 储模块调取特殊人员的信息并结合地图上特殊人员经过的位置进 行标注显示， 从而生成运 动轨迹图。 8.一种基于人脸检测和识别技术的特殊人员搜寻装置， 其特征在于， 包括： 摄像头、 存 储器和处 理器， 存储器分别与摄 像头、 处理器相连； 摄像头， 用于采集人脸图像； 存储器， 用于存 储数据和记录执 行指令； 处理器， 用于运行所述存储器存储的执行指令时， 实现权利要求3至7任一项所述的基 于人脸检测 和识别技 术的特殊人员搜寻方法。权　利　要　求　书 2/2 页 3 CN 115457631 A 3