(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211110208.X (22)申请日 2022.09.13 (71)申请人 华北电力大 学扬中智能电气研究中 心 地址 212200 江苏省镇江市扬中市新坝镇 新园路1号 (72)发明人 周亚磊　刘鹏　刘懿莹　刘春光　 韩茂岳　曹骁凡　 (74)专利代理 机构 北京华清迪源知识产权代理 有限公司 1 1577 专利代理师 郑兴旺 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/80(2022.01) G06F 21/31(2013.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于人脸识别和行人重识别的人员身份确 定方法及系统 (57)摘要 本申请公开了一种基于人脸识别和行人重 识别的人员身份确定方法及系统。 本方法首先获 取当前摄像头所捕捉的 图片， 通过检测算法得到 行人框及人脸判断结果； 当图片中存在有可识别 人脸图像时， 则将人脸图像发送至融合网络进行 处理得到 人脸特征； 当不存在 有可识别人脸图像 时， 则将行人框发送至融合网络进行处理得到行 人身体特征； 将目标人脸特征或行人身体特征与 预设的已知身份图像库中的图片进行特征比对 得到相近图片序列； 并基于每一张图片拍摄时的 摄像头位置及拍摄时间信息进行序列优化， 确定 出图片中行人的身份。 本申请通过人脸识别和行 人重识别融合网络， 并充分利用区域内摄像头的 位置关系和人员活动的时间联系进行人员身份 确定。 权利要求书2页 说明书8页 附图4页 CN 115359542 A 2022.11.18 CN 115359542 A 1.一种基于人脸识别和行 人重识别的人员身份确定方法， 其特 征在于， 所述方法包括： 获取当前摄像头所捕捉的目标图片， 对所述目标图片通过目标检测算法进行处理得到 行人框及人脸判断结果； 其中， 所述目标图片中至少存在一个行 人； 当判断结果为所述目标图片中存在有可识别人脸图像时， 则将目标图片所识别出的目 标人脸图像发送至人脸识别和行人重识别融合网络进行处理得到目标人脸特征； 其中， 当 判断结果为所述目标图片中不存在有 可识别人脸图像时， 则将行人框发送至人脸识别和行 人重识别融合网络进行处 理； 将所述目标人脸特征与预设的已知身份人脸图像库中的图片进行特征比对得到相近 人脸序列； 其中， 所述相近人脸序列中包括多组人脸序列， 每组人脸序列对应一个相近行人 身份， 人脸序列中的每张人脸照片包括有对应的摄 像头位置信息及拍摄时间信息； 对于相近人脸序列中的每组人脸序列， 基于人脸序列中每一张图片拍摄时的摄像头位 置及拍摄时间信息进行序列优化， 确定出相 近人脸序列中的目标人脸序列， 并将目标人脸 序列所对应的相近行 人身份作为目标图片中行 人的身份。 2.根据权利要求1所述的方法， 其特征在于， 所述当判断结果为所述目标图片中不存在 有可识别人脸图像时， 包括： 将行人框发送至人脸识别和行 人重识别融合网络进行处 理得到目标 行人身体特 征； 将所述目标行人身体特征与预设的已知身份行人图像库中的图片进行特征比对得到 相近行人序列； 其中， 所述相近行人序列中包括多组行人序列， 每组行人序列对应一个相近 行人身份， 行 人序列中的每张行 人照片包括有对应的摄 像头位置信息及拍摄时间信息； 对于相近行人序列中的每组行人序列， 基于行人序列中每一张图片拍摄时的摄像头位 置及拍摄时间信息进行序列优化， 确定出相 近行人序列中的目标行人序列， 并将目标行人 序列所对应的相近行 人身份作为目标图片中行 人的身份。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 通过多个预设位置的多个摄像头获取行人图像， 所述行人图像可以包括人脸图像、 行 人身份、 摄 像头位置信息及拍摄时间信息； 根据人脸图像、 行 人身份、 摄 像头位置信息及拍摄时间信息建立已知身份人脸图像库。 4.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 通过多个预设位置的多个摄像头获取行人图像， 所述行人图像可以包括行人框、 行人 身份、 摄像头位置信息及拍摄时间信息； 根据行人框、 行人身份、 摄 像头位置信息及拍摄时间信息建立已知身份行 人图像库。 5.根据权利要求1所述的方法， 其特征在于， 所述基于人脸序列中每一张图片拍摄时的 摄像头位置及拍摄时间信息进行序列优化， 确定出相近人脸序列中的目标 人脸序列， 包括： 对于具有同一行人身份的人脸序列， 判断人脸序列中的每一张图片拍摄时的摄像头位 置及拍摄时间信息是否存在未被记录的摄 像头拍摄信息； 当不存在未被记录的摄像头拍摄信息时， 则确定该人脸序列为优化后的人脸序列； 并 将优化后可能性身份最高的人脸序列 作为目标 人脸序列。 6.根据权利要求1所述的方法， 其特 征在于， 所述目标检测算法为yo lov3。 7.一种基于人脸识别和行 人重识别的人员身份确定系统， 其特 征在于， 所述系统包括： 获取模块， 用于获取当前摄像头所捕捉的目标图片， 对所述目标图片通过目标检测算权　利　要　求　书 1/2 页 2 CN 115359542 A 2法进行处 理得到行 人框及人脸判断结果； 其中， 所述目标图片中至少存在一个行 人； 判断模块， 用于当判断结果为所述目标图片中存在有可识别人脸图像时， 则将目标图 片所识别出 的目标人脸图像发送至人脸识别和行人重识别融合网络进行处理得到目标人 脸特征； 其中， 当判断结果为所述目标图片中不存在有 可识别人脸图像时， 则将行人框发送 至人脸识别和行 人重识别融合网络进行处 理； 第一比对模块， 用于将所述目标人脸特征与预设的已知身份人脸图像库中的图片进行 特征比对得到相近人脸序列； 其中， 所述相近人脸序列中包括多组人脸序列， 每组人脸序列 对应一个相近行人身份， 人脸序列中的每张人脸照片包括有对应的摄像头位置信息及拍摄 时间信息； 第一确定模块， 对于相近人脸序列中的每组人脸序列， 基于人脸序列中每一张图片拍 摄时的摄像头位置及拍摄时间信息进行序列优化， 确定出相近人脸序列中的目标人脸序 列， 并将目标 人脸序列所对应的相近行 人身份作为目标图片中行 人的身份。 8.根据权利要求7 所述的系统， 其特 征在于， 所述系统包括： 判断模块， 还用于将行人框发送至人脸识别和行人重识别融合网络进行处理得到目标 行人身体特 征； 第二比对模块， 用于将所述目标行人身体特征与 预设的已知身份行人图像库中的图片 进行特征比对得到相近行人序列； 其中， 所述相近行人序列中包括多组行人序列， 每组行人 序列对应一个相近行人身份， 行人序列中的每张行人照片包括有对应的摄像头位置信息及 拍摄时间信息； 第二处理模块， 用于对于相近行人序列中的每组行人序列， 基于行人序列中每一张图 片拍摄时的摄像头位置及拍摄时间信息进 行序列优化， 确定出相近行人序列中的目标行人 序列， 并将目标 行人序列所对应的相近行 人身份作为目标图片中行 人的身份。 9.根据权利要求7 所述的系统， 其特 征在于， 所述系统还 包括： 第一建立模块， 用于通过多个预设位置的多个摄像头获取行人图像， 所述行人图像可 以包括人脸图像、 行人身份、 摄像头位置信息及拍摄时间信息； 根据人脸图像、 行人身份、 摄 像头位置信息及拍摄时间信息建立已知身份人脸图像库。 10.根据权利要求7 所述的系统， 其特 征在于， 所述系统还 包括： 第二建立模块， 通过多个预设位置的多个摄像头获取行人图像， 所述行人图像可以包 括行人框、 行人身份、 摄像头位置信息及拍摄时间信息； 根据行人框、 行人身份、 摄像头位置 信息及拍摄时间信息建立已知身份行 人图像库。权　利　要　求　书 2/2 页 3 CN 115359542 A 3