(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210979204.9 (22)申请日 2022.08.16 (71)申请人 中国矿业大 学 （北京） 地址 100083 北京市海淀区学院路丁1 1号 (72)发明人 张国英　 (74)专利代理 机构 北京方安思达知识产权代理 有限公司 1 1472 专利代理师 王蔚　刘振 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于关键点监督和分组特征融合的多视图 行人检测方法 (57)摘要 本发明属于多视图行人检测领域， 特别涉及 基于关键点监督和分组特征融合的多视图行人 检测方法， 所述方法包括： 将预处理后的行人多 视图图像输入预先建立和训练好的多视图行人 检测模型， 得到图像中具体的行人位置， 从而实 现行人检测； 其中， 所述多视图行人检测模型基 于特征提取、 关键点监督和分组特征融合， 通过 生成鸟瞰图得到图像中具体的行人位置。 本发明 的方法通过关键点监督来检测行人， 减小遮挡问 题对检测的影 响； 可以利用分组特征融合提高计 算性能， 并提高多视图行 人检测的精度。 权利要求书2页 说明书7页 附图2页 CN 115359513 A 2022.11.18 CN 115359513 A 1.一种基于关键点监督和分组特征融合的多视图行人检测方法， 其特征在于， 所述方 法包括： 将预处理后的行人多视图图像输入预先建立和训练好的多视图行人检测模型， 得 到图像中具体的行人位置， 从而实现行人检测； 其中， 所述多视图行人检测模型基于特征提 取、 关键点 监督和分组特 征融合， 通过生成鸟瞰图得到图像中具体的行 人位置。 2.根据权利要求1所述的基于关键点监督和分组特征融合的多视图行人检测方法， 其 特征在于， 所述多视图图像为一组时间同步的对同一片区域进行感知的图像， 每个视图来 自一个视角， 各个视角间存在互相重 叠的视野。 3.根据权利要求2所述的基于关键点监督和分组特征融合的多视图行人检测方法， 其 特征在于， 所述多视图行人检测模型包括特征提取模块、 关键点监督模块、 分组特征融合模 块和行人检测模块； 其中， 所述特征提取模块， 用于对预处 理后的行 人多视图 图像进行 特征提取得到N个特 征图； 所述关键点监督模块， 用于对提取的N个特征图通过行人关键点监督检测， 得到包括头 部点、 躯干中心点、 手和脚的关键点； 所述分组特征融合模块， 用于使用透视变换将提取出的N个特征图分别投影到地平面 上， 再从特征通道增强和特征 空间相似性度量两个方面基于多个视角的共视区域进行特征 融合； 所述行人检测模块， 用于基于关键点对融合的特征进行修正， 得到鸟瞰图， 从中得到具 体的行人位置从而实现多视图行 人检测。 4.根据权利要求3所述的基于关键点监督和分组特征融合的多视图行人检测方法， 其 特征在于， 所述特征提取模块采用改进的ResNet34， 从每个预 处理后的尺 寸均为H*W的视图 图像中提取 出C个通道的特 征图。 5.根据权利要求3所述的基于关键点监督和分组特征融合的多视图行人检测方法， 其 特征在于， 所述关键点 监督模块的处 理过程包括： 步骤1)对于一个单视图中的行人， 令其在视图中的矩形包围盒大小为(Hp， Wp)， 其中Hp 和Wp分别为行人P的高度和宽度； 躯干中心 点在包围盒中的坐标为(Hp/2， Wp/2)， 并获得包括 头部点、 手部点和脚部点的行人真值标签； 将上述各点根据相 机标定文件依 次投影到地平 面， 作为投影真值； 步骤2)将每个视图提取到的特征图依次发送到分类器 中， 通过关键点检测的方式检测 单视图中行人的多个关键点， 将检测出的关键点依据相机标定文件投影到地平 面， 第i个行 人的损失函数L满足下式： L＝Lsingle+Lproject 其中， i表示第i个行人， 分别表示第i个行人头部点、 躯干中心点、 手部点和 脚部点的真值标签， 分别表示第i个行人头部点、 躯干中心点、 手部点和脚部点 的预测结果； 分别表示第i个行人头部点、 躯干中心点、 手部点和脚部点的投权　利　要　求　书 1/2 页 2 CN 115359513 A 2影真值标签， 分别表示第i个行人头部点、 躯干中心点、 手部点和脚部点的预 测结果投影， | |·||2表示二阶范数。 6.根据权利要求3所述的基于关键点监督和分组特征融合的多视图行人检测方法， 其 特征在于， 所述分组特征融合模块使用分组策略提高计算效率， 利用通道洗牌增加多视图 通道间的信息交 互， 并通过分组融合的形式增强行 人特征， 其处理过程包括： 步骤s1)将地平面高度Z设置为0， 使用透视变换将提取的N个特征图以地平面为共同的 参考系进行投影； 步骤s2)将投影后的地平面网格大小设置为(Hg， Wg)， 其 中Hg和Wg分别表示地平面的高 度和宽度， 对于区域范围之外的单视图像素点， 用补零填充， 输出N个视图投影后的N*C个特 征通道及用于地平面设置的2个坐标通道； 步骤s3)将N*C个特征通道划分为G个分组， 分组个数G满足： N*C％G＝0， 使用Channel   Shuffle操作对G个分组内的特征通道进行重排， 使不同分组之间在所有处理中的信息流 通； 步骤s4)基于步骤s3)得到的G个分组， 在每个分组内利用组空间中的共视区域目标一 致性来计算行人特征的增强分量， 并将增强分量f作为特征通道增强的权重系数， 输出该权 重系数与每 个分组的乘积； 步骤s5)基于步骤s3)得到的G个分组， 在每个分组内， 使用Group  Normalization计算 均值和方差， 利用全连接增强组内的特征表示， 并用sigmoid进行激活， 获得每个分组的空 间相似性度量系数， 输出 该度量系数与每 个分组的乘积； 步骤s6)将步骤s4)和步骤s5)的输出用元素相加的方式进行融合， 并在空间上归一化 融合特征， 以减少后续的计算开销， 完成利用特征通道增强和特征空间相似性度量对所有 分组的特征增强， 再将所有分组的处理结果与步骤s2)输出的地平 面设置中的2个坐标通道 进行融合， 完成对投影后的多视图特 征的融合。 7.根据权利要求1所述的基于关键点监督和分组特征融合的多视图行人检测方法， 其 特征在于， 所述预处理包括： 对行人多视图图像进行白化、 旋转和剪裁处理， 使图像符合多 视图行人检测模型的输入尺寸要求。 8.一种基于关键点监督和分组特征融合的多视图行人检测系统， 其特征在于， 所述系 统包括： 预处 理模块、 检测输出模块和多视图行 人检测模型； 其中， 所述预处理模块， 用于对行人多视图图像进行白化、 旋转和剪裁处理， 使图像符合多视 图行人检测模型的输入尺寸要求； 所述检测输出模块， 用于将预处理后的行人多视图图像输入预先建立和训练好的多视 图行人检测模型， 得到图像中具体的行 人位置， 从而实现行 人检测； 所述多视 图行人检测模型基于特征提取、 关键点监督和分组特征融合， 通过生成鸟瞰 图得到图像中具体的行 人位置。权　利　要　求　书 2/2 页 3 CN 115359513 A 3