(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211051135.1 (22)申请日 2022.08.24 (71)申请人 广东工业大 学 地址 510060 广东省广州市越秀区东 风东 路729号大院 (72)发明人 刘怡俊　陈华润　叶武剑　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 周伟 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于脉冲神经网络的行人重识别方法 及装置 (57)摘要 本申请公开了一种基于脉冲神经网络的行 人重识别方法及装置， 本申请提供的方案将基于 图像帧的脉冲特征映射为脉冲特征集来表征时 序图像的时空多维特征， 然后通过卷积将不同深 度的脉冲特征集进行融合， 来进一步学习更具辨 识度的行人步态特征， 接着将基于步态图像帧的 局部空间维度的脉冲特征和基于脉冲特征集的 全局时空维度的脉冲特征集同时映射到更具区 分度的条带状特征， 最后利用具有更高区分度的 条带状特征作为MSSF模型的输入量， 以通过模型 运算获得更准确的行人重识别结果， 通过使用对 时空特性敏感的脉冲信号来表征行人更具辨识 性的步态特 征， 从而提高行 人重识别准确率。 权利要求书2页 说明书7页 附图3页 CN 115410227 A 2022.11.29 CN 115410227 A 1.一种基于脉冲神经网络的行 人重识别方法， 其特 征在于， 包括： 获取行人视频序列； 通过基于 图像帧的脉冲特征提取方式， 对所述行人视频序列进行特征提取， 得到步态 序列脉冲特 征； 将所述步态序列脉冲 特征分别映射为不同层级的脉冲 特征集， 通过卷积运算对所述不 同层级的脉冲特 征集进行融合， 得到全局脉冲特 征集； 基于所述步态序列 脉冲特征与所述全局脉冲特征集， 通过水平金字塔混合特征映射方 式， 得到条 带状特征； 将所述条带状特征， 输入到预设的MSSF模型， 以通过所述MSSF模型的运算得到行人重 识别结果， 其中， 所述MS SF模型为利用预设的条 带状特征样本训练得到的神经网络模型。 2.根据权利要求1所述的一种基于脉冲神经网络的行人重识别方法， 其特征在于， 所述 通过基于图像 帧的脉冲特征提取方式， 对所述行人视频序列进行特征提取， 得到不同时间 维度的步态序列脉冲特 征具体包括： 对所述行人视频序列中各个时刻的图像帧数据进行脉冲 卷积与池化的前向传播， 提取 出多列不同深度层级的步态序列脉冲特 征。 3.根据权利要求2所述的一种基于脉冲神经网络的行人重识别方法， 其特征在于， 所述 将所述步态序列脉冲特征分别映射为不同层级的脉冲特征集， 通过卷积运算对所述不同层 级的脉冲特 征集进行融合， 得到全局脉冲特 征集具体包括： 将不同深度的所述 步态序列脉冲特 征分别映射 为不同层级的脉冲特 征集； 对当前层级的脉冲 特征集进行卷积运算， 并将经过卷积运算的脉冲 特征集与 下一层级 的脉冲特 征集进行叠加融合， 直至当前层级为 最后一层为止， 得到全局脉冲特 征集。 4.根据权利要求3所述的一种基于脉冲神经网络的行人重识别方法， 其特征在于， 所述 MSSF模型的构建方式具体包括： 基于预设的行人视频序列样本， 提取所述行人视频序列样本的条带状特征， 利用所述 条带状特征样本， 结合时空反向传播 算法进行模型训练， 得到所述MS SF模型。 5.根据权利要求2所述的一种基于脉冲神经网络的行人重识别方法， 其特征在于， 所述 步态序列脉冲特 征的列数 具体为三列。 6.一种基于脉冲神经网络的行 人重识别装置， 其特 征在于， 包括： 行人视频序列获取 单元， 用于获取 行人视频序列； 脉冲特征提取单元， 用于通过基于 图像帧的脉冲特征提取方式， 对所述行人视频序列 进行特征提取， 得到步态序列脉冲特 征； 脉冲特征融合单元， 用于将所述步态序列脉冲特征分别映射为不同层级的脉冲特征 集， 通过卷积运算对所述 不同层级的脉冲特 征集进行融合， 得到全局脉冲特 征集； 特征混合映射单元， 用于基于所述步态序列脉冲特征与所述全局脉冲特征集， 通过水 平金字塔混合特 征映射方式， 得到条 带状特征； 重识别结果获取单元， 用于将所述条带状特征， 输入到预设的MSSF模型， 以通过所述 MSSF模型的运算得到行人重识别结果， 其中， 所述MSSF模型为利用预设的条带状特征样本 训练得到的神经网络模型。 7.根据权利要求6所述的一种基于脉冲神经网络的行人重识别装置， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 115410227 A 2脉冲特征提取单元具体用于： 对所述行人视频序列中各个时刻的图像帧数据进行脉冲 卷积与池化的前向传播， 提取 出多列不同深度层级的步态序列脉冲特 征。 8.根据权利要求7所述的一种基于脉冲神经网络的行人重识别装置， 其特征在于， 所述 脉冲特征融合单 元具体用于： 将不同深度的所述 步态序列脉冲特 征分别映射 为不同层级的脉冲特 征集； 对当前层级的脉冲 特征集进行卷积运算， 并将经过卷积运算的脉冲 特征集与 下一层级 的脉冲特 征集进行叠加融合， 直至当前层级为 最后一层为止， 得到全局脉冲特 征集。 9.根据权利要求8所述的一种基于脉冲神经网络的行人重识别装置， 其特征在于， 还包 括： 模型预训练单元， 用于基于预设的行人视频序列样本， 提取所述行人视频序列样本的 条带状特征， 利用所述条带状特征样本， 结合时空反向传播算法进行模型训练， 得到所述 MSSF模型。 10.根据权利要求7所述的一种基于脉冲神经网络的行人重识别装置， 其特征在于， 所 述步态序列脉冲特 征的列数 具体为三列。权　利　要　求　书 2/2 页 3 CN 115410227 A 3