(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210962461.1 (22)申请日 2022.08.11 (71)申请人 广州文远知行 科技有限公司 地址 511365 广东省广州市黄埔区广州国 际生物岛螺旋大道68号合景科盛广场 A栋地上第16层01、 02、 0 3、 04单元 (72)发明人 乐然　韩旭　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 姚维 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) (54)发明名称 目标检测方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及自动驾驶技术领域， 公开了一种 目标检测方法、 装置、 设备及存储介质， 用于提高 目标检测的准确度。 所述目标检测方法包括： 对 至少一个相机拍摄的原始图像进行目标检测， 得 到多个初始检测信息； 获取多模态的特征数据， 并对多模态的特征数据进行鸟瞰图的特征融合， 得到融合鸟瞰特征信息， 多模态的特征数据包括 多个数据采集装置的特征数据和/或多种特征提 取方式获得的特征数据； 通过融合鸟瞰特征信息 对多个初始 检测信息进行去重， 得到至少一个目 标检测信息 。 权利要求书2页 说明书12页 附图4页 CN 115424224 A 2022.12.02 CN 115424224 A 1.一种目标检测方法， 其特 征在于， 所述目标检测方法包括： 对至少一个相机拍摄的原 始图像进行目标检测， 得到多个初始检测信息； 获取多模态 的特征数据， 并对所述多模态的特征数据进行鸟瞰图的特征融合， 得到融 合鸟瞰特征信息， 所述多模态的特征数据包括多个数据采集装置的特征数据和/或多种 特 征提取方式获得的特 征数据； 通过所述融合鸟瞰特征信 息对所述多个初始检测信 息进行去重， 得到至少一个目标检 测信息。 2.根据权利要求1所述的目标检测方法， 其特征在于， 所述多模态的特征数据包括多模 态的第一特 征数据和/或多模态的第二特 征数据， 所述获取多模态的特 征数据， 包括： 获取多个数据采集装置采集的第一原始数据， 并对所述第一原始数据进行特征提取， 得到多模态的第一特 征数据； 和/或 获取同一数据采集装置采集的第 二原始数据， 并通过多种特征提取方式对所述第 二原 始数据进行 特征提取， 得到多模态的第二特 征数据。 3.根据权利要求2所述的目标检测方法， 其特征在于， 所述多个数据采集装置包括不同 角度的数据采集装置， 所述数据采集装置包括相机和/或激光雷达， 所述 获取多个数据采集 装置采集的第一原始数据， 并对所述第一原始数据进行特征提取， 得到多模态的第一特征 数据， 包括： 获取相机拍摄的原始图像和/或激光雷达采集的原始点云， 和/或获取不同角度的相机 拍摄的原 始图像和/或不同角度的激光雷达采集的原 始点云， 得到第一原 始数据； 对所述第一原始数据中的原始图像进行图像特征提取， 和/或对所述第一原始数据中 的原始点云进行语义分割， 得到多模态的第一特 征数据。 4.根据权利要求2所述的目标检测方法， 其特征在于， 所述第 二原始数据包括同一相机 拍摄的原始图像， 所述通过多种 特征提取方式对所述第二原始数据进行特征提取， 得到多 模态的第二特 征数据， 包括： 对所述第二原始数据中同一相机拍摄的原始图像进行目标检测， 得到检测目标特征信 息； 对所述第二原 始数据中同一相机拍摄的原 始图像进行深度估计， 得到深度特 征信息； 对所述第二原始数据中同一相机拍摄的原始图像进行每个像素点的语义分割， 得到语 义特征信息； 结合所述检测目标特征信息、 所述深度特征信息和所述语义特征信息， 得到多模态的 第二特征数据。 5.根据权利要求1所述的目标检测方法， 其特征在于， 对所述多模态的特征数据进行鸟 瞰图的特 征融合， 得到融合鸟瞰特 征信息， 包括： 根据所述多模态的特征数据对应的数据采集装置与虚拟鸟瞰相机之间的相对位置关 系， 将所述多模态的特征数据 投影至鸟瞰图， 并对投影至所述鸟瞰图的各模态的特征数据 进行同一像素点的特 征拼接， 得到融合鸟瞰特 征信息。 6.根据权利要求1所述的目标检测方法， 其特征在于， 所述通过所述融合鸟瞰特征信 息 对所述多个初始检测信息进行去重， 得到 至少一个目标检测信息， 包括： 根据每个相机拍摄的原始图像与 所述鸟瞰图之间的映射关系， 对每个初始检测信 息进权　利　要　求　书 1/2 页 2 CN 115424224 A 2行融合鸟瞰特 征信息拼接， 得到每 个初始检测信息对应的多视角融合特 征信息； 通过每个初始检测信息对应的多视角融合特征信息对所述多个初始检测信息进行筛 选， 得到至少一个目标检测信息 。 7.根据权利要求1所述的目标检测方法， 其特征在于， 所述对至少一个相机拍摄的原始 图像进行目标检测， 得到多个初始检测信息， 包括： 获取激光雷达采集的原始点云和至少一个相机拍摄的原始图像， 并通过所述激光雷达 与每个相机之间的映射关系， 将所述原 始点云投影至所述原 始图像， 得到点云图像； 通过预先训练的目标检测模型， 对所述点云图像进行目标检测， 得到多个初始检测信 息。 8.一种目标检测装置， 其特 征在于， 所述目标检测装置包括： 检测模块， 用于对至少一个相机拍摄的原始图像进行目标检测， 得到多个初始检测信 息； 融合模块， 用于获取多模态的特征数据， 并对所述多模态的特征数据进行鸟瞰图的特 征融合， 得到融合鸟瞰特征信息， 所述多模态的特征数据包括多个数据采集装置的特征数 据和/或多种特 征提取方式获得的特 征数据； 去重模块， 用于通过所述融合鸟瞰特征信息对所述多个初始检测信息进行去重， 得到 至少一个目标检测信息 。 9.一种目标检测设备， 其特征在于， 所述目标检测设备包括： 存储器和至少一个处理 器， 所述存 储器中存 储有计算机程序； 所述至少一个处理器调用所述存储器中的所述计算机程序， 以使得所述目标检测设备 执行如权利要求1 ‑7中任意一项所述的目标检测方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 其特征 在于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑7中任一项所述目标检测方法。权　利　要　求　书 2/2 页 3 CN 115424224 A 3