(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211040745.1 (22)申请日 2022.08.29 (65)同一申请的已公布的文献号 申请公布号 CN 115116049 A (43)申请公布日 2022.09.27 (73)专利权人 苏州魔视智能科技有限公司 地址 215300 江苏省苏州市昆山市张浦镇 建德路40 5号 (72)发明人 张健喃　李发成　虞正华　张如高　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 熊飞雪 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/80(2022.01)G06V 10/40(2022.01) G06V 10/26(2022.01) G01S 17/86(2020.01) (56)对比文件 CN 113554643 A,2021.10.26 审查员 叶旭庆 (54)发明名称 目标检测的方法、 装置、 电子设备及存储介 质 (57)摘要 本发明实施例涉及一种目标检测的方法、 装 置、 电子设备及存储介质， 该方法包括： 获取待检 测目标的激光雷达点云和目标图像； 在第一预设 空间坐标系下的鸟瞰空间中对激光雷达点云进 行特征提取， 获取鸟瞰点云特征； 对目标图像进 行特征提取， 获取第一图像特征； 根据激光雷达 点云和目标图像， 获取第一深度图； 将第一深度 图进行尺 寸变换， 获取与第一图像特征尺寸相同 的第二深度图； 根据第二深度图的像素信息和深 度信息， 获取目标图像的鸟瞰图像特征； 根据鸟 瞰图像特征获取图像鸟瞰分割置信度； 将图像鸟 瞰分割置信度与鸟瞰点云特征融合， 根据融合特 征获取待检测目标的目标信息。 通过该方式， 能 够融合两种传感器的优点， 提高3D目标检测的准 确率。 权利要求书2页 说明书13页 附图5页 CN 115116049 B 2022.11.18 CN 115116049 B 1.一种目标检测的方法， 其特 征在于， 所述方法包括： 获取待检测目标的激光雷达点云和目标图像， 其中， 所述激光雷达点云为将采集的原 始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云； 在所述第一预设空间坐标系下的鸟瞰空间中对所述激光雷达点云进行特征提取， 获取 鸟瞰点云特 征； 对所述目标图像进行 特征提取， 获取第一图像特 征； 根据所述激光雷达点云和所述目标图像， 获取第 一深度图， 其中， 所述第 一深度图包括 预设数量的离 散深度以及每一个所述离 散深度对应的置信度； 将所述第一深度图进行尺寸变换， 获取与所述第一图像特征尺寸相同的第二深度图， 其中， 所述第二深度图中每一个像素点的离散深度与第一深度图中对应像素的离散深度相 同； 根据所述第 二深度图中每一个像素点的像素坐标、 所述第 二深度图中每一个所述离散 深度、 所述第二深度图中每一个所述离散深度对应的置信度， 以及所述 目标图像中每一个 像素点对应的所述第一图像特 征， 获取在所述第一预设空间坐标系下的鸟瞰图像特 征； 根据所述鸟瞰图像特 征获取图像鸟瞰分割置信度； 将所述图像鸟瞰分割置信度与所述鸟瞰点云特 征进行融合， 获取融合特 征； 根据所述融合特 征获取所述待检测目标的目标信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述在所述第 一预设空间坐标系下的鸟瞰 空间中对所述激光雷达点云进行 特征提取， 获取鸟瞰点云特 征， 包括： 将所述第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格， 使用点 云编码器对所述网格中每一个网格的激光雷达点云进行特征提取， 获取所述鸟瞰点云特 征。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述激光雷达点云和所述目标图 像， 获取第一深度图， 包括： 将所述激光雷达点云和所述目标图像输入预构建的点云补全 网络， 获取所述第 一深度 图。 4.根据权利要求3所述的方法， 其特征在于， 所述将所述第一深度图进行尺寸变换， 获 取与所述第一图像特 征尺寸相同的第二深度图， 包括： 对所述第一深度图进行降采样处理， 获取与所述第一图像特征尺寸相同的第二深度 图。 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述根据 所述第二深度图中每一 个像素点的像素坐标、 所述第二深度图中每一个所述离散深度、 所述第二深度图中每一个 所述离散深度对应的置信度， 以及所述目标图像中每一个像素点对应的所述第一图像特 征， 获取在所述第一预设空间坐标系下的鸟瞰图像特 征， 具体包括： 根据所述第 二深度图中每一个像素点的像素坐标和每一个所述离散深度， 获取所述第 二深度图中每一个 像素点在第二预设空间坐标系的3D空间坐标； 根据所述目标图像中的每一个像素点对应的所述第 一图像特征， 以及所述第 二深度图 中每一个所述离 散深度对应的置信度， 确定与所述目标图像对应的视锥特 征； 将所述3D空间坐标和所述视锥特征分别转换到所述第 一预设空间坐标系下， 构建所述权　利　要　求　书 1/2 页 2 CN 115116049 B 2鸟瞰图像特 征。 6.根据权利要求5所述的方法， 其特征在于， 所述将所述3D空间坐标和所述视锥特征分 别转换到所述第一预设空间坐标系下， 构建所述鸟瞰图像特 征， 包括： 将所述3D空间坐标和所述视锥特征分别转换到所述第 一预设空间坐标系下， 利用3D空 间插值以及高度编码处理的方式提取出所述目标图像在所述第一预设空间坐标系下的鸟 瞰空间中的图像特 征， 构成所述图像鸟瞰特 征。 7.根据权利要求1 ‑4或6任一项所述的方法， 其特征在于， 所述根据所述鸟瞰图像特征 获取图像鸟瞰分割置信度， 包括： 将所述鸟瞰图像特 征输入预构建的鸟瞰分割网络， 获取 所述图像鸟瞰分割置信度。 8.一种目标检测的装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取待检测目标的激光雷达点云和目标图像， 其中， 所述激光雷达点云 为将采集的原 始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云； 特征提取模块， 用于在所述第 一预设空间坐标系下的鸟瞰空间中对所述激光雷达点云 进行特征提取， 获取鸟瞰点云特 征； 对所述目标图像进行 特征提取， 获取第一图像特 征； 处理模块， 还用于根据所述激光雷达点云和所述目标图像， 获取第一深度图， 其中， 所 述第一深度图包括预设数量的离 散深度以及每一个所述离 散深度对应的置信度； 尺寸变换模块， 用于将所述第一深度图进行尺寸变换， 获取与所述第一图像特征尺寸 相同的第二深度图； 所述处理模块， 还用于根据所述第二深度图中每一个像素点的像素坐标、 所述第二深 度图中每一个所述离散深度、 所述第二深度图中每一个所述离散深度对应的置信度， 以及 所述目标图像中每一个像素点对应的所述第一图像特征， 获取在所述第一预设空间坐标系 下的鸟瞰图像特 征； 根据所述鸟瞰图像特 征获取图像鸟瞰分割置信度； 融合模块， 用于将所述图像鸟瞰分割置信度与所述鸟瞰点云特征进行融合， 获取融合 特征； 所述处理模块， 还用于根据所述融合特 征获取所述待检测目标的目标信息 。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器、 通信接口和存 储器通过通信总线完成相互间的通信； 所述存储器， 用于存放计算机程序； 所述处理器， 用于执行存储器上所存放的程序时， 实现权利要求1 ‑7任一项所述的目标 检测的方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1 ‑7任一项所述的目标检测的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115116049 B 3