(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210882792.4 (22)申请日 2022.07.25 (71)申请人 深圳元戎启行 科技有限公司 地址 518000 广东省深圳市福田区福保街 道福保社区桃花路与 槟榔道交汇处西 北深九科技创业园6号楼C701(7-8层) (72)发明人 万锐　许双杰　邹晓艺　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 李申 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/56(2022.01) G06V 20/64(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G01B 11/245(2006.01) (54)发明名称 融合方法、 3D目标检测方法、 车载设备及存 储介质 (57)摘要 本申请公开了一种融合方法、 3D目标检测方 法、 车载设备及存储介质， 融合方法包括获取用 于描述预定场景的点云和图像； 对点云进行特征 提取处理， 以获取点云俯瞰特征图； 通过经训练 的预设深度学习模型对图像进行特征提取处理， 以获取图像俯瞰特征图； 将点云俯瞰特征图与图 像俯瞰特征图进行对齐处理， 以得到点云目标特 征图； 将点 云目标特征图与图像俯瞰特征图输入 经训练的融合深度学习模型， 从而得到用于描述 预定场景的融合特征图。 本申请通过对点云俯瞰 特征图和图像俯瞰特征图进行对齐处理， 实现将 两种传感器采集到的不对齐的数据进行融合， 得 到完全视角范围的且具有深度信息的融合特征 图， 有效提高学习训练效果。 权利要求书2页 说明书9页 附图2页 CN 115457354 A 2022.12.09 CN 115457354 A 1.一种融合方法， 其特 征在于， 所述融合方法包括： 获取用于描述预定场景的点云和图像； 对所述点云进行 特征提取处 理， 以获取点云俯瞰特 征图； 通过经训练的预设深度 学习模型对所述图像进行特征提取处理， 以获取图像俯瞰特征 图； 将所述点云俯瞰特征图与所述图像俯瞰特征图进行对齐处理， 以得到点云目标特征 图； 将所述点云目标特征图与 所述图像俯瞰特征图输入经训练 的融合深度 学习模型， 从而 得到用于描述所述预定场景的融合特 征图。 2.根据权利要求1所述的融合方法， 其特征在于， 所述经训练的融合深度 学习模型包括 合并操作和卷积 操作； 将所述点云目标特征图与 所述图像俯瞰特征图输入经训练 的融合深度 学习模型， 从而 得到用于描述所述预定场景的融合特 征图， 包括： 将所述点云目标特征图中的每个点云俯瞰特征与所述图像俯瞰特征图中相应的图像 俯瞰特征进行通道合并操作， 以得到合并结果； 对所述合并结果执 行卷积操作， 从而得到所述融合特 征图。 3.根据权利要求1所述的融合方法， 其特征在于， 所述融合特征图中的融合特征与 所述 图像俯瞰特征图中的相 应的图像俯瞰特征之间的相似性损失用于对所述预设深度学习模 型进行训练， 以得到所述经训练的预设深度学习模型。 4.根据权利要求1所述的融合方法， 其特征在于， 将所述点云俯瞰特征图与 所述图像俯 瞰特征图进行对齐处 理， 以得到点云目标 特征图， 包括： 对所述点云俯瞰特征图与 所述图像俯瞰特征图进行范围对齐操作， 以得到点云中间特 征图； 依据所述图像俯瞰特征图的分辨率， 对所述点云中间特征图进行映射操作， 以得到所 述点云目标 特征图。 5.根据权利要求4所述的融合方法， 其特征在于， 对所述点云俯瞰特征图与 所述图像俯 瞰特征图进行 范围对齐操作， 以得到点云中间特 征图， 包括： 根据所述图像俯瞰特 征图的范围和所述 点云俯瞰特 征图的分辨 率得到对齐范围； 依据所述对齐范围， 对所述点云俯瞰特征图中的点云俯瞰特征进行填充操作， 进而得 到点云中间特 征图。 6.根据权利要求1 ‑5中任一项所述的融合方法， 其特征在于， 对所述点云进行特征提取 处理， 以获取点云俯瞰特 征图， 包括： 对所述点云执行体素化操作， 以得到体素化初始特 征； 使用预设个堆叠的稀疏卷积网络， 对所述体素化初始特征进行特征提取， 以得到所述 点云俯瞰特 征图。 7.根据权利要求1 ‑5中任一项所述的融合方法， 其特征在于， 通过经训练的预设深度 学 习模型对所述图像进行 特征提取处 理， 以获取图像俯瞰特 征图， 包括： 依据所述图像的范围和目标分辨率， 获取预设俯瞰特征图， 其中所述预设俯瞰特征图 通过格网表征；权　利　要　求　书 1/2 页 2 CN 115457354 A 2对于所述预设俯瞰特征图中的每个格网， 获取其3D位置， 并依据所述3D位置投影到环 视图对应的预设数量个尺度的特征图中， 并在投影位置处对每个尺度的特征进行插值， 以 获得所述格网对应的所述预设数量个特 征； 将所述预设数量个特征输入到所述经训练 的预设深度学习 模型， 以获得所述图像俯瞰 特征图。 8.一种3D目标检测方法， 其特 征在于， 包括： 获取用于描述预定场景的点云和图像的融合特 征图； 使用3D检测头， 对所述融合特 征图进行检测， 以获得相应3D目标的3D检测框； 其中， 所述融合特 征图是利用权利要求1 ‑7中任一项所述的融合方法而得到的。 9.一种车载设备， 其特征在于， 包括相互耦接的存储器和处理器， 所述处理器用于执行 所述存储器中存储的程序指 令， 以实现如权利要求1至7任一项 所述的融合方法以及如权利 要求8所述的3D目标检测方法。 10.一种非易失性计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存 储计算机程序， 所述计算机程序在被处理器执行时， 用于实现如权利要求 1‑7中任一项 所述 的融合方法以及 如权利要求8所述的3D目标检测方法。权　利　要　求　书 2/2 页 3 CN 115457354 A 3