(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210945302.0 (22)申请日 2022.08.08 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 尹智帅　焦钰军　刘峻恺　 (74)专利代理 机构 湖北武汉 永嘉专利代理有限 公司 42102 专利代理师 许美红 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06T 5/50(2006.01)G06T 7/73(2017.01) G06T 17/20(2006.01) (54)发明名称 雾天场景下多模态信息时空融合的3D目标 检测方法及系统 (57)摘要 本发明公开了一种雾天场景下多模态信息 时空融合的3D目标检测方法， 包括以下步骤： 获 取雾天场景下的激光雷达点云和毫米波雷达点 云数据并进行预处理， 再进行时空特征匹配， 借 助毫米波点云特征对激光雷达点云特征进行重 采样， 并将重采样后的点云在时序上进行融合， 得到初步的鸟瞰视角下时空融合特征， 输入到基 于自注意力的Transformer编码器， 采用自注意 力的方式进行特征编码， 得到更高维的时空语义 特征； 输入至目标分类检测头和边框回归检测头 两个分支， 输出最后的目标检测结果， 包括物体 类别和在空间中的位置。 本发明有效融合了激光 雷达点云和毫米波雷达点云， 互补其数据表征优 势， 从而实现了雾天场景下鲁棒高效的3D目标检 测。 权利要求书2页 说明书6页 附图3页 CN 115393680 A 2022.11.25 CN 115393680 A 1.一种雾天场景下多模态信息时空融合的3D 目标检测方法， 其特征在于， 包括以下步 骤： S1、 获取雾天场景 下的激光雷达点云数据和毫米波雷达点云数据并分别进行 预处理； S2、 将经过预处理的多帧激光雷达点云和毫米波雷达点云进行时空特征匹配， 借助毫 米波点云特征对激光雷达点云特征进行重采样， 再进一步在时序上进行融合， 得到初步的 鸟瞰视角下时空融合特 征； S3、 将鸟瞰视角下 时空融合特征输入到基于自注意力的Transformer编码器， 采用自注 意力的方式进行 特征编码， 得到与原特 征图尺寸相同但更高维的时空语义特 征； S4、 将更高维的时空语义特征分别输入至目标分类检测头和边框回归检测头两个分 支， 输出最后的目标检测结果， 包括物体 类别和在空间中的位置 。 2.根据权利要求1所述的雾天场景下多模态信息时空融合的3D 目标检测方法， 其特征 在于， 将激光雷达点云数据提取为体素vox el， 对毫米波雷达点云采用Point Net形式进 行预 处理。 3.根据权利要求1所述的雾天场景下多模态信息时空融合的3D 目标检测方法， 其特征 在于， 步骤S2中具体将毫米波雷达点云转换至激光雷达坐标系下与其体素进行匹配， 然后 将所有的体素和点云特 征转换空间位置投影至鸟瞰图上。 4.根据权利要求1所述的雾天场景下多模态信息时空融合的3D 目标检测方法， 其特征 在于， 步骤S2中具体将毫米波 雷达点云作为中心， 采用KNN搜索一定范围内的激光雷达生成 的体素， 并进行随机采样； 最后将经过筛选的激光雷达点云体素和毫米波雷达点云进行关 联和特征拼接， 得到增强后的融合特 征。 5.根据权利要求1所述的雾天场景下多模态信息时空融合的3D 目标检测方法， 其特征 在于， 步骤S3具体包括以下步骤： 将2.5m×2.5m作为时空窗口的尺寸， 并将不同时刻但同一窗口位置的所有体素特征作 为该时空窗口内的所有元 素； 将划分后的40 ×40个时空窗口统一作为一个批次输入到基于自注意力的Transformer 编码器中进行 特征编码输出高维语义时空特 征； 借助体素的坐标将高维语义特 征重新映射表达为鸟瞰视角下规则栅格化的特 征图。 6.根据权利要求1所述的雾天场景下多模态信息时空融合的3D 目标检测方法， 其特征 在于， 步骤S4具体包括以下步骤： 在高维的时空语义特 征图的每 个位置上布置朝向分别为0 °和90°的基准框； 将布置了基准框后的时空语义特征图分别输入目标分类检测头和边框回归检测头两 个分支的全连接层， 得到网络物体类别评分和预测边框， 基于评分将输入阈值低的检测框 进行过滤， 以得到高质量的检测框 。 7.根据权利要求6所述的雾天场景下多模态信息时空融合的3D 目标检测方法， 其特征 在于， 基准框的尺寸根据数据集中某个类别标注数据的平均值获得， 以减小网络学习的难 度。 8.一种雾天场景 下多模态信息时空融合的3D目标检测系统， 其特 征在于， 包括： 预处理模块， 用于获取雾天场景下的激光雷达点云数据和毫米波雷达点云数据并分别 进行预处理；权　利　要　求　书 1/2 页 2 CN 115393680 A 2时空特征匹配模块， 用于将经过预处理的多帧激光雷达点云和毫米波雷达点云进行时 空特征匹配， 借助毫米波点云特征对激光雷达点云特征进行重采样， 再进一步在时序上进 行融合， 得到初步的鸟瞰视角下时空融合特 征； 特征编码模块， 用于将鸟瞰视角下时空融合特征输入到基于自注意力的Transformer 编码器， 采用自注意力的方式进行特征编码， 得到与原特征图尺寸相同但更高维的时空语 义特征； 分类模块， 用于将更高维的时空语义特征分别输入至目标分类检测头和边框回归检测 头两个分支， 输出最后的目标检测结果， 包括物体 类别和在空间中的位置 。 9.一种计算机存储介质， 其特征在于， 其内存储有可被处理器执行的计算机程序， 该计 算机程序执行权利要求 1‑7中任一项 所述的雾天场景下多模态信息时空融合的3D目标检测 方法。 10.一种车载雾天场景目标检测系统， 其特征在于， 包括数据采集器、 车载存储计算平 台和车辆执行器， 其中数据采集器包括激光雷达、 毫米波雷达、 车辆数据传感器， 车载存储 计算平台内设有权利要求9所述的计算机存储介质， 车辆执行器根据车载存储计算平台输 出的控制指令执 行相应的动作。权　利　要　求　书 2/2 页 3 CN 115393680 A 3