(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210944753.2 (22)申请日 2022.08.08 (71)申请人 江苏智行 未来汽车研究院有限公司 地址 211111 江苏省南京市江宁区秣陵街 道秣周东路12号 申请人 东南大学 (72)发明人 华国栋　刘德祥　陈雪莹　莫磊　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 周蔚然 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/62(2022.01)G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06T 7/277(2017.01) G06T 7/246(2017.01) G06T 7/292(2017.01) (54)发明名称 一种基于车载多传感器融合的交通目标检 测与跟踪方法 (57)摘要 本发明公开了一种基于车载多传感器融合 的交通目标检测与跟踪方法， 包括以下步骤： 对 车载摄像头采集的图像使用语义分割算法获得 图像的语义信息； 将激光雷达采集点云信息投影 到图像平 面来获取对应位置的语义信息； 根据左 右视角的语义信息进行融合校正； 将校正后的语 义信息添加到点云中得到扩展的带有语义信息 的点云数据； 使用点云目标检测器检测交通目标 的位置、 速度、 宽高、 朝向信息； 在获得交通目标 信息的基础上， 使用匈牙利算法关联轨迹和传感 器的观测的检测信息； 使用关联后的检测信息， 依据卡尔曼滤波更新车辆目标的状态， 从而 得出 交通目标的形状、 运动、 轨迹信息， 以提高自动驾 驶车辆环境感知的精确性和实时性。 权利要求书5页 说明书10页 附图3页 CN 115273034 A 2022.11.01 CN 115273034 A 1.一种基于车载多传感器融合的交通目标检测与跟踪方法， 其特征在于： 包括如下步 骤： S1， 使用语义分割网络DeepL ab V3+， 分别对左侧和右侧车载摄像头采集的图像进行分 割， 得到图片上每 个像素对应的类别 信息； S2， 将激光雷达采集的点云分别投影到左右摄像头的图像平面， 来获取左右图片中对 应投影位置的类别置信度； S3， 使用证据理论作为融合校正方法， 针对不同视角类别信 息存在偏差的问题， 根据左 右视角的像素类别及其置信度设计证据框架以及基本信度分配， 采用Dempster融合规则实 现图像像素融合校正， 得 出更准确的类别 信息； S4， 根据PointPaintin g融合流程， 将从图像平面得到的类别语义信息添加到点云的信 息中， 再使用点云目标检测网络PointPillar去检测交通目标的位置、 速度、 宽高、 朝向信 息； S5， 对现有轨 迹使用卡尔曼 滤波预测下个时刻轨 迹对应的状态信息； S6， 根据步骤S4得到的交通目标信息和步骤S5得到的轨迹信息， 使用匈牙利算法关联 轨迹和传感器的观测的检测信息； 对于未关联的轨迹， 若超过时间阈值则删除； 对于未关联 的检测信息， 创建新的轨迹； 已经关联 的轨迹和观测用于更新车辆目标卡尔曼滤波的状态 参数， 从而 得出交通目标的形状、 运动、 轨迹信息以提高 自动驾驶车辆环境 感知的精确性和 实时性。 2.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法， 其特征 在于： 步骤S1中从语义分割网络DeepLab  V3+得出左右视角图像各像素的语义信息， 具体有 以下的步骤： 1)首先从车载的左前和右前摄 像头采集的图片队列中， 查找对应时间戳的两张图片； 2)使用KITTI数据集训练DeepLab  V3+模型， 从而对模型进行微调， 使其适用于交通目 标图像分割； 3)将相同时间戳的左前视角和右前视角的图片作为网络输入， 得到分割后的图像， 过 程表达为： S＝Seg(limg)           (1) 其中limg∈RW,H,3为宽为W， 高为H的RGB图片， S∈RW,H,C为输出的分割图， 分割图和原图像 宽高一致， C为交通目标类别总数。 3.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法， 其特征 在于： 步骤S2中， 将激光雷达采集的同一时间戳的点云分别投影到左右摄像头的图像平 面， 来获取左右图片中对应投影位置的类别置信度， 具体有以下的步骤： 1)从激光雷达采集的点云队列中选择对应时间戳的点云数据； 2)将点云数据投影到对应的图像平面， 具体而言， 先将点云的点从激光雷达坐标系变 换到相机坐标系下， 再根据具体视角的相机作15 °以内的角度旋转， 最后再将三 维空间的点 投影到相机平面， 完整的投影过程表达为以下 形式： pc(i)＝PrectRrectTL2cpL(i)    (2) 其中， 为点云的N个点中的任意一点， TL2c为从车载激光 雷达到摄像头的变换矩阵， Rrect为不同视角相机的旋转矩阵， Prect为向相机平面投影的投影权　利　要　求　书 1/5 页 2 CN 115273034 A 2矩阵； 3)根据2)得到的映射 位置， 在语义图中索引对应位置的类别置信度， 索引过程表述 为： s(i)＝S[pc(i)[0]， pc(i)[1]]            (3) 类别置信度s(i)为点云中的第i个点投影后的像素所在目标为背景、 汽车、 行人、 非机 动车的可能性。 4.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法， 其特征 在于： 步骤S 3中， 使用基于证据理论的融合校正方法， 针对左前视角和右前视角图片的类别 信息置信度不一致的情况， 根据左右视角的像素类别 及其置信度设计证据框架以及基本信 度分配， 采用Dempster融合 规则实现图像 像素融合校正， 具体分为以下步骤： 1)针对所有可能的类别假设， 构建证据假设Ω＝{背景， 机动车， 行人， 非机动车}和基 本信度分布； 第i个点的基本信度分布定义 为： 2)将来自左前视角和右前视角的摄像头的像素语义信息看成两组证据ml(·)和mr (·)， 根据视觉相 似性， 考虑存在不确定性的复合类别： 机动车∪非机动车， 行人∪非机动 车， 从而确定识别框架为 3)使用Dempster融合规则， 将两组证据ml(·)和mr(·)进行融合校正， 得出融合后的基 本信度分布， 如下 所示： 其中K为折扣系数， 计算方式如下： 5.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法， 其特征 在于： 步骤S4中， 根据PointPainting融合流程， 与点云中各点对应的类别语义信息添加到 点云的信息中， 再使用点云目标检测网络PointPillar去检测交通目标的位置、 速度、 宽高、 朝向信息， 具体地， 分为以下步骤： 1)将采用证据理论融合校正后的结果与原点云的点向量相连接， 扩充原点云数据的维 度， 扩充后的点云记为ppainted(·)， 扩充后点云中的任意一点 表示 为 ppainted(i)＝(pL(i)[0]， . ..， s(i)[0]， . ..)              (7) 2)使用PointPillar网络对扩充后的点云进行目标检测， 得到交通目标的位置、 速度、 宽高、 朝向信息； PointPillar的具体实现分为三个步骤： (a)将点云转换成伪图像； (b)使用 2D backbone网络学习高层次的表征； (c)任务网络实现3D  Box的检测 和回归任务； 对于点云到伪图像的转换， 首先按照点云所在的X和Y轴位置， 将点云划分为一个个的权　利　要　求　书 2/5 页 3 CN 115273034 A 3