(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210927308.5 (22)申请日 2022.08.03 (71)申请人 西安天和防务 技术股份有限公司 地址 710000 陕西省西安市高新区西部大 道158号 (72)发明人 李翠　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 张瑞志 (51)Int.Cl. G06V 20/54(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06T 7/20(2017.01) (54)发明名称 道路交通状况的检测方法、 装置、 终端设备 以及存储介质 (57)摘要 本申请适用于车路协同的技术领域， 提供了 一种道路交通状况的检测方法、 装置、 终端设备 以及存储介质， 其方法包括获取道路的至少两帧 点云图像以及至少两帧视频图像； 将至少两帧点 云图像输入至第一图像检测模型， 得到第一检测 结果， 将至少两帧视频图像输入至第二图像检测 模型， 得到第二检测结果； 将第一位置信息和对 应帧的第二位置信息进行融合， 得到每帧视频图 像对应的目标物的融合位置信息； 将融合位置信 息输入至目标跟踪模型， 得到目标物的运动状 态； 根据目标物的运动状态确定道路的交通状 况。 本申请能够便于交通管 理人员获得道路的准 确的交通状况， 有效地实现整个 路侧系统的全 方 位感知， 提高道路协同效果。 权利要求书2页 说明书9页 附图6页 CN 115359435 A 2022.11.18 CN 115359435 A 1.一种道路交通状况的检测方法， 其特 征在于， 所述方法包括： 获取道路的至少两帧点云图像以及至少两帧视频图像； 将所述至少两帧点云图像输入至第 一图像检测模型， 得到所述第 一图像检测模型输出 的第一检测结果， 将所述至少 两帧视频图像输入至第二图像检测模型， 得到所述第二图像 模型输出 的第二检测结果， 其中， 所述第一检测结果包括所述道路上 的目标物的第一位置 信息， 所述第二检测结果包括所述目标物的第二 位置信息； 将所述第一位置信 息和对应帧的所述第 二位置信 息进行融合， 得到每帧所述视频图像 对应的所述目标物的融合 位置信息； 将所述融合 位置信息 输入至目标跟踪模型， 得到所述目标物的运动状态； 根据所述目标物的运动状态确定所述道路的交通状况。 2.如权利要求1所述的方法， 其特征在于， 所述点云图像由雷达对所述道路进行扫描得 到， 所述视频图像由相 机对所述道路进行拍摄得到， 所述将所述第一位置信息和对应 帧的 所述第二位置信息进行融合， 得到每 帧所述视频图像对应的所述 目标物的融合位置信息， 包括： 根据所述相机的内参和外参、 所述雷达的外参， 将所述第一位置信息投影到对应帧的 视频图像上； 根据所述视频图像上所述目标物的中心点将所述第一位置信息和对应帧的所述第二 位置信息进行融合， 得到每帧所述视频图像对应的所述目标物的融合 位置信息 。 3.如权利要求2所述的方法， 其特征在于， 所述第一位置信息包括至少一个第一边界 框， 所述第二位置信息包括至少一个第二边界框， 所述根据所述视频图像上所述 目标物的 中心点将所述第一 位置信息和对应帧的所述第二 位置信息进行融合， 包括： 若所述第一边界框和对应帧上的所述第 二边界框的重叠率在预设范围内， 则根据 所述 视频图像上所述目标物的中心点将所述第一位置信息和对应帧的所述第二位置信息进行 融合。 4.如权利要求1所述的方法， 其特征在于， 所述目标物包括车辆， 所述根据所述目标物 的运动状态确定所述道路的交通状况， 包括： 根据所述融合 位置信息确定所述车辆在所述道路中的位置； 根据所述车辆在所述道路中的位置确定所述车辆的通行 方向； 根据所述车辆的运动状态确定所述车辆的行驶轨 迹； 若所述通行方向与 所述行驶轨迹之间的夹角在预设角度 范围内， 确定所述车辆异常行 驶。 5.如权利要求4所述的方法， 其特征在于， 所述根据 所述目标物的运动状态确定所述道 路的交通状况， 还 包括： 若根据所述车辆的运动状态确定所述车辆在预设数量的连续帧内未移动， 确定所述车 辆异常停留。 6.如权利要求1所述的方法， 其特征在于， 在所述根据所述目标物的运动状态确定所述 道路的交通状况之后， 所述方法还 包括： 若所述道路的交通状况为异常交通状况， 将所述视频图像与待拼接 图像进行拼接， 得 到所述道路的全景图， 所述待拼接图像是对所述道路的预设区域进行拍摄所得的视频图权　利　要　求　书 1/2 页 2 CN 115359435 A 2像， 所述异常交通状况包括所述道路上存在障碍物、 所述道路破损和所述道路上 的车辆存 在异常状态中的一种或多种。 7.如权利要求1至6任一项所述的方法， 其特征在于， 在得到每帧所述视频图像对应的 所述目标物的融合 位置信息之后， 所述方法还 包括： 根据地图坐标系将所述融合 位置信息投影到所述 地图中， 输出投影后的所述 地图。 8.一种智能道路监测的装置， 其特 征在于， 包括： 图像获取模块， 用于获取道路的至少两帧点云图像以及至少两帧视频图像； 模型输出模块， 用于将所述至少两帧点云图像输入至第一图像检测模型， 得到所述第 一图像检测模型输出的第一检测结果， 将所述至少两帧视频图像输入至第二图像检测模 型， 得到所述第二图像模型输出的第二检测结果， 其中， 所述第一检测结果包括所述道路上 的目标物的第一 位置信息， 所述第二检测结果包括所述目标物的第二 位置信息； 融合模块， 用于将所述第一位置信息和对应帧的所述第二位置信息进行融合， 得到每 帧所述视频图像对应的所述目标物的融合 位置信息； 目标物状态确定模块， 用于将所述融合位置信息输入至目标跟踪模型， 得到所述目标 物的运动状态； 道路状况确定模块， 用于根据所述目标物的运动状态确定所述道路的交通状况。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 任一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115359435 A 3