(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210931367.X (22)申请日 2022.08.04 (65)同一申请的已公布的文献号 申请公布号 CN 114998815 A (43)申请公布日 2022.09.02 (73)专利权人 江苏三棱智慧物联发展股份有限 公司 地址 215300 江苏省苏州市昆山 开发区前 进东路586号 (72)发明人 岳建明　杨睿　杨冬俊　 (74)专利代理 机构 南京聚匠知识产权代理有限 公司 323 39 专利代理师 卢美玲 (51)Int.Cl. G06V 20/40(2022.01)G06V 20/58(2022.01) G06V 20/62(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) 审查员 陈震宇 (54)发明名称 一种基于视频分析的交通车辆识别追踪方 法及系统 (57)摘要 本发明公开了一种基于视频分析的交通车 辆识别追踪方法及系统， 所述方法中包括： 步骤 1， 提取第一视频和第二视频， 所述第一视频和所 述第二视频具有时空关联性； 步骤2， 针对第一视 频， 进行车辆识别； 步骤3， 针对第二视频， 进行车 辆识别； 步骤4， 在地图上标注上所识别成功的同 一车牌车辆， 按照所述第一视频和所述第二视频 所具有的时空关联性在地图上进行标注点连接， 得到车辆 行驶轨迹， 根据该车辆行驶轨迹完成车 辆 追 踪 。本 发 明 通 过 融 合 改 进 的 s w i n   transformer深度学习模型和MapReduce框架下 训练的AlexNet模型的方法， 提高了车辆检测识 别追踪的效率。 权利要求书3页 说明书7页 附图2页 CN 114998815 B 2022.10.25 CN 114998815 B 1.一种基于 视频分析的交通车辆识别追踪方法， 其特 征在于， 包括： 步骤1， 提取第一视频和第二视频， 所述第一视频和所述第二视频 具有时空关联性； 步骤2， 针对第一视频， 进行 车辆识别， 其中包括： 步骤2.1， 以每秒1帧的帧率获取第一视频的视频帧图像， 并进行归一化得到第一视频 帧图像； 步骤2.2， 使用改进的swin  transformer深度学习模型对上述步骤2.1中的第一视频帧 图像进行自动识别， 得到包 含车辆参 考区域的灰度图像1； 步骤2.3， 构建图像分割融合模型， 利用图像分割融合模型对车辆参考区域的灰度图像 1进行快速分区分割， 得到 视频图像中的车牌 参考灰度图像1； 步骤2.4， 利用MapReduce框架训练AlexNet模型， 生成针对图像集合分类的AlexNet； 利 用MapReduce结合训练后的AlexNet模型对 车牌参考灰度图像1 中的各个 分区图像对应的车 牌参考图像1进行识别分类， 得到车牌目标， 并在所述第一视频帧图像中对车牌目标做符号 标识； 其中， 车牌 参考图像1是 车牌参考灰度图像1在原第一视频帧中对应位置的图像； 步骤2.5， 当第一视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达 到预设值， 则车辆识别成功； 步骤3， 针对第二视频， 进行 车辆识别， 其中包括： 步骤3.1， 以每秒1帧的帧率获取第二视频的视频帧图像， 并进行归一化得到第二视频 帧图像； 步骤3.2， 使用改进的swin  transformer深度学习模型对第二视频帧图像进行自动识 别， 得到包 含车辆参 考区域的灰度图像2； 步骤3.3， 构建图像分割融合模型， 利用图像分割融合模型对车辆参考区域的灰度图像 2进行快速分割， 得到 视频图像中的车牌 参考灰度图像2； 步骤3.4， 利用MapReduce框架训练AlexNet模型， 生成针对图像集合分类的AlexNet； 利 用MapReduce结合训练后的AlexNet模型对 车牌参考灰度图像2中的各个 分图像对应的车牌 参考图像2进 行识别分类， 得到车牌目标， 并在所述第二视频帧图像中对车牌目标做符号标 识； 其中， 车牌 参考图像2是 车牌参考灰度图像2在原第二视频帧中对应位置的图像； 步骤3.5， 当第二视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达 到预设值， 则车辆识别成功； 步骤4， 在地图上标注上述步骤2.5和上述步骤3.5中所识别成功的同一车牌车辆， 按照 所述第一视频和所述第二视频所具有的时空关联性在地图上进行标注点连接， 得到车辆行 驶轨迹， 根据该 车辆行驶轨 迹完成车辆追踪； 所述改进的swin  transformer深度学习模型包括： 在Swin  Transformer中引入注意力 机制模块， 以及 在Swin Transformer的Patc hEmBed中引入多尺度混合卷积； 图像分割融合模型 由VGG网络和U ‑Net组成， 其中， VGG网络由VGG16的layer1， layer2， layer3， layer4， layer5组成； 图像分割融合模型的损失函数L oss自定义为： 权　利　要　求　书 1/3 页 2 CN 114998815 B 2通过最小化损失函数取得最优网络参数； 其中， pred代表预测值的集合， true代表真实 值的集合， α、 γ作为调节系数， α =0.5， y代表标签， n表示类别数， 如果类别i=1， 那么yi=1， 否 则yi=0， pi表示对应 类别输出的概 率值， L1表示均方误差 。 2.根据权利要求1所述的一种基于视频分析的交通车辆识别追踪方法， 其特征在于， 所 述步骤2.2， 使用改进的swin  transformer深度学习模型对 上述步骤2.1中的第一视频帧图 像进行自动识别， 得到包含车辆参考区域的灰度图像1， 具体包括： 将归一化后的第一视频 帧图像输入改进的swin  transformer深度学习模型进行检测， 得到视频帧对应的车辆参考 区域的图像后进行二值化， 二值图像中将车辆区域的像素值置为 1， 非车辆区域的像素值置 为0； 步骤3.2， 使用改进的swin  transformer深度学习模型对第二视频帧图像进行自动识 别， 得到包含车辆参考区域的灰度图像2， 具体包括： 将归一化后的第二视频帧图像输入改 进的swin  transformer深度学习模 型进行检测， 得到视频帧对应的车辆参考区域的图像后 进行二值化， 二值图像中将车辆区域的像素值置为1， 非车辆区域的像素值置为0 。 3.根据权利要求1所述的一种基于视频分析的交通车辆识别追踪方法， 其特征在于， 所 述时空关联性具体包括时间顺序和空间位置关系。 4.根据权利要求1所述的一种基于视频分析的交通车辆识别追踪方法， 其特征在于， 利 用MapReduce结合训练后的AlexNet模型对 车牌参考灰度图像1 中的各个 分区图像对应的车 牌参考图像1进行识别分类， 得到车牌目标， 并在所述第一视频帧图像中对车牌目标做符号 标识， 具体包括： 找到车牌参考灰度图像1中的各个 分区图像在第一视频帧中对应位置的车 牌参考图像1， 并对所有的车牌参考图像1进行归一化， 之后输入到AlexNet模型， 识别 得到 全部的车牌目标位置， 并将全部的车牌目标位置在第一视频帧图像中进行符号标识； 利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像2中的各个分图像对应 的车牌参考图像2进 行识别分类， 得到车牌目标， 并在所述第二视频帧图像中对 车牌目标做 符号标识， 具体包括： 找到车牌参考灰度图像2中的各个分区图像在第二视频帧中对应位置 的车牌参考图像2， 并对所有的车牌参考图像2进行归一化， 之后输入到AlexNet模型， 识别 得到全部的车牌目标位置， 并将全部的车牌目标位置在第二视频帧图像中进行符号标识。 5.一种基于视频分析的交通车辆识别追踪系统， 其特征在于， 用于实现根据权利要求 1‑4任一项所述的一种基于 视频分析的交通车辆识别追踪方法， 包括： 提取模块， 用于提取第一视频和第二视频， 所述第一视频和所述第二视频具有时空关 联性； 识别模块1， 用于针对第一视频， 进行 车辆识别， 其中包括： 获取模块1， 用于以每秒1帧的帧率获取第一视频的视频帧图像， 并进行归一化得到第 一视频帧图像； 改进模块1， 用于使用改进的swin  transformer深度学习模型对上述步骤2.1中的第一 视频帧图像进行自动识别， 得到包 含车辆参 考区域的灰度图像1； 分割模块1， 用于构建图像分割融合模型， 利用图像分割融合模型对车辆参考区域的灰 度图像1进行 快速分区分割， 得到 视频图像中的车牌 参考灰度图像1； 分类模块1， 用于利用MapReduce框架训练AlexNet模型， 生成针对图像集合分类的 AlexNet； 利用MapReduce结合训练后的AlexNet模型对 车牌参考灰度图像1中的各个分区图权　利　要　求　书 2/3 页 3 CN 114998815 B 3