(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210897601.1 (22)申请日 2022.07.28 (71)申请人 招商局金融科技有限公司 地址 518000 广东省深圳市福田区华 富街 道皇岗路5001号深业上城(南区)二期 35层、 36层 (72)发明人 张一帆　山金孝　李琦　叶颖琦　 刘屹　孙猛　龙喜洋　 (74)专利代理 机构 深圳市沃德知识产权代理事 务所(普通 合伙) 44347 专利代理师 高杰　于志光 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 视频物体关联性的检测跟踪方法、 装置、 设 备及存储介质 (57)摘要 本发明涉及人工智能技术， 揭露了一种视频 物体关联性的检测跟踪方法， 包括： 获取物体视 频， 通过预设的特征提取网络逐帧对物体视频进 行特征提取， 得到物体视频对应的视频帧特征序 列； 依次从视频帧特征序列中选取连续的两个视 频帧特征作为目标特征块， 通过预设的注意力模 型对目标特征块进行物体检测， 得到目标特征块 对应的物体检测框； 利用预设的多级节点转化方 法逐个将目标特征块的物体检测框转化为节点 网络， 得到目标特征块对应的节点网络图； 对节 点网络图进行关联性分析， 根据关联性分析的结 果判断物体视频中的物体是否被跟踪。 本发明还 提出一种视频物 体关联性的检测跟踪装置、 设备 以及存储介质。 本发明可以提高进行跟踪检测时 的精确度。 权利要求书2页 说明书10页 附图3页 CN 115272931 A 2022.11.01 CN 115272931 A 1.一种视频物体关联性的检测跟踪方法， 其特 征在于， 所述方法包括： 获取物体视频， 通过预设的特征提取网络逐帧对所述物体视频进行特征提取， 得到所 述物体视频对应的视频帧特 征序列； 依次从所述视频帧特征序列中选取连续的两个视频帧特征作为目标特征块， 通过预设 的注意力模型对所述目标 特征块进行物体 检测， 得到所述目标 特征块对应的物体 检测框； 利用预设的多级节点转化方法逐个将所述目标特征块的物体检测框转化为节点网络， 得到所述目标 特征块对应的节点网络图； 利用预设的关联性分析网络对所述节点网络图进行关联性分析， 根据 所述关联性分析 的结果判断所述物体视频中的物体是否被跟踪。 2.如权利要求1所述的视频物体关联性的检测跟踪方法， 其特征在于， 所述通过预设的 特征提取网络逐帧对所述物体视频进 行特征提取， 得到所述物体视频对应的视频帧特征序 列， 包括： 利用预设的视频转 化工具将所述物体视频转 化成视频帧图集； 逐个选取所述视频帧图集中的视频帧图片作为目标图片， 利用自底向上的卷积网络结 构对所述目标图片进行特征提取， 得到由特征级别逐步增大的多个特征构成的特征金字 塔； 自顶向下逐个选取所述特征金字塔中的特征作为目标层特征， 利用上采样算法将所述 目标层特征放大到与下层特征相同大小， 并利用侧向连接的特征融合方式将所述下层特征 与上采样后的所述目标层特 征进行融合， 得到所述目标层特 征对应的特 征层特征； 将所述目标图片的所有特征层特征汇集成视频帧特征， 将所述视频帧图集的所有视频 帧特征汇集成视频帧特 征序列。 3.如权利要求1所述的视频物体关联性的检测跟踪方法， 其特征在于， 所述通过预设的 注意力模型对所述 目标特征块进行物体检测， 得到所述 目标特征块对应的物体检测框， 包 括： 利用所述注意力模型的编码器将所述目标 特征块编码成特 征编码； 利用所述注意力模型的解码器从所述特 征编码中解码出待查询实体； 通过所述注意力模型的多层感知机对所述待查询实体进行映射， 得到所述物体检测 框。 4.如权利要求3所述的视频物体关联性的检测跟踪方法， 其特征在于， 所述利用预设的 多级节点转化方法逐个将所述目标特征块的物体检测框转化为节点网络， 得到所述目标特 征块对应的节点网络图， 包括： 将所述物体 检测框中的物体边界框作为所述节点网络的顶点； 将所述物体边界框对应的物体类别乘以所述物体边界框对应的物体置信度得到所述 顶点对应的顶点 值； 利用直线串联所述顶点， 得到所述节点网络的顶点边， 并将所述顶点边的两端所对应 的物体边界框的中心矢量 转化为所述顶点 边的权重， 完成节点网络图的转 化。 5.如权利要求4所述的视频物体关联性的检测跟踪方法， 其特征在于， 所述将所述顶点 边的两端所对应的物体边界框的中心矢量 转化为所述顶点 边的权重包括： 选取所述顶点边的一端所对应的物体边界框作为第 一边界框， 将所述顶点边的另一端权　利　要　求　书 1/2 页 2 CN 115272931 A 2所对应的物体边界框作为第二 边界框； 利用中心矢量算法分别计算出所述第一边界框所对应的第一中心矢量与所述第二边 界框所对应的第二中心矢量； 将所述第一中心矢量减去所述第二中心矢量， 得到标准顶点边矢量， 对所述标准顶点 边矢量进行 取模运算， 得到所述顶点 边的权重。 6.如权利要求1所述的视频物体关联性的检测跟踪方法， 其特征在于， 所述利用预设的 关联性分析网络逐个对所述节点网络图进行关联性分析， 包括： 利用所述关联性网络的编码器根据所述节点网络的顶点值和顶点边的权重对所述节 点网络图中的每 个顶点进行编码， 得到每 个所述顶点对应的顶点向量； 通过所述关联性网络的解码器对所述顶点向量进行解码， 得到所述顶点边的关联性类 型。 7.如权利要求1至6中任一项所述的视频物体关联性的检测跟踪方法， 其特征在于， 所 述利用所述关联性网络的编码器根据所述节点网络的顶点值和顶点边的权重对所述节点 网络图中的每 个顶点进行编码， 得到每 个所述顶点对应的顶点向量， 包括： 通过所述关联性网络的编码器对所述节点网络的顶点逐个进行采样得到所述顶点 值； 通过采样所述顶点的邻 接顶点得到所述顶点的顶点边的权重， 通过对当前的时间戳进 行编码得到所述顶点的时序信息； 通过对所述时序信息、 所述顶点 值和所述权 重进行聚合编码， 得到所述顶点向量。 8.一种视频物体关联性的检测跟踪装置， 其特 征在于， 所述装置包括： 特征提取模块， 用于获取物体视频， 通过预设的特征提取网络逐帧对所述物体视频进 行特征提取， 得到所述物体视频对应的视频帧特 征序列； 物体检测模块， 用于依次从所述视频帧特征序列中选取连续的两个视频帧特征作为目 标特征块， 通过预设的注意力模型对所述 目标特征块进行物体检测， 得到所述目标特征块 对应的物体 检测框； 节点网络模块， 用于利用预设的多级节点转化方法逐个将所述目标特征块的物体检测 框转化为节点网络， 得到所述目标 特征块对应的节点网络图； 关联分析模块， 用于利用预设的关联性分析网络对所述节点网络图进行关联性分析； 跟踪检测模块， 用于根据所述关联性分析的结果判断所述物体视频中的物体是否被跟 踪。 9.一种设备， 其特 征在于， 所述设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使 所述至少一个处理器能够执行如权利要求 1至7中任意一项 所 述的视频物体关联性的检测跟踪方法。 10.一种存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处理器执行时 实现如权利要求1至7中任意 一项所述的视频物体关联性的检测跟踪方法。权　利　要　求　书 2/2 页 3 CN 115272931 A 3