(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211007887.8 (22)申请日 2022.08.22 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 冯婕　惠炳谕　焦李成　张向荣　 尚荣华　王蓉芳　古晶　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 王品华 (51)Int.Cl. G06T 7/246(2017.01) G06V 20/40(2022.01) G06V 10/62(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/46(2022.01) (54)发明名称 基于无锚孪生神经网络的多目标检测跟踪 一体化方法 (57)摘要 本发明公开了一种基于无锚孪生神经网络 的多目标检测跟踪一体化方法， 主要解决现有技 术对目标表观特征辨识能力弱， 网络实时性差的 问题。 其实现方案为： 获取训练数据集与测试数 据集； 构建基于无锚孪生神经网络的一体化检测 与跟踪网络， 设置其损 失函数Loss； 生成空的训 练集轨迹模板集合并用其和训练数据集对构建 的一体化检测与跟踪网络进行训练； 生成空的测 试集轨迹模板集合并将其和测试数据集同时输 入到训练好的一体化检测与跟踪网络中， 输出在 测试数据集上的检测与跟踪结果。 本发明能提取 强有力的辨别特征， 提高了网络的实时性和跟踪 精度， 可用于视频序列中多个目标的单帧检测与 跨帧关联， 实现自然视频场景下对多个感兴趣目 标的准确检测与跟踪。 权利要求书3页 说明书7页 附图4页 CN 115330839 A 2022.11.11 CN 115330839 A 1.一种基于无锚孪生神经网络的多目标检测跟踪方法， 其特 征在于， 包括如下： (1)构建训练数据集与测试 数据集： 将至少5个光学视频序列组成训练数据集， 将至少 1个光学视频序列组成测试数据集， 其中： 每个光学视频序列中至少包含50帧连续图像， 每帧图像包含至少一个完整的运动目 标， 且每帧图像中运动目标位置相比前一帧中该目标所在位置移动幅度大于等于2个像素 点， 每帧图像的长 宽不得小于 500×500； 每种数据集的标签均包括当前帧图像每个目标所在的中心点， 目标的长宽， 目标类别 以及目标的序号； (2)构建基于无锚孪生神经网络的一体化检测与跟踪网络： (2a)搭建一个包括 三个下采样层和三个上采样的并行多尺度特 征融合模块； (2b)搭建一个包括 三个卷积层和三个激活函数层的检测分支子网络； (2c)选用现有的ResNet50网络和SiamBAN网络， 并将SiamBAN网络作为跟踪分支子网 络； (2d)将并行多尺度特征融合模块的输入端分别与现有ResNet50网络的第三、 第四、 第 五卷积层连接， 将并行多尺度特征融合模块的输出端分别与 跟踪分支子网络和检测分支子 网络连接， 构成一体化无锚孪生神经网络； (2e)设置基于无锚孪生神经网络 的一体化检测与跟踪网络 的损失函数： Loss＝L+E2， 其中： E2为已知SiamBAN网络中所使用的损失函数； L＝lheat+lsize+loffset为检测分支子网络的损失函数， lheat、 lsize、 loffset分别为检测分支 网络的目标中心热图损失函数、 尺寸回归损失函数和目标中心偏移损失函数； (3)利用训练数据集对基于无锚孪生神经网络的一体化检测与跟踪网络进行训练： (3a)构建一个空 的训练集目标轨迹模板集合， 并根据训练集第一帧图像标签对其初始 化； (3b)将训练集目标轨迹模板集合与当前图像一起输入到基于无锚孪生神经网络的一 体化检测与跟踪网络， 得到检测与跟踪的结果； (3c)根据总损失函数， 计算网络损失值， 并通过梯度下降法更新网络参数； (3d)更新目标轨 迹模板集 合； (3e)重复(3b)到(3d)直到网络损失函数收敛,得到训练好的基于无锚孪生神经网络的 一体化检测与跟踪网络模型； (4)对测试集的图像进行目标检测与跟踪： (4a)将测试集第一帧图像输入到训练好的基于无锚孪生神经网络的一体化检测与跟 踪网络， 输出第一帧图像的目标检测结果； (4b)构建一个空的测试集目标轨迹模板集合， 根据测试集第一帧图像及(4a)的检测结 果初始化测试集目标轨 迹模板集 合； (4c)将测试集与已初始化后的测试集轨迹模板集合输入到训练好的基于无锚孪生神 经网络的一体化检测与 跟踪网络， 输出测试集第二帧及第二帧之后的每一帧图像的检测与 跟踪结果；权　利　要　求　书 1/3 页 2 CN 115330839 A 2(4d)根据检测结果与跟踪结果的IOU大小进行匹配， 并将匹配目标的检测结果替换其 跟踪结果， 输出最终的检测与跟踪结果。 2.根据权利要求1所述的方法， 其特征在于， (2a)搭建的并行多尺度 特征融合模块中三 个上下采样层的结构关系及参数如下： 第一下采样层、 第二下采样层、 第三下采样层、 第 一上采样层、 第二上采样层、 第三上采 样层的输出端与输入端 按顺序依次相连； 第一下采样层的输入端与第三上采样层的输出端相连， 第二下采样层的输入端与第二上采样层的输出端相连， 第三下采样层的输入端与第三上采样层的输出端相连； 所述第一下采样层和第三下采样层， 其包括尺寸均为3 ×3， 卷积核数量分别为128， 256， 512的并行三个卷积层组成； 所述第二下采样层， 其包括尺寸均为3 ×3， 卷积核数量分别为64， 128， 256 的并行三个 卷积层组成； 所述第一上采样层、 第二上采样层、 第三上采样层， 均为上采样倍数为2的线性插值层。 3.根据权利要求1所述的方法， 其特征在于， (2b)搭建的检测分支子网络中三个卷积层 和三个激活函数层的结构关系和参数如下： 第一卷积层与第一激活函数层连接， 第二卷积层与第二激活函数层连接， 第三卷积层 与第三激活函数层连接， 形成并行的三条支路； 所述第一卷积层， 其由尺寸 为3×3， 卷积核数量 为1的单层卷积组成； 所述第二、 第三卷积层， 其均由尺寸 为3×3， 卷积核数量 为2的单层卷积组成； 所述三个激活函数层， 均使用线性整流函数作为激活函数， 其公式为： f(x)＝max(0, x)。 4.根据权利要求1所述的方法， 其特征在于， (2e)中已知SiamBAN网络的损失函数E2， 表 示如下： 其中， N为单次训练输入样本数量， yi为样本正负例标签， pi为网络预测得分， IOU为网络 预测目标位置与目标真值的交并比。 5.根据权利要求1所述的方法， 其特征在于， (2e)中检测分支网络的目标中心热图损失 函数lheat、 尺寸回归损失函数lsize和目标中心偏移损失函数loffset， 分别表示如下： 其中， N为每一批输入训练样本数量， p、 size、 offset分别为检测网络对 目标中心置信权　利　要　求　书 2/3 页 3 CN 115330839 A 3