(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210993495.7 (22)申请日 2022.08.18 (65)同一申请的已公布的文献号 申请公布号 CN 115063445 A (43)申请公布日 2022.09.16 (73)专利权人 南昌工程学院 地址 330099 江西省南昌市高新区天祥大 道289号 (72)发明人 王军　尹鹏　王员云　汪胜前　 (74)专利代理 机构 北京中济纬天专利代理有限 公司 11429 专利代理师 黄攀 (51)Int.Cl. G06T 7/20(2017.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 114049381 A,202 2.02.15 CN 113283407 A,2021.08.20 CN 113963204 A,202 2.01.21 WO 2021134285 A1,2021.07.08 CN 113962281 A,202 2.01.21 Jianbing Shen 等.Visual Object Tracking by Hierarc hical Attention Siamese Netw ork. 《 IE EE Transacti ons on Cybernetics》 .2019,第 3 068 - 3080页. 王军 等.基 于孪生神经网络的目标跟踪算 法综述. 《南昌工程学院学报》 .2021,第90 -99页. 周双双等.基于增强语义与多注意力机制学 习的深度相关跟踪. 《计算机 工程》 .2020,(第02 期), 杨康等.基 于双重注意力孪生网络的实时视 觉跟踪. 《计算机 应用》 .2019,(第0 6期), 审查员 曹宁 (54)发明名称 基于多尺度层次化特征表示的目标跟踪方 法与系统 (57)摘要 本发明提出一种基于多尺度层次化特征表 示的目标跟踪方法与系统， 所述方法包括： 对输 入图像数据进行增强以得到搜索区域图像； 通过 将特征识别器模块嵌入在层次化特征提取网络 中的前三个卷积块之后， 以构建得到层次化特征 提取模块； 将目标模板图像集与搜索区域图像输 入到孪生神经网络框架中， 通过层次化特征提取 网络分别对模板分支和搜索区域的目标图像特 征进行学习， 以得到相应的模板特征与搜索特 征； 将模板特征输入到编码器中， 使得单个模板 特征进行增强， 以获得编码特征； 将模板特征与 编码特征映射在同一特征空间中， 将搜索特征与 模板融合特征输入至解码器， 以实现鲁棒的目标跟踪。 权利要求书4页 说明书11页 附图4页 CN 115063445 B 2022.11.08 CN 115063445 B 1.一种基于多尺度层次化特征表示的目标跟踪方法， 其特征在于， 所述方法包括如下 步骤： 步骤一、 对给定的前三帧目标框中的图像进行初始化以生成目标模板 图像集， 在除所 述前三帧目标框之外的后续帧目标框中， 以所述前三帧目标框对应的目标模板图像集中的 目标中心坐标作为搜索区域， 通过水平翻转与联合增广变换对输入图像数据进行增强以得 到搜索区域图像； 步骤二、 在孪生神经网络框架中， 通过将特征识别器模块嵌入在层次化特征提取网络 中的前三个卷积块之后， 以构建得到层次化特征提取模块， 其中， 所述孪生神经网络框架由 层次化特征提取网络与多尺度特征融合网络构成， 所述特征识别器模块用于通过生成三 维 注意图以关注重要元 素的位置与内容； 步骤三、 将所述目标模板图像集与所述搜索区域图像输入到所述孪生神经网络框架 中， 通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习， 以得 到相应的模板特 征与搜索特 征； 步骤四、 将经过层次化特征提取网络处理后得到的模板特征输入到编码器中， 使得单 个模板特 征进行增强， 以获得编码特 征； 步骤五、 通过所述多尺度特征融合网络分别将所述模板特征与 所述编码特征映射在同 一特征空间中， 其中， 编 码特征作为查询， 模板特征与编 码特征进 行信息交换以产生鲁棒的 模板融合特 征， 用于使跟踪器更适应目标尺度变化； 步骤六、 将经过层次化特征提取网络处理后得到的搜索特征与 所述模板 融合特征输入 至解码器， 以得到用于 定位目标的得分图， 进 而实现鲁棒的目标跟踪； 在所述步骤二中， 所述特 征识别器模块的操作方法包括如下步骤： 对所述模板特征与 所述搜索特征采用平均池化操作以聚合每个通道的特征图， 其中对 每个通道而言， 通过 可学习尺度变化 参数进行批处 理归一层； 根据所述可学习尺度变化参数构建得到一个权重矩阵， 通过所述权重矩阵进行动态调 整目标特征权重值以获得一个通道特 征图； 通过特征识别器模块对所述模板特征与所述搜索特征， 使用两个3 ×3大小的扩 张卷积 用来扩大感受野， 然后将经过扩张卷积处理后的所述模板特征与所述搜索特征， 通过一个1 ×1大小的卷积 将所述模板特 征与所述搜索特 征缩减得到空间特 征图； 根据通道特 征图与空间特 征图计算得到三维注意图； 所述特征识别器模块对应的损失函数表示 为： 其中， 表示损失函数值， 表示损失函数， 表示特征识别器模块 的预测函数， 表示特征识别 器模块的权重， 表示针对 的惩罚函数， 表示 针对 的惩罚函数， 表示用于平衡 和 的罚量， 表示空间分支中的可学习 尺度变化 参数， 表示通道分支中的可 学习尺度变化 参数；权　利　要　求　书 1/4 页 2 CN 115063445 B 2所述三维注意图对应的公式表示 为： 其中， 表示三维注意图， 表示sigmo id函数； 其中， 表示特征识别器模块的输出 特征， 表示输入特 征， 表示局部矩阵乘法。 2.根据权利要求1所述的一种基于多尺度层次化特征表示的目标跟踪方法， 其特征在 于， 通过可学习尺度变化 参数进行批处 理归一层的步骤中， 批处 理归一层的公式表示 为： 其中， 表示第 个通道的批处理归一层的输出特征， 表示第 个通道的可学 习尺度变化参数， 表示第 个通道的批处理归一化运算， 表示批处理归一层中可学 习的位移变换参数， 表示第 个通道的批处理归一层的输入特征， 表示平均值， 表示变化 值， 表示数值稳定性的正 值。 3.根据权利要求2所述的一种基于多尺度层次化特征表示的目标跟踪方法， 其特征在 于， 在根据所述可学习尺度变化参数构建得到一个权重矩阵， 通过所述权重矩阵进行动态 调整目标 特征权重值以获得一个通道特 征图的步骤中， 所述 通道特征图的公式表示 为： 其中， 表示通道特征图， 表示阈值函数， 表示平均池 化操作， 表示批处理归一化操作， 表示输入特征， 表示权重矩阵， 表示输权　利　要　求　书 2/4 页 3 CN 115063445 B 3