(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210921013.7 (22)申请日 2022.08.02 (71)申请人 合肥工业大 学 地址 230000 安徽省合肥市包河区屯溪路 193号 (72)发明人 李小红　周喜　齐美彬　庄硕　 郝世杰　刘学亮　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 常虹 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度可形变注意力的红外图像目标 跟踪系统及方法 (57)摘要 本发明公开了一种基于多尺度可形变注意 力的红外图像目标跟踪系统及方法。 其中跟踪系 统包括搜索图分支、 模板图分支、 特征融合模块 和预测模块； 其中搜索图分支用于提取搜索图在 第一尺度和第二尺度下的特征拼接得到的搜索 图多尺度特征Fs； 模板分支用于提取模板图在第 三尺度和第四尺度下的特征拼接得到的模板图 多尺度特征Ft； 特征融合模块用于根据搜索图多 尺度特征Fs和模板图多尺度特征Ft计算融合特 征Gst； 预测模块用于根据融合特征Gst预测搜索 图中的目标边框。 该系统融合了低层和高层的特 征， 有利于红外图像中目标的跟踪。 权利要求书5页 说明书14页 附图2页 CN 115239765 A 2022.10.25 CN 115239765 A 1.一种基于多尺度 可形变注意力的红外图像目标跟踪系统， 其特征在于， 包括： 搜索图 分支(1)、 模板图分支(2)、 特征融合模块(3)和预测 模块(4)； 所述搜索图分支(1)包括第一 特征提取模块(101)、 第一转换拼接模块(102)； 所述模板图分支(2)包括第二特征提取模块 (201)、 第二 转换拼接模块(202)； 所述第一特征提取模块(101)用于提取搜索图在第 一尺度和第二尺度下的初始特征图 和 第一转换拼接模块(102)对 和 进行通道统一和维度调整， 得到搜索图在第一 尺度和第二尺度下的特征fs1和fs2， 并拼接为搜索图多尺度特征Fs＝[fs1,fs2]； 所述第二特 征提取模块(2 01)用于提取模板图在第三尺度和第四尺度下的初始特征图 和 第二转 换拼接模块(202)对 和 进行通道统一和维度调整， 得到模板图在第三尺度和第四尺度 下的特征ft1和ft2， 并拼接为模板图多尺度特征Ft＝[ft1,ft2]； 所述特征融合模块(3)用于根 据搜索图多尺度特征Fs和模板图多尺度特征Ft计算融合特征Gst； 所述预测模块(4)用于根 据融合特 征Gst预测搜索图中的目标边框； 所述搜索图为搜索分支(1)的输入， 所述模板图为模板分支(2)的输入。 2.根据权利要求1所述的基于多尺度可形变注意力的红外图像目标跟踪系统， 其特征 在于， 所述第一特征提取模块(101)和第二特征提取模块(201)的结构相同， 结构为依次级 联的第一卷积模块、 第一池化模块、 第二卷积模块、 三卷积模块、 第四卷积模块、 第五卷积模 块； 第一特征提取模块(101)中的第四卷积模块输出搜索图在第一尺度下的初始特征图 第五卷积模块输出搜索图在第二尺度下的初始特征图 第二特征提取模块(201)中 的第四卷积模块输出模板图在第三尺度下的初始特征图 第五卷积模块输出模板图在 第四尺度下的初始特 征图 3.根据权利要求1所述的基于多尺度可形变注意力的红外图像目标跟踪系统， 其特征 在于， 所述特征融合模块(3)包括N个级联的特征融合子模块， 其中第一级特征融合子模块 的输入为搜索图多尺度特征Fs和模板图多尺度特征Ft， 输出为第一级搜索图对模板图的注 意力特征 和第一级模板图对搜索图的注意力特征 第N级特征融合子模块的输入为第 N‑1级输出的 和 第N级特征融合子模块的输出 为特征融合模块得到的融合特 征Gst； 第n级特征融合子模块包括第一可形变自注意力模块(301)、 第二可形变自注意力 模块 (302)和交叉注意力模块(303)， n＝1,2, …,N； 所述第一可形变自注意力模块(301)和第二 可形变自注意力模块(302)分别用于计算两路输入特征Is和It的上下文关系特征和Ts和Tt； 所述交叉注意力模块(303)用于计算两路输入向量的上下文关系特征Ts和Tt对彼此的注意 力特征 和 所述第一可 形变自注意力模块(3 01)提取输入特 征Is的上下文关系特 征Ts的步骤为： a1、 将输入特征Is与搜索图多尺度位置编码SLPs相加生成第一查询向量Qs， Qs＝[Qs1, Qs2]， Qs1为第一尺度下的查询向量， Qs2为第二尺度下的查询向量； a2、 将第一查询向量Qs、 输入特征Is、 搜索图初始参考点Rs输入到第一多头注意力网络，权　利　要　求　书 1/5 页 2 CN 115239765 A 2得到搜索图第一多头可形变注意力Is′； 所述第一多头注意力网络有M个并联的注意力单 元； 所述搜索图初始参考点Rs的计算步骤为： 计算搜索图在第一尺度下的特征fs1中每个向 量在初始特征图 上的坐标， 组成第一初始 参考点rs1； 计算第二尺度下的特征fs2中每个向 量在初始特征图 上的坐标， 组成第二初始参 考点rs2； 对第一初始参考点rs1中的坐标归一化， 并映射于初始特征图 上， 得到第 一坐标映射 点rs12； 对第二初始 参考点rs2中的坐标归一化， 并映射于初始特征图 上， 得到第二坐标映 射点rs21； 构建搜索图初始参 考点 所述搜索图第一多头可行变注意力I ′s＝[I′s1,I′s2]， I′s1为第一尺度下的可变形注意 力， I′s2为第二尺度下的可变形注意力； I′s1中第i个元 素I′s1i的计算步骤为： Qs1向量中第i个向量Qs1i通过全连接层Linear2得到第一初始参考点rs1的第i个元素和 第一坐标映射点rs12的第i个元素rs1i、 rs12i在每个注意力单元中的每个采样点的采样偏移 和 其中m表示第一多头注意力网络中注意力单元的序 号， m＝1,2, …,M； k表 示采样点序号， k ＝1,2,…,K； K为每 个注意力单 元中的采样点总数； 将rs 1 i与 相加得到第一尺度下第m个注意力单元， 第k个采样点坐标 将rs1 2i与 相加得到第二尺度下第m个注意力单元， 第k个采样点坐标 将 在第一尺度下的特征图 经过全连接层Linear1后插值得到Qs1i在第一尺度 下， 第m个注意力单 元第k个采样点的值， 记为 Inter为插值 函数； 将 在第二尺度下的特征图 经过全连接层Linear1后插值得到Qs1i在第二尺度 下， 第m个注意力单 元第k个采样点的值， 记为 Inter为插值 函数； Qs1向量中第i个向量Qs1i通过全连接层Linear3得到 所对应的注意力权重 和 所对应的注意力权 重 因此得到 Qs2向量中第i个向量Qs2i通过全连接层Linear2得到第二初始参考点rs2中第i个元素rs2i 和第二坐标映射点rs21中第i个元素rs21i在每个注意力单元中的每个采样点的采样偏移 和 将rs 2 i与 相加得到第二尺度下第m个注意力单元， 第k个采样点坐标权　利　要　求　书 2/5 页 3 CN 115239765 A 3