(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211103064.5 (22)申请日 2022.09.09 (71)申请人 锋睿领创 （珠海） 科技有限公司 地址 519000 广东省珠海市横琴新区环岛 东路1889号创意谷18栋110室-534 （集 中办公区） (72)发明人 何良雨　王戬鑫　刘彤　张文刚　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 专利代理师 张小燕 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于频域融合的目标检测方法、 装置、 设备 及存储介质 (57)摘要 本发明涉及人工智能领域， 尤其涉及一种基 于频域融合的目标检测方法、 装置、 设备及存储 介质。 从待检测图像中随机遮蔽部分数据后保留 Y组数据， 对Y组数据中每组数据的每个通道数据 进行s级缓衰高低频变换， 将得到的s1个高频数 据特征向量与s2个低频数据特征向量输入至训 练好的频域自注意力神经网络中， 输出待检测图 像中的目标检测区域的区域类别信息与区域尺 寸信息， 本发 明通过采样待检测图像中的部分行 数据或者列数据， 对采样到的数据进行s级缓衰 高低频变化， 时域特性与频域特性的融合可以相 互补充与约束， 增加待检测区域的检测 效率， 通 过自注意力特征提取， 输出对应的目标检测结 果， 提高了目标检测效率。 权利要求书2页 说明书13页 附图8页 CN 115496993 A 2022.12.20 CN 115496993 A 1.一种基于频域融合的目标检测方法， 其特 征在于， 所述检测方法包括： 根据预设掩码规则， 从待检测图像 中随机遮蔽部分数据后保留Y组数据； 其中， Y组数据 为所述待检测图像中的Y列数据或所述待检测图像中的Y行数据， 所述待检测图像包括X个 通道数据， X， Y为大于1的整数； 对所述Y组数据中每组数据的每个通道数据进行s级缓衰高低频变换， 得到每组数据中 的每个通道数据中s层的频域数据特征向量； 其中， 所述频域数据特征向量包括s1个高频数 据特征向量与s2个低频 数据特征向量； 其中1≤s1≤s， 1≤s2≤s； 将所述s1个高频数据特征向量与s2个低频数据特征向量输入至训练好的频域自注意 力神经网络中， 输出 所述待检测图像中的目标检测区域的区域类别 信息与区域尺寸信息 。 2.如权利要求1所述的基于频域融合的目标检测方法， 其特征在于， 所述频域自注意力 神经网络中包括： 第一频域自注意力特征向量提取网络， 用于输入所述高频数据特征向量， 输出第一目 标频域自注意力特 征向量； 第二频域自注意力特征向量提取网络， 用于输入所述低频数据特征向量， 输出第二目 标频域自注意力特 征向量； 融合模块， 用于 融合所述第 一目标频域自注意力特征向量与 所述第二目标频域自注意 力特征向量， 得到融合频域特 征向量； 类别与尺寸预测模块， 用于预测所述融合频域特征向量， 得到所述待检测图像的目标 检测区域的区域类别 信息与区域尺寸信息 。 3.如权利要求2所述的基于频域融合的目标检测方法， 其特征在于， 所述第 一频域自注 意力特征向量提取网络包括： 第一高频信号编 码器， 第一尺 寸重组模块和 第一转置模块， 其 中， 所述第一高频信号编码器的输入端用于输入第 一高频数据 特征向量， 所述第 一高频信 号编码器的输出端用于 输出编码后的第一频域自注意力特 征向量； 所述第一尺寸重组模块用于重组所述第 一频域自注意力特征向量， 得到预设尺寸的第 一频域自注意力特 征向量； 所述第一转置模块用于转置所述预设尺寸的第 一频域自注意力特征向量， 得到第 一目 标频域自注意力特 征向量。 4.如权利要求2所述的基于频域融合的目标检测方法， 其特征在于， 所述第 二频域自注 意力特征向量提取网络包括： 第二低频信号编 码器， 第二尺 寸重组模块和 第二转置模块， 其 中， 所述第二低频信号编码器的输入端用于输入低频数据特征向量， 所述第 二低频信号编 码器的输出端用于 输出编码后的第二频域自注意力特 征向量； 所述第二尺寸重组模块用于重组所述第 二频域自注意力特征向量， 得到预设尺寸的第 二频域自注意力特 征向量； 所述第二转置模块用于转置所述预设尺寸的第 二频域自注意力特征向量， 得到第 二目 标频域自注意力特 征向量。 5.如权利要求2所述的基于频域融合的目标检测方法， 其特征在于， 所述类别与尺寸预 测模块包括： 第一预测子模块与第二预测子模块；权　利　要　求　书 1/2 页 2 CN 115496993 A 2所述第一预测子模块用于输入所述融合频域特征向量， 通过所述融合频域特征向量对 所述待检测图像的目标检测区域的区域类别信息进行预测， 输出所述待检测图像的目标检 测区域的区域类别 信息预测结果； 所述第二预测子模块用于输入所述融合频域特征向量， 通过所述融合频域特征向量对 所述待检测图像的目标检测区域的区域尺寸信息进行预测， 输出所述待检测图像的目标检 测区域的区域尺寸信息预测结果。 6.如权利要求1所述的基于频域融合的目标检测方法， 其特征在于， 所述对每组数据中 的每个通道数据进 行s级缓衰高低频变换， 得到每组数据中的每个通道数据中s层的频域数 据特征向量， 包括： 获取每组数据中的每 个通道数据； 将每组数据中的每个通道数据分别输入至s级缓衰高低频变换模型中， 输出每组数据 中的每个通道数据对应的s1个高频 数据特征向量与s2个低频 数据特征向量。 7.如权利要求1所述的基于频域融合的目标检测方法， 其特征在于， 所述将所述s1个 高 频数据特征向量与s2个低频数据特征向量输入至训练好的频域自注意力神经网络中输出 所述待检测图像中的目标检测区域的区域类别 信息与区域尺寸信息之前还 包括： 获取样本 图像所述目标检测区域对应的区域类别标签数据和区域尺寸通道中的第一 通道标签数据和第二 通道标签数据； 将所述区域类别标签数据、 第 一通道标签数据和第 二通道标签数据作为先验数据训练 预先构建的频域自注意力神经网络， 得到训练好的频域自注意力神经网络 。 8.一种基于频域融合的目标检测装置， 其特 征在于， 所述装置包括： 遮蔽留样模块， 用于根据 预设掩码规则， 从待检测图像 中随机遮蔽部分数据后保留Y组 数据； 其中， Y组数据为所述待检测图像中的Y列数据或所述待检测图像中的Y行数据， 所述 待检测图像包括X个通道数据， Y， X为大于1的整数； 缓衰高低频变换模块， 用于对所述Y组数据中每组数据的每个通道数据进行s级缓衰高 低频变换， 得到每组数据中的每个通道数据中s层的频域数据特征向量； 其中， 所述频域数 据特征向量包括s1个高频数据特征向量与s2个低频数据特征向量； 其中1≤ s1≤s， 1≤s2≤ s； 检测模块， 用于将所述s1个高频数据特征向量与s2个低频数据 特征向量输入至训练好 的频域自注意力神经网络中， 输出所述待检测图像中的目标检测区域的区域类别信息与区 域尺寸信息 。 9.一种计算机设备， 其特征在于， 所述计算机设备包括处理器、 存储器以及存储在所述 存储器中并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现 如权利要求1至7任一项所述的基于频域融合的目标检测方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述的基于频域融合的目 标检测方法。权　利　要　求　书 2/2 页 3 CN 115496993 A 3