(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211057844.0 (22)申请日 2022.08.31 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 宣琦　凌书扬　陈嘉峻　陈壮志　 徐东伟　杨小牛　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 楼明阳 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/84(2022.01) G06T 7/246(2017.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于信号转图多模态融合的飞机射频信号 多任务个体识别方法 (57)摘要 基于信号转图多模态融合的飞机射频信号 多任务个体识别方法， 包括以下步骤： S1： 对信号 样本进行多个标签处理及映射， 并按比例划分为 训练集和测试集； S2： 利用信号原始数据生成信 号转图多模态数据； S3： 交叉对比实验， 选择对对 应图模态特征提取能力最好的卷积神经网络； S4： 利用信号转图的多模态数据及交叉验证所得 的基础模型， 对 搭建的特征层融合的多模态输入 卷积神经网络进行训练， 完成模 型训练并得到模 型对于测试集的个体多个标签识别分类准确率。 本发明的深度学习信号个体识别方法， 在充分利 用现有的一维时间序列信号转图像的方式方法， 结合特征融合方法， 实现对射频信号的多个个体 标签同时识别分类的信号多 任务个体识别任务。 权利要求书2页 说明书7页 附图1页 CN 115471695 A 2022.12.13 CN 115471695 A 1.基于信号转图多模态融合的飞机射频信号多任务个体识别方法， 其特征在于： 包括 以下步骤： S1： 按个体射频信号样本的实际个体类别描述对每个样本进行多个标签的处理， 再进 行多标签至单 标签的映射， 并将原数据集划分为训练集和 测试集； S2： 利用原始数据集， 结合信号转图的三种方式方法， 生成三种信号转图像的模态数 据， 分别是信号的递归图、 信号的格拉米角场以及信号的马尔可夫变迁场。 并对生成的多模 态数据进行 标准化处理； S3： 交叉对比实验， 在多个备选卷积神经网络中选择于对应模态特征提取能力最强， 个 体识别效果 最好的卷积神经网络 框架作为多模态融合的基础模型； S4： 利用信号转图的多模态数据及交叉验证所得的基础模型， 将各模态数据分别作为 对应卷积神经网络的输入， 使用特征级融合方式进行特征融合， 最终达到训练所得多模态 输入模型具有对于信号个 体多任务识别的能力。 2.根据权利要求1所述的基于信号转图多模态融合的飞机射频信号多任务个体识别方 法， 其特征在于： 步骤S1包 含以下内容： S1.1： 按个体射频信号样本的实际个体类别描述对每个样本进行多个标签的处理， 每 一类标签中的每一个种类为从0开始的不重复的十进制数编号； S1.2： 并将原数据集按照每种类别8： 2的比例划分为训练集和 测试集。 3.根据权利要求1、 2所述的基于信号转图多模态融合的飞机射频信号多任务个体识别 方法， 其特 征在于： 步骤S2包 含以下内容： S2.1： 生成信号的递归图的图模态数据。 给定一个长度为n的时间序列数据， 提取相应 的轨迹， 由： 其中， m表示轨 迹的维数， τ 是时延。 计算 递归图R， 由： 其中， Θ(·)表示Heaviside函数， 而 ε是阈值； S2.2： 生成信号的格拉米角场的图模态数据。 首先将原始信号数据进行归一化处理， 由： 将缩放后的数据转换到极坐标系统中去， 将数值视为夹角余弦值， 时间戳视为半径， 由： 将格拉米角场GASF和GADF的计算 转化到直角坐标系下计算， 由： 权　利　要　求　书 1/2 页 2 CN 115471695 A 2其中I表示的是长度 为n的行向量[1,1, …,1]， (·)′表示转置运算。 经过计算后得到尺 寸为n×n的两种格拉米角场GASF和GADF。 S2.3： 生成信号的马尔可夫变迁场的图模态数据。 将该时间序列信号数据按照其取值 范围划分为Q个分位数箱， 其中每一个数据点xi属于唯一的一段q(q∈[1,Q])。 通过将数据 划分为Q个 分位数箱的方式来构建尺 寸为Q×Q的马尔可夫矩阵W， 包含时间戳i和j(时间轴) 数据的分位数箱为qi和qj(q∈[1,Q])， 其中W中的元素W[ i,j]表示的是 qi中的数据被qj中的 数据紧邻的频率， 由： 构建尺寸 为n×n的马尔可 夫变迁场M， M[i,j]的值 为W[qi,qj]， 由： S2.4： 将原始信号数据经过转换后得到三个图像模态数据， 即三个尺寸为n ×n的矩阵， 对这三种模态数据进行 标准化处理， 由： 其中aij表示原始矩阵A中第i行第j列的元素， mean(A)表示矩阵A的均值， std(A)表示矩 阵A的标准差， 表示标准 化处理后矩阵中各位置的元 素。 4.根据权利要求1、 2、 3所述的基于信号转图多模态融合的飞机射频信号多任务个体识 别方法， 其特征在于： 步骤S 3所述的交叉对比实验具体包括： 使用备选的多个卷积神经网络 分别将三种图模态作为输入进 行单输入个体多任务识别模型进行训练， 选择出能最好提取 出对应图模态特征的卷积神经网络类型(即有最好的个体识别性能)， 将图模态和卷积神经 网络类型一 一对应。 5.根据权利要求1、 2、 3、 4所述的基于信号转图多模态融合的飞机射频信号多任务个体 识别方法， 其特征在于： 步骤S4具体包含： 分别将三种图模态输入对应卷积神经网络进 行训 练， 将网络输出的logit矩阵 以纵向拼接的方式进 行特征级的特征融合， 再通过多个全连接 层， 得到模型对多个任务标签的预测结果， 并最终得到训练所得模型对于测试集的个体多 任务识别分类准确率， 实现该 方法对射频信号的多个 个体标签同时高准确率的识别分类。权　利　要　求　书 2/2 页 3 CN 115471695 A 3