(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210982427.0 (22)申请日 2022.08.16 (71)申请人 南京审计大 学 地址 210000 江苏省南京市雨 山西路86号 (72)发明人 詹天明　毕作琳　吴华朋　吴泽彬　 (74)专利代理 机构 南京创略知识产权代理事务 所(普通合伙) 32358 专利代理师 严靖 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于跨尺度的octave卷积网络的多光谱和 高光谱图像融合方法 (57)摘要 本发明公开了一种基于跨尺度的octave卷 积网络的多光谱和高光谱图像融合方法， 包括以 下步骤： 将用于训练的高空间分辨率的高光谱图 像分别进行空间下采样和光谱下采样用于模拟 使用传感器捕获到的同一区域、 相同时间的多光 谱图像(HR ‑MSI)和高光谱图像(LR ‑HSI)； 将得到 的模拟的多光谱图像和 高光谱图像选取一定比 例作为训练集。 对于训练集， 生成训练集中每个 训练对对应的张量， 并将每对训练对张量输入到 卷积网络中， 最后得到用于多光谱和高光谱图像 融合的最优模 型参数； 将训练好的模 型用于将传 感器捕获到的低空间分辨率的高光谱图像和 高 空间分辨率的多光谱图像融合， 得到同时具有高 空间分辨 率和高光谱分辨 率的高光谱图像 。 权利要求书2页 说明书7页 附图9页 CN 115512192 A 2022.12.23 CN 115512192 A 1.基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法， 其特征在于， 包括 以下步骤： 步骤(A)： 将高光谱数据集分别进行空间下采样和光谱下采样， 得到具有高空间分辨率 的多光谱图像和 低空间分辨率的高光谱图像对来模拟使用传感器捕获的同一时期、 同一区 域的多光谱和高光谱图像对； 步骤(B)： 将图像对按照一定比例划分成训练集和测试集， 并生成训练集中每个训练样 本对对应的张量对， 使用提出融合方法提取张量对的空间 ‑光谱特征， 训练卷积网络模型， 得到适用于该高光谱数据集的模型参数； 步骤(C)： 将训练好的模型对测试集的样本对进行融合， 得到最终的融合结果图。 2.根据权利要求1所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像 融合方 法， 其特征在于： 在步骤(A)中对高光谱数据集分别进 行模糊和空间下采样得到低空间分辨 率的高光谱图像(LR ‑HSI)和进行光谱下采样得到高空间分辨率的多光谱图像作为一对训 练样本对， 包括如下 具体步骤： 步骤(A1)： 选取高光谱图像数据集作为标签； 步骤(A2)： 将高光谱图像选取一定比例作为训练集； 步骤(A3)： 将训练集进行空间下采样和光谱下采样， 得到成对的训练对。 3.根据权利要求2所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像 融合方 法， 其特征在于： 在步骤(A2)中为了减少实验的负 担， 将训练集部 分的高光谱图像划分为一 系列尺寸 为W*H的训练块， 其中W和H分别表示训练块的宽和长 。 4.根据权利要求2所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像 融合方 法， 其特征在于： 步骤(A3)包括如下 具体步骤： 步骤(A31)： 对训练块依次通过高斯模糊和下采样， 得到与训练块对应的空间下采样后 的低空间分辨 率的高光谱图像； 步骤(A32)： 对训练块使用光谱响应函数进行光谱下采样， 得到与训练块对应的光谱下 采样后的高空间分辨 率的多光谱图像； 步骤(A33)： 将低空间分辨率的高光谱图像和高空间分辨率的多光谱图像作为一对训 练样本对。 5.根据权利要求1所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像 融合方 法， 其特征在于： 在步骤(B)中将图像对按照一定比例划分成训练集和测试集， 并生成训练 集中每个训练样 本对对应的张量对， 使用提出融合方法提取张量对的空间 ‑光谱特征， 训练 卷积网络模型， 得到适用于该高光谱数据集的模型参数， 包括如下 具体步骤： 步骤(B1)： 将高光谱数据集作为训练集的标签， 并将高光谱数据集分别进行空间下采 样和光谱下采样用于生成 成对的训练集； 步骤(B2)： 将每 个训练样本提取 出来形成对应的张量； 步骤(B3)： 将训练样本对应的张量及其对应的标签作为输入， 对每对张量通过卷积神 经网络提取空间 ‑光谱特征， 获取对应神经网络模型参数。 6.根据权利要求5基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法， 其 特征在于， 在步骤(B2)中将每对训练样本形成w*h*L和W*H*3的张量， 其中W,H,3和w,h,L分 别是多光谱图像块和高光谱图像块的宽、 长和通道数,其中W/w ＝H/h＝8。权　利　要　求　书 1/2 页 2 CN 115512192 A 27.根据权利要求6所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像 融合方 法， 其特征在于， 步骤(B3)包括如下 具体步骤： 步骤(B31)： 使用离散小波分解提取高空间分辨率的多光谱图像的低频信息， 并将其与 上采四倍后的低空间分辨率的高光谱图像沿着通道维度拼贴， 使用3*3*64的卷积核， 将输 入的尺寸为(W/2)*(H/2)*(L+l)的张量通过四倍尺度下的空间 ‑光谱特征提取网络同时提 取两幅图像的空间和光谱信息， 并将其依次通过3*3*128和3*3*L的卷积核形成1个(W/2)* (H/2)*L的特 征张量； 步骤(B32)： 将(W/2)*(H/2)*L的特征张量与上采样四倍的低空间分辨率的高光谱图像 相加得到一个新的(W/2)*(H/2)*L特征张量， 将其上采样 两倍之后作为八倍尺度下 空间‑光 谱特征提取网络的输入； 步骤(B33)： 使用3*3*64的卷积核之后将得到的特征张量分别进行下采样两倍和四倍， 得到三个不同尺度的特征张量作为一系列跨尺度octave卷积网络模块的输入用于提取空 谱联合特征， 最后将在每一个跨尺度octav e卷积网络模块的输出得到的特征张量与上采样 八倍的LR ‑HSI分别相加， 共得到 6个尺寸为W*H*L的特征张量； 步骤(B34)： 将步骤(B32)中得到的前五个特征张量分别命名为 将最后一个 特征张量命名为OSR， 并将其作为输入的多光谱图像和高光谱图像之后得到的重构图像； 步骤(B35)： 将步骤(B34)中得到的6个特征张量及其对应的标签信息输入到损失函数 中获得损失值， 并根据损失值对卷积神经网络进行反向传播， 对权 重参数进行 更新； 卷积网络的损失函数为： l1(Z， OSR)＝||Z‑OSR||1 其中Z和OSR分别表示目标图像和重构图像； Z(i,j),OSR(i,j)则分别表示Z和OSR在(i,j) 像素的值； 网络共有n个输出， 将第n个输出作为重构图像； 网络第k个输出， k＝1,2 …n‑ 1； 为了避免分母为0， 使c＝1e ‑10； β 和 是权衡因子， 网络分别设置为1、 1和0.1； 步骤(B36)： 当iteration＝20000时结束训练， 将最近一次损失值下降时对应的模型参 数作为最优权重参数保存。 8.根据权利要求1所述的基于跨尺度的octave卷积网络的多光谱和高光谱图像 融合方 法， 其特征在于， 在步骤(C)中用训练好的模型对传感器捕获的同一时间、 同一区域的低空 间分辨率的高光谱图像和高空间分辨率的多光谱图像对进 行测试， 得到一个同时具有高空 间分辨率和高光谱分辨率的高光谱图像， 具体为： 将测试 的多光谱和高光谱图像的张量对 输入训练好的模型中得到结果作为融合结果。权　利　要　求　书 2/2 页 3 CN 115512192 A 3