(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211056484.2 (22)申请日 2022.08.31 (71)申请人 中国农业银行股份有限公司山 东省 分行 地址 250001 山东省济南市经七路168号 (72)发明人 刘庆明　宋红伟　许明瑞　 (74)专利代理 机构 济南千慧专利事务所(普通 合伙企业) 37232 专利代理师 种道北 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/00(2006.01) G06V 10/82(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于自注意力机制的图像超分辨率重建方 法、 设备及 介质 (57)摘要 本申请公开了基于自注意力机制的图像超 分辨率重建方法、 设备及介质， 其中， 方法包括： 获取训练收敛的图像重建模型； 采集待重建的第 一分辨率图像， 将第一分辨率图像输入至图像重 建模型， 以对第一分辨率图像进行特征提取， 得 到浅层特征提取网络中各残差单元对应输出的 浅层特征图和深层特征提取网络输出的深层特 征图； 将各残差单元对应输出的浅层特征图， 通 过跳跃连接与深层特征提取网络输出的深层特 征图进行concat特征融合， 得到融合特征图； 生 成全局残差图像； 对第一分辨率图像进行双三次 插值处理， 以获得对应的输出图像， 并将输出图 像与全局残差图像中位于相同像素位置的像素 特征依次进行相加， 得到重建的第二分辨率图 像。 权利要求书3页 说明书10页 附图3页 CN 115496654 A 2022.12.20 CN 115496654 A 1.一种基于自注意力机制的图像超分辨 率重建方法， 其特 征在于， 所述方法包括： 获取训练收敛的图像重建模型， 其中， 所述图像重建模型包括依次连接的浅层特征提 取网络、 深层特 征提取网络和重建网络； 采集待重建的第一分辨率图像， 将所述第一分辨率图像输入至所述图像重建模型， 以 对所述第一分辨率图像进 行特征提取， 得到所述浅层特征提取网络中各残差单元对应输出 的浅层特 征图和所述深层特 征提取网络 输出的深层特 征图； 将所述各残差单元对应输出的浅层特征图， 通过跳跃连接与 所述深层特征提取网络输 出的深层特 征图进行co ncat特征融合， 得到融合特 征图； 通过所述重建网络对所述融合特 征图进行 上采样， 以生成全局残差图像； 对所述第一分辨率图像进行双三次插值处理， 以获得对应的输出图像， 并将所述输出 图像与所述全局残差图像中位于相同像素位置的像素特征依次进 行相加， 得到重建的第二 分辨率图像； 其中， 所述第二分辨率图像对应的图像分辨率大于所述第一分辨率图像对应 的图像分辨 率。 2.根据权利要求1所述的一种基于自注意力机制的图像超分辨率重建方法， 其特征在 于， 将所述第一分辨 率图像输入至所述图像重建模型， 具体包括： 将所述第一分辨率图像由RGB色彩空间转换为YUV色彩空间， 得到转换后的第一分辨率 图像； 对所述转换后的第 一分辨率图像进行色彩通道分离， 以获得所述转换后的第 一分辨率 图像所对应的Y通道图像； 将所述Y通道图像输入至所述图像重建模型。 3.根据权利要求1所述的一种基于自注意力机制的图像超分辨率重建方法， 其特征在 于， 对所述第一分辨率图像进行特征提取， 得到所述浅层特征提取网络中各残差单元分别 输出的浅层特 征图和所述深层特 征提取网络 输出的深层特 征图， 具体包括： 通过所述浅层提取网络中级联的多个第一卷积层， 对所述第一分辨率图像进行卷积， 得到所述浅层特 征提取网络中最后一个残差单 元输出的浅层特 征图； 将所述最后 一个残差单元输出的浅层特征图输入至所述深层特征提取网络， 通过所述 深层特征提取网络中并联的多个第二卷积层， 分别对所述最后一个残差单元输出的浅层特 征图进行卷积， 得到所述多个第二卷积层分别输出 的第一特征图、 第二特征图和第三特征 图； 根据所述第一特征图和所述第二特征图， 计算注意力特征； 所述注意力特征用于表示 所述浅层特 征图中各像素 特征之间的依赖关系； 将所述注意力特征与 所述第三特征图进行矩阵乘法操作， 并将经过所述矩阵乘法操作 所得到的第一指定特征图， 输入至所述深层特征网络中的第三卷积层进行卷积， 得到最终 的深层特 征图。 4.根据权利要求3所述的一种基于自注意力机制的图像超分辨率重建方法， 其特征在 于， 根据所述第一特 征图和所述第二特 征图， 计算注意力特 征， 具体包括： 对所述第一特征图进行转置， 并将转置后的所述第 一特征图和所述第 二特征图进行矩 阵乘法操作， 得到第二指定特 征图； 通过以下公式， 对经过所述矩阵乘法操作所得到的第二指定特征图进行归一化， 得到权　利　要　求　书 1/3 页 2 CN 115496654 A 2注意力特 征： 其中， Sj， i表示所述第一特征图中第i行元素对所述第二特征图中第j行元素所能产生 的影响值， Fi为所述第一特征图中的第i 行元素， Gj为所述第二特征图中的第j行元素， N为 所 述第二指定特 征图中的元 素数量， exp()为指数运 算。 5.根据权利要求1所述的一种基于自注意力机制的图像超分辨率重建方法， 其特征在 于， 通过所述重建网络对所述融合特征图进行上采样， 以生成全局残差图像之前， 具体包 括： 确定所述图像重建模型对应的图像放大因子； 所述输出图像的大小与 所述第一分辨率 图像的大小之间的比值 为所述图像放大因子； 通过所述重建网络中的多个亚像素卷积核， 对所述融合特征图进行卷积， 并针对卷积 后的所述融合特征图， 将处于同一像素位置的像素特征以多个图像块的形式进行重新排 列， 以得到 重新排列后的全局残差图像； 其中， 所述卷积核的数量为所述图像放大因子的平方， 所述全局残差 图像的大小与所 述融合特征图的大小之 间的比值为所述图像放大 因子， 所述图像块的长度和宽度均为所述 图像放大因子 。 6.根据权利要求1所述的一种基于自注意力机制的图像超分辨率重建方法， 其特征在 于， 获取训练收敛的图像重建模型， 具体包括： 获取预设的图像样本库， 所述图像样本库包括第一分辨 率图像和第二分辨 率图像； 根据预设的过完备字典对， 建立所述第 一分辨率图像和所述第 二分辨率图像之间的映 射关系， 并根据所述映射关系， 生成由所述第一分辨率图像及其对应的第二分辨率图像所 构成的图像对； 所述过完备字典对分别用于对所述第一分辨率图像和所述第二分辨率图像 进行稀疏表示； 从所述图像样本库中， 获取至少部分所述图像对作为训练样本， 训练初始图像重建模 型， 以获得训练收敛的图像重建模型。 7.根据权利要求6所述的一种基于自注意力机制的图像超分辨率重建方法， 其特征在 于， 根据预设的过完备字典对， 建立所述第一分辨率图像和所述第二分辨率图像之间的映 射关系， 具体包括： 确定所述过完备字典对中用于稀疏表示所述第 一分辨率图像的第 一过完备字典， 以及 用于稀疏表示所述第二分辨 率图像的第二过完备字典； 根据所述第 一过完备字典对所述第 一分辨率图像进行稀疏表示， 并计算所述第 一分辨 率图像对应的稀疏表示系数； 根据所述第 二过完备字典和所述稀疏表示系数， 确定所述第 一分辨率图像对应的第 二 分辨率图像， 并建立所述第一分辨 率图像和所述第二分辨 率图像之间的映射关系。 8.根据权利要求1所述的一种基于自注意力机制的图像超分辨率重建方法， 其特征在 于， 将所述输出图像与所述全局残差图像中位于相同像素位置的像素特征依 次进行相加， 得到重建的第二分辨 率图像， 具体包括：权　利　要　求　书 2/3 页 3 CN 115496654 A 3