(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211074175.8 (22)申请日 2022.09.02 (71)申请人 北京邮电大 学 地址 100089 北京市海淀区西土城路10号 (72)发明人 何召锋　王甲　张志礼　黄昱博　 李琦　董晶　 (74)专利代理 机构 石家庄领皓专利代理有限公 司 13130 专利代理师 郭红伟 (51)Int.Cl. G06V 40/18(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06T 7/90(2017.01)G06T 7/40(2017.01) G06N 3/04(2006.01) (54)发明名称 基于先验引导的虹膜图像修复系统 (57)摘要 本发明涉及图像处理技术领域， 提出了基于 先验引导的虹膜图像修复系统， 包括生成器和判 别器， 所述生 成器包括： 退化去除子网络， 用于对 输入图像进行特征提取， 得到第一图像yc； 所述 第一图像yc为超分辨率、 去模糊的图像； 先验估 计子网络， 用于根据第一图像yc得到先验知识中 的风格信息pi； 所述风格信息pi中包含虹膜图像 的颜色、 形状和纹理信息； 先验融合子网络， 用于 将第一图像yc和风格信息pi进行融合， 得到先验 融合特征； 所述先验融合特征用于生成清晰的修 复图像 通过上述技术方案， 解决了现有技术 中低分辨率、 模糊的虹膜图像导致虹膜识别准确 率下降的问题。 权利要求书2页 说明书7页 附图2页 CN 115424337 A 2022.12.02 CN 115424337 A 1.基于先验引导的虹膜图像修复系统， 用于对低分辨率的模糊图像进行修复， 包括生 成器和判别器， 其特 征在于， 所述 生成器包括： 退化去除子网络， 用于对输入图像进行特征提取， 得到第一图像yc； 所述第一图像yc为 超分辨率、 去模糊的图像； 先验估计子网络， 用于根据第一图像yc得到先验知识中的风格信息pi； 所述风格信息pi 中包含虹膜图像的颜色、 形状和纹 理信息； 先验融合子网络， 用于将第一图像yc和风格信息pi进行融合， 得到先验融合特征； 所述 先验融合特 征用于生成清晰的修复图像 2.根据权利要求1所述的基于先验引导的虹膜图像修复系统， 其特征在于， 所述先验估 计子网络包括连接成沙漏结构的多个残差通道注 意力模块， 在所述沙漏结构的对称层之间 采用跳跃连接机制， 并且对称层之 间加入卷积层； 任一所述对称层 包括： 对称分布在沙漏结 构中心两侧的两个残差通道 注意力模块； 所述先验估计子网络中最后N个残差通道注意力模块与所述先验融合子网络连接， 所 述风格信息pi包括所述 最后N个残差通道 注意力模块的输出； 所述 N为正整数。 3.根据权利要求1所述的基于先验引导的虹膜图像修复系统， 其特 征在于， 所述先验融合子网络采用通道感知注意力机制； 所述先验估计子网络的沙漏 结构中， 按照从前向后的顺序， 所述最后N个残差通道注意 力模块中第n个模块的输出表示 为； n为自然数， 且n≤N； 在将第一图像yc和风格信息pi进行融合， 得到先验融合特征的方面， 所述先验融合子网 络具体用于： 执行N次特征融合操作， 得到先验融合特 征； 其中， 第n次特 征融合操作包括： 利用卷积和映射函数对pin进行仿射变换， 将pin转化为通道注意力机制中的权重系数 将特征图 切分为具有空间信息的空间特 征 和空间特 征 根据权重系数 和空间特 征 得到风格特 征； 将风格特 征与空间特 征 进行拼接， 得到第n次特 征融合操作对应的融合特 征； 在首次特 征融合操作中， 特 征图 为对所述第一图像yc进行下采样处 理后得到的特 征； 在其他次特征融合操作中， 特 征图 为前一次特 征融合操作对应的融合特 征； 第N次特征融合操作后得到的融合特 征作为先验融合特 征。 4.根据权利要求1所述的基于先验引导的虹膜图像修复系统， 其特征在于， 所述退化去 除子网络具体包括依次连接的卷积层、 三个残差通道 注意力模块和两个卷积层。 5.根据权利要求2所述的基于先验引导的虹膜图像修复系统， 其特征在于， 所述生成器 的损失函数为： 其中， Lrec、 Lperc、 Lstyle、 分别为重构损失、 感知损失、 风格损失、 对抗损失， λ1、 λ2、 λ3、 λ4分别为权衡参数；权　利　要　求　书 1/2 页 2 CN 115424337 A 2所述重构损失 y为真实图像， | |||1表示L1范数； 所述感知损失 所述感知损失通过将修复图像 和真实图 像y输入VGG ‑19网络计 算得到， Φi为所述VGG‑19网络的第i层的激活图； Ni为第i层激活图的 像素总数； 所述风格损失 为由所述第i层激活图构造的Cj×Cj格拉姆 矩阵， Cj为所述第i层激活图的通道数； 所述对抗损失 DRa为判别器， 表 示真实图像y和修复图像 之间的误差， E[]为期望值计算。权　利　要　求　书 2/2 页 3 CN 115424337 A 3