(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211028300.1 (22)申请日 2022.08.25 (71)申请人 暨南大学 地址 510632 广东省广州市天河区黄埔大 道西601号 (72)发明人 骆爱文　陈希　刘旭彬　梅君妍　 曾夏祺　邵奕衡　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 基于生成对抗网络和多尺度融合的图像去 雾方法及系统 (57)摘要 本发明涉及图像处理领域， 公开了一种基于 生成对抗网络和多尺度融合的图像去雾方法及 系统， 方法包括： 构建包括第一去雾单元和第二 去雾单元的图像去雾模型； 将真实有雾图像输入 训练好的图像去雾模型， 通过第一去雾单元对真 实有雾图像进行暗通道先验去雾处理， 得到第一 传输映射图像和第一去雾图像； 通过第二去雾单 元对第一传输映射图像和第一去雾图像进行特 征细化处理， 得到第二传输映射图像和第二去雾 图像； 并对第二传输映射图像进行物理去雾处 理， 得到第三去雾图像； 对第二去雾图像和第三 去雾图像进行图像融合， 得到最终的无雾图像。 本发明结合了基于物理模型先验方法和基于深 度学习方法对图像进行去雾处理， 提高了去雾精 度和效率。 权利要求书3页 说明书14页 附图8页 CN 115457265 A 2022.12.09 CN 115457265 A 1.基于生成对抗网络和多尺度融合的图像去雾方法， 其特 征在于， 包括： S1： 获取训练集数据， 所述训练集数据包括真实有雾图像和真实无雾图像； S2： 构建图像去雾模型， 所述图像去雾模型包括第一去雾单元和第 二去雾单元； 所述第 一去雾单 元为暗通道先验去雾单 元； 所述第二去雾单 元为生成对抗网络去雾单 元； S3： 将所述训练集数据输入所述图像去雾模型进行训练， 直至所述图像去雾模型的损 失函数收敛， 得到训练好的图像去雾模型； S4： 将真实有雾 图像输入训练好的图像去雾模型， 通过所述第一去雾单元对所述真实 有雾图像进行暗通道先验去雾处 理， 得到第一传输映射图像和第一去雾图像； S5： 通过所述第二去雾单元对所述第一传输映射图像和所述第一去雾图像进行特征细 化处理， 得到第二传输映射图像和第二去雾图像； 并对所述第二传输映射图像进行物理去 雾处理， 得到第三去雾图像； S6： 对所述第二去雾图像和第三去雾图像进行图像融合， 得到最终的无雾图像。 2.根据权利要求1所述的基于生成对抗网络和多尺度融合的图像去雾方法， 其特征在 于， S4中， 通过所述第一去雾单元对 所述真实有雾图像进 行暗通道先验去雾处理， 得到第一 传输映射图像和第一去雾图像， 具体包括： S4.1： 提取真实有雾图像的暗通道， 其表达式如下 所示： 其中， 表示真实有雾图像Freal在像素x处的暗通道， maxpool( ·)表示最大池化 操作， 表示真实有雾图像Freal的R、 B或G通道的其中一个通道； S4.2： 将暗通道图像的所有像素按照亮度大小从大到小进行排序， 找到亮度最大的前 0.1％的像素位置， 根据亮度最大的前0.1％的像素位置在输入的真实有雾图像中计算平均 像素亮度值作为全球大气光 值A； S4.3： 根据科施米德定律， 利用所述暗通道和全球大气光值， 计算第一传输图像TDCP， 其 表达式如下 所示： S4.4： 根据逆转科施米德定律， 利用所述全球大气光值A和所述第一传输图像TDCP， 计算 第一去雾图像CDCP， 其表达式如下 所示： 3.根据权利要求1所述的基于生成对抗网络和多尺度融合的图像去雾方法， 其特征在 于， 所述方法还包括： 在所述第一去雾单元对所述真实有雾图像进行暗通道先验去雾处理 得到第一去雾图像后， 对所述第一去雾图像进行非线性增强 ‑伽马变换， 得到亮度改善后的 第一去雾图像。 4.根据权利要求1所述的基于生成对抗网络和多尺度融合的图像去雾方法， 其特征在 于， 所述第二去雾单元包括第一生成器、 第二生成器、 第一判别器、 第二判别器和第三判别 器；权　利　要　求　书 1/3 页 2 CN 115457265 A 2所述第一生成器用于对所述第 一传输映射图像进行特征细化处理， 得到第 二传输映射 图像； 所述第二 生成器用于对所述第一去雾图像进行 特征细化处 理， 得到第二去雾图像； 所述第一判别器用于将原始尺寸的第二去雾图像与原始尺寸的真实无雾图像进行对 比， 得到原 始尺寸的第二去雾图像与原 始尺寸的真实无雾图像的相似程度； 所述第二判别器用于将经过二倍下采样 的第二去雾 图像与经过二倍下采样的真实无 雾图像进 行对比， 得到经过二倍下采样的第二去雾图像与经过二倍下采样的真实无雾图像 的相似程度； 所述第三判别器用于将经过四倍下采样 的第二去雾 图像与经过四倍下采样的真实无 雾图像进 行对比， 得到经过四倍下采样的第二去雾图像与经过四倍下采样的真实无雾图像 的相似程度。 5.根据权利要求4所述的基于生成对抗网络和多尺度融合的图像去雾方法， 其特征在 于， 所述第一 生成器为以U ‑Net网络为基本结构， 引入卷积块注意力机制的细化网络； 所述第二 生成器为以ResNet网络为基本结构， 引入卷积块注意力机制的细化网络； 所述卷积块注意力机制包括空间注意力机制和通道 注意力机制。 6.根据权利要求4所述的基于生成对抗网络和多尺度融合的图像去雾方法， 其特征在 于， 所述方法还 包括： 根据原始尺寸的第 二去雾图像与原始尺寸的真实无雾图像的相似程度， 经过二倍下采 样的第二去雾图像与经过二倍下采样的真实无雾图像的相似程度， 以及经过四倍下采样的 第二去雾图像与经过四倍下采样的真实无雾图像的相似程度对所述第二生成器、 所述第一 判别器、 所述第二判别器和所述第三判别器进行 更新。 7.根据权利要求6所述的基于生成对抗网络和多尺度融合的图像去雾方法， 其特征在 于， 所述方法还 包括： 利用所述第二传输映射图像、 所述第二去雾 图像以及全球大气光值， 并根据科施米德 定律重建有雾图像， 得到 重建有雾图像； 计算真实有雾图像和重建有雾图像的空间距离； 根据所述空间距离， 对所述第一 生成器行 更新。 8.根据权利要求7所述的基于生成对抗网络和多尺度融合的图像去雾方法， 其特征在 于， 所述图像去雾模型的损失函数L的表达式如下 所示： 其中， RU表示第一生成器， RT表示第二生成器， Dk表示第k个判别器， k＝1,2,3， LGAN为对 抗性损失函数， Lrec为重构损失函数， Lidt为身份损失函数， λ表示 LGAN权重的超参数； 所述对抗 性损失函数LGAN的表达式如下 所示： 权　利　要　求　书 2/3 页 3 CN 115457265 A 3