(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211078484.2 (22)申请日 2022.09.05 (71)申请人 阜阳师范大学 地址 236000 安徽省阜阳市颍州区清河西 路100号 申请人 合肥工业大 学 (72)发明人 赵佳　杨子龙　王宇　杨颖　 余正涛　郭晨靓　 (74)专利代理 机构 合肥中博知信知识产权代理 有限公司 34142 专利代理师 杨来宝 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 基于对比学习的视频去雾装置与去雾方法 (57)摘要 本发明提出了基于对比学习的视频去雾装 置与去雾方法， 采用端到端的图像去雾方法， 包 括： 获取实验数据， 设计去雾网络模型， 分析大气 散射模型， 同时学习大气散射模型中的透射率t (x)和大气光A参数； 再计算得到无雾图像； 将模 糊图像和清晰图像的信息分别作为负样本和正 样本， 使得网络输出的去雾图像在 表示空间中拉 近清晰图像而远离有雾图像； 在雾天时， 采集得 到有雾数据； 通过WIFI模块将 采集到的视频信息 传输到终端待处理， 将有雾视频逐帧裁剪成单幅 有雾图像， 待处理有雾图像采用训练后的去雾网 络模型得到无雾图像， 最后将无雾图像重新拼接 成无雾视频。 本发明能够提高图像的对比度， 增 强图像的细节信息， 展现出了良好的去雾性能。 权利要求书2页 说明书7页 附图3页 CN 115439363 A 2022.12.06 CN 115439363 A 1.基于对比学习的视频去雾装置， 其特征在于， 包括数据采集模块， WIFI模块， 处理终 端； 在雾天时， 利用数据采集模块采集得到有雾数据； 通过WIFI模块将采集到的视频信息传 输到处理终端待处理， 处理终端包括视频处理模块， 预 处理模块， 网格网络， 后处理模块， 清 晰图像生成模块， 视频处理模块用于在视频数据中选择每 帧图像作为待处理图像， 预处理 模块由一个卷积层和一个残差密集块组成， 将有雾图像通过卷积层得到16个特征图输入， 残差密集块中的特征融合能够自适应学习的更多 特征， 网格网络是一种结合注意力机制的 多尺度特征融合网格网络， 后处理模块与预处理模块结构对称， 防止图像失真或者产生伪 影， 有雾图像经过预处理模块， 网格网络， 后处理模块得到参数K(x),然后通过清晰图像生 成模块输出 无雾图像， 最后进行图像融合， 输出 无雾视频。 2.根据权利要求1中所述的基于对比学习的视频去雾装置的去雾去雾方法， 其特征在 于， 包括以下步骤： S1、 图像数据获取与处理， 利用RESIDE数据集中成对的有雾图像和无雾图像作为原始 训练数据， 将原 始数据集裁 剪成预设图像尺寸进行训练； S2、 分析大气散射模型， 可知利用大气散射模型进行图像去雾， 需要估计出透射率t(x) 和大气光A两个参数， 当分别估计两个参数进行图像去雾会导致累积甚至放大误差， 因此， 变化大气散射模 型， 将t(x)和A两个参数 统一为K(x),减少输出图像与真实无雾图像的重 建 误差； S3、 训练阶段， 搭建K(x)估计模块， 估计出较为 准确的中间传输图； S4、 训练阶段， 在步骤S2的基础上， 将变化后的大气散射模型作为图像复原问题进行处 理， 将步骤S3得到的传输图作为输入， 得 出去雾图像； S5、 利用对比学习策略构建对比损失， 将有雾图像和对应的清晰图像分别作为负样本 和正样本， 确保经过步骤S4得到的图像在表示空间中被拉得更接近清晰图像并且推离模糊 图像； S6、 测试阶段， 输入有雾 视频， 以帧为单位进行视频处 理， 得到单幅有雾图像的集 合； S7、 测试阶段， 将由上一步得到的单幅图像输入到训练后的去雾网络模型得到无雾图 像； S8、 测试阶段， 图像融合， 输出去雾 视频。 3.根据权利要求2所述的基于对比学习的视频去雾方法， 其特征在于， 步骤S1具体包 括： 获取室内、 外无雾图像， 根据大气 散射模型， 生 成与无雾图像对应的有雾图像， 雾天成像 的数学模型为： I(x)＝J(x)t(x)+A(1 ‑t(x)) 其中I(x)是朦胧图像， J(x)是生成的无雾图像， A表示全局大气光值， t(x)表示透射率， 且t(x)定义 为： 其中β 是大气散射系数， d(x)是 景深。 4.根据权利要求2所述的基于对比学习的视频去雾方法， 其特征在于， 步骤S2具体包括 为： 以往基于大气 散射模型的图像去雾算法主要分为利用复杂的深度模 型从模糊图像I(x) 中估计传输矩阵t(x),接着用一些经验的方法估计大气光,最后利用大气模型求得去雾图权　利　要　求　书 1/2 页 2 CN 115439363 A 2像三步； 但是该流程对大气光和透射率的分别估计将会导致误差放大,因此该文主要是将 大气光和透射 率两个参数用K(x)代替,大气散射模型变形 可得： J(x)＝k(x)I(x) ‑k(x)+b 其中： b是默认值为1的偏差， t(x)和A被整合成了K(x)， 由于K(x)依赖于输入有雾图像， 所以 能够减少生成图像和原 始图像的误差 。 5.根据权利要求2所述的基于对比学习的视频去雾方法， 其特征在于， 步骤S3具体包括 为： K(x)估计模块主要由预处理模块、 网格网络、 后处理模块三部分组成； K(x)估计模块的 预处理模块由一个卷积层和一个残差密集块(RDB)组成， 将有雾图像通过卷积层得到16个 特征图输入， RDB模块中的特征融合能够自适应学习的更多 特征， 每个RDB块由5个卷积层组 成， 前四层用于增加特征映射的数量， 最后一层用于融合这些特征映射， 然后将其输出与 RDB块的输入相结合； K(x)估计模块的网格网络是一种结合注意力机制的多尺度特征融合 网格网络； 每一行由5个RDB块构成， 上采样和下采样的结构相同， 通过每一列的上采样或下 采样得到不同尺度的特征图； 经过一个下采样块后， 特征图的通道数增加， 特征图的尺寸缩 小为原来的一半， 上采样结果与其相反； 每个RDB块与上采样或下采样结果利用通道注 意力 机制进行特征融合； 每个卷积层过后都会使用ReLU激活函数； 将三个不同尺度下的特征数 量分别设置为16、 32、 64； K(x)估计模块的后处理模块是因为直接经过网格网络得到的图像 可能会失真或者产生伪影， 引入了与预处 理结构对称的后处 理模块。 6.根据权利要求2所述的基于对比学习的视频去雾方法， 其特征在于， 不同尺度的特征 图可能不具有相同的重要性， 因此， 在网格网络中融入通道注意力机制， 生 成用于特征融合 的可训练权重， 为每个通道生成不同的权重值， 基于权重值进行不平等地处理不同的特征 和像素区域。 7.根据权利要求2所述的基于对比学习的视频去雾方法， 其特征在于， 对比学习旨在对 数据进行区分， 使训练结果缩小与正样本距离， 扩 大与负样本的距离， 因此模型的泛化能力 更强， 生成的无雾图像质量更好； 正样本和负样本 分别由清晰图像和合成有雾图像构成,从 预训练模型VG G‑19中选择公共特 征空间， 对比损失可表示 为： 其中J表示无雾图像作 为正样本， I表示合成有雾图像作 为， φ(I,w)是通过去雾模型生 成的无雾图像， Gj表示从预训练的不同层中提取特征， D(x， y)是两者之间的L1距离， wj是权 重系数。权　利　要　求　书 2/2 页 3 CN 115439363 A 3