Abstract

图像去雾是一个病态的问题，近年来得到了广泛研究。由于缺乏参考数据集，去雾方法的客观性能评估是主要障碍之一。

合成数据集表现出局限性，而最近引入的少数真实数据集在整个场景中假设为均匀的雾。

由于在许多真实情况下，雾分布不均匀，这篇文章引入了 NH-HAZE，这是一个非均匀的真实数据集，具有一对真正的朦胧和相应的无雾图像。

这是第一个非均匀的图像去雾数据集，包含55个户外场景。

非均匀雾通过使用专业的雾生成器得到，该生成器模拟了真实雾场景的条件。

此外，这项工作对使用 NH-HAZE 数据集进行评估的几种最先进的单一图像去雾方法进行了客观评估。

Introduction

雾是一种大气现象，高度影响在这种条件下捕获的图像质量。因此，雾霾可能会降低各种户外应用的性能。雾霾的特点是空气中漂浮颗粒密度高，这在对比度和颜色变化方面显著降低了图像质量。

图像解码旨在恢复受雾霾影响的图像内容。这是一个病态的问题，最初使用额外的信息解决。大多数早期的单个图像去雾方法通过搜索捕获模糊和非模糊图像统计属性的不同先验来解决Koschmieder的光学模型。

图像去雾的一个主要挑战是如何验证所提出的方法。尽管数量众多，种类繁多，但图像去雾的质量在许多时候都是有争议的。因此，确定它们的局限性和新的研究方向相当困难。图像去雾领域仍然缺乏标准化的基准，无法对去雾技术进行客观和定量性能评估。基本上，客观评估图像去雾性能的一个主要问题是缺乏参考无雾图像。收集一对有雾和相应的无雾图像是一项繁琐的任务，因为这两种图像（雾和无雾）都需要在相同的条件下捕获。

最近，与IEEE CVPR NTIRE研讨会一起组织的图像去雾挑战向前迈出了重要一步。 NTIRE挑战使用了新的真实图像去雾数据集（带有雾和无雾图像）：I-HAZE、O-HAZE 和 DENSE-HAZE。

这些数据集的一个局限性是常见的假设雾均匀分布在整个场景中。事实上，雾分布在许多真实场景中具有非均匀的特征。因此，具有非均匀雾的数据集的存在对图像去雾非常重要。

这项工作介绍了NH-HAZE，它代表了第一个具有非均匀有雾和无雾配对图像的真实图像去雾数据集。非均匀雾是使用专业的雾生成器生成的，该生成器模拟了雾场景的真实情况。NH-HAZE包含55对在户外拍摄的图像。

此外，这项工作还使用几种最先进的单一图像去雾方法对新数据集进行了全面评估。由于NH-HAZE数据集包含无雾图像，因此使用两个传统指标对分析的单个图像去雾技术进行了定量评估：PSNR和SSIM。

Evaluated Dehazing Techniques

He et al. 是最早的单一图像去雾技术之一。他们引入了暗通道先验（DCP），这是暗对象的扩展。许多最近的图像测深技术都使用DCP来估计光学模型的传输图。该统计数据基于以下观察，即大多数户外图像区域的像素在至少一种颜色通道中呈现低强度。这一规则的例外表现为天空和雾霾区域。DCP有助于粗略估计（每个patch）传输图（与场景深度图直接相关）。在最初的工作中，通过采用昂贵的alpha matting策略，改进了传输。在本次评估中，基于引导滤波器对DCP方法进行了改进。

Cai et al. 介绍了DehazeNet，这是第一批深度学习学习的图像去雾技术方法之一。Dehazenet是一个端到端的学习CNN，可以估计传输图。它被训练使用合成的模糊数据集将朦胧映射到无雾的patch。Dehazenet由四个顺序步骤组成：特征提取、多尺度映射、局部极值，最后是非线性回归。

Berman et al. 的方法基于Omer等人引入的颜色一致性观察。这种方法认为，无雾图像中的颜色分布由 RGB 色彩空间中的一组离散簇很好地近似。基本上，这种方法假设给定簇中的像素是非局部的，并分布在整个图像平面上。因此，假设模糊区域的像素受到不同的影响。对于朦胧的图像，这些颜色簇在RGB色彩空间中成为不同的线条，称为 haze-lines。像素在线中的位置反映了其传输等级。基于 haze-lines，该方法估计了传输图和无雾霾图像。

Galdran et al. 使用 Retinex 理论解决图像去雾问题。他们的方法将 Retinex 应用于雾输入图像的 inverted intensities，证明该策略对图像去雾有效。

Zhang et al. 提出一种基于CNN的去雾图像方法。他们提出了一种具有编码器解码器结构的感知金字塔深度网络。该模型是使用平均平方误差和感知损失的组合从配对数据中学习的。这种方法是IEEE CVPR NTIRE 2018图像去雾挑战的获胜者。

Liu et al. 还介绍了一种名为 GridDehazeNet 的基于CNN的方法。该网络由三个主要模块组成。第一个模块为预处理数据，产生具有更好的多样性和更相关特征的输入。第二个模块，骨干模块，允许在不同尺度上更有效地交换信息。最后一个模块对输出进行后处理，以降低 artifacts 的等级。

3C 引入了一种原始的通用解决方案（称为3C-色彩通道补偿），以改善色谱分布严重不均匀的图像的色彩外观增强。它基于这样的观察，即在这种不利条件下，至少一个颜色通道中包含的信息几乎完全丢失，这使得传统的增强技术受到噪音和颜色变化的影响。3C被用作基于 opponent 颜色通道重建丢失通道的预处理方法。在本评估中，采用3C作为应用于传统DCP的预处理步骤。

Ancuti et al. 引入了第一种通用图像去雾方法，该方法为白天和夜间模糊场景产生竞争性结果。该方法基于一种新的局部 airlight 估计方法，该方法允许有效处理由于多个局部 artificial 源而导致光线分布不均匀的夜间特征。考虑多个补丁大小来生成多个图像。这些派生图像是根据几个权重图引导的多尺度融合策略合并的。

Results and Discussion

新的 NH-HAZE 数据集已用于对第4节中介绍的最新竞争性单图像去雾技术进行全面评估。作者随机选择了数据集的几张图像，并在图2中显示（在第一列中，非均匀模糊图像，最后一列为无雾图像）。

此外，图3显示了 NH-HAZE 数据集不同场景的比较细节，以及之前提到的去雾技术的产生结果。

通过仔细检查，我们可以观察到，知名的DCP可以很好地恢复图像结构，但也放大了 color shifting artifacts，同时去除了场景中不同的模糊层。

然而，最近在中引入的操作表明，使用 3C 作为预处理步骤可以显著减少原始DCP引入的颜色漂移，并为非均匀模糊场景产生视觉上令人愉悦的结果。

由于 airlight 和 transmission 估计策略，Berman等人产生的结果显示出更高的对比度、更清晰的边缘和更少的彩色伪影。Ancuti等人的方法也在局部估计 airlight，产生高对比度和生动的颜色，但它倾向于为这组图像引入轻微的淡黄色变色。Galdran等人[22]尽管使用了局部策略，但在愉快地重新存储当地对比度方面存在一些局限性。

Cai等人和Liu等人基于CNN的技术仅限于恢复朦胧区域的对比度，主要是因为它们的策略假设了均匀的有雾场景。另一方面，张等人的CNN方法更好地处理了场景中阴霾的变化。

得出结论，基于CNN的方法具有巨大的潜力，总体性能优于其他考虑的技术。非CNN技术的主要执行是Ancuti等人的方法。与基于CNN的技术相比，这些非CNN技术引入了更高的颜色失真，并且通常倾向于引入结果的非自然外观。除了颜色变化外，这些方法还倾向于放大结构伪影和初始噪声。

NH-HAZE的主要优势是促进基于雾图像的客观定量评估。

在这项工作中，作者对基于NH-HAZE的几种图像去雾技术进行了客观评估。表1将不同去雾技术的输出与图2所示图像中基于PSNR和SSIM的真实（无雾）图像进行了比较。结构-结构相似性指数（SSIM）比较了已归一化的亮度和对比度的像素强度的局部模式。SSIM的范围为[-1,1]，两张相同的图像的最大值为1。除表1外，表2还显示了NH-HAZE数据集整个55个场景的平均SSIM和PSNR值。

【深度学习】NH-HAZE： An Image Dehazing Benchmark with Non-Homogeneous Hazy and Haze-Free Images

Abstract

Introduction

Evaluated Dehazing Techniques

Results and Discussion

CATALOG

FEATURED TAGS

FRIENDS