【深度学习】A Two-branch Neural Network for Non-homogeneous Dehazing via Ensemble Learning

Posted by ShawnD on February 4, 2023

Abstract

最近,在图像去雾方面取得了快速而重大的进展。

许多基于深度学习的方法在处理去雾问题方面表现出了卓越的性能。

然而,我们观察到,即使精心设计的卷积神经网络(CNN)可以在大规模去雾基准上表现良好,该网络通常也会在NTIRE挑战引入的非均匀去雾数据集上失效。

原因主要有两方面。

首先,由于其非均匀性,分布不均匀的雾比均匀的雾更难去除。其次,研究挑战只提供了有限的数据(NH-Haze 2021数据集中只有25对训练)。

因此,根据非常有限的数据,从模糊的图像域学习到清晰的图像域是非常困难的。

为此,作者提出了一种简单但有效的方法,通过集成学习进行非均匀去雾。

具体来说,作者引入了一个双分支神经网络,以分别处理上述问题,然后通过具有学习能力的融合 tail 映射它们的各自的特征。

作者展示了广泛的实验结果,以说明所提出的方法的有效性。

Proposed Method

本节介绍用于非均匀去雾的双分支神经网络的细节。首先,作者指定了迁移学习子网络和当前数据拟合子网络的详细信息。然后,作者提供训练阶段使用的损失函数。

Network Structure

如图2所示,我们的方法由两个子网络组成,即迁移学习子网络和当前数据拟合子网络。每个子网络用于特定目的:迁移学习子网络从具有预训练权重的输入图像中提取强大的全局表示,当前数据拟合子网络旨在处理当前数据,并在特定训练图像域上表现良好。融合层采用这两个子网的串联特征映射,并输出无雾图像。