Abstract

现有的卷积神经网络广泛采用空间下/上采样进行多尺度建模。

然而，空间上采样操作（例如插值、转置卷积和 un-pooling）严重依赖于局部像素注意力，难以探索全局依赖关系。

相比之下，傅里叶域遵循谱卷积定理的全局建模性质。

与在具有局部相似性属性的空间域进行上采样不同，傅里叶域中的上采样更具挑战性，因为它不遵循这样的局部属性。

在这项研究中，我们提出了一个理论上健全的深度傅里叶上采样（FourierUp）来解决这些问题。

我们重新审视了空间和傅里叶域之间的关系，并揭示了在傅里叶域中不同分辨率特征上的变换规则，这为FourierUp的设计提供了关键见解。

作为通用操作符，FourierUp由三个关键组件组成：2D离散傅里叶变换、傅里叶维度增加规则和2D逆傅里叶变换，可以直接集成到现有网络中。

通过在多个计算机视觉任务上进行广泛实验证明，包括目标检测、图像分割、图像去雨、图像去雾和引导图像超分辨率，我们的FourierUp引入后均取得了一致的性能提升。

【NIPS 2022】Deep fourier up-sampling