MrD's Blog

我干了什么究竟拿了时间换了什么

【ICLR 2022】LoRA：Low-Rank Adaptation of Large Language Models

Abstract 自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练，然后适应特定任务或领域。随着我们对更大型号进行预训练，全模型参数的完全微调变得不太可行。以GPT-3 175B为例，部署独立的经过微调的模型实例，每个模型具有175B个参数，成本过高。我们提出了低秩适应（Low-Rank Adaptation，LoRA）的方法，它冻结了预训练模型的权重，并将可训练...

Posted by ShawnD on March 10, 2024

【ICCV 2023】RQ-LLIE：Low-Light Image Enhancement with Multi-stage Residue Quantization and Brightness-aware Attention

Abstract 暗光图像增强（LLIE）旨在恢复 illumination 并提高暗光图像的可见性。传统的LLIE方法通常产生较差的结果，因为它们忽视了噪声干扰的影响。基于深度学习的LLIE方法专注于学习低光图像与正常光图像之间的映射函数，该映射函数优于传统的LLIE方法。然而，大多数基于深度学习的LLIE方法尚不能充分利用在训练数据集中由正常光图像提供的辅助先验指导。在...

Posted by ShawnD on March 8, 2024

【CVPR 2018】SID：Learning to See in the Dark

Abstract 在低光条件下进行成像具有挑战性，原因是光子计数低且信噪比低。短曝光图像容易受到噪声影响，而长时间曝光可能导致模糊并且通常不切实际。虽然提出了各种去噪、去模糊和增强技术，但在极端条件下（如夜间视频成像）它们的有效性有限。为了支持基于学习的低光图像处理流程的开发，我们引入了一组原始短曝光低光图像，并附有相应的长曝光参考图像。利用这个数据集，我们开发了一个基于全...

Posted by ShawnD on February 22, 2024

【ICML 2018】Laplace Pyramid Loss：Optimizing the Latent Space of Generative Networks

Abstract 生成对抗网络（GANs）在生成逼真自然图像的任务中取得了显著的成果。在大多数成功的应用中，GAN模型具有两个共同的特点：解决具有挑战性的鞍点优化问题，被解释为生成器和鉴别器函数之间的对抗游戏；以及将生成器和鉴别器参数化为深度卷积神经网络。本文的目标是澄清这两个因素对GAN成功的贡献。特别地，我们引入了生成潜在优化（GLO），这是一个使用简单重构损失来训练深度卷积生...

Posted by ShawnD on February 21, 2024

【ECCV 2022】FECNet：Deep Fourier-based Exposure Correction Network with Spatial-Frequency Interaction

Abstract 在错误曝光条件下捕获的图像不可避免地遭受亮度和结构的混合退化。大多数现有的基于深度学习的曝光校正方法通常在空间域中分别恢复这些退化。在本文中，我们提出了一种具有空间频率交互的曝光校正的新视角。具体而言，我们首先通过傅里叶变换重新审视不同曝光图像的频率特性，其中幅度分量包含大多数亮度信息，相位分量与结构信息相关。为此，我们提出了一种基于深度傅里叶的曝光校正网...

Posted by ShawnD on February 7, 2024

【ICCV 2023】Lighting Every Darkness in Two Pairs: A Calibration-Free Pipeline for RAW Denoising

Abstract 基于校准的方法在极低光环境下主导了RAW图像降噪。然而，这些方法存在几个主要不足之处： 1）校准过程繁琐且耗时 2）不同相机的降噪器难以转移 3）高数字增益扩大了合成噪声与真实噪声之间的差异。为了克服以上缺点，我们提出了一种无需校准的 Lighting Every Darkness（LED）Pipeline，不受数字增益或相机传感器的限制。与反复校准噪声...

Posted by ShawnD on February 3, 2024

【TPAMI 2023】PIDS：Prior Image Guided Snapshot Compressive Spectral Imaging

Abstract 具有丰富空间和光谱信息的光谱图像具有广泛的用途，然而，传统的光谱成像技术无可否认地需要较长时间来捕捉场景。我们考虑的是“快照光谱光谱仪”的计算成像问题，即编码光圈快照光谱成像（CASSI）系统。为了实现快速和通用的重建算法，我们提出了一种基于先验图像引导的快照压缩成像方法。通常，先验图像指的是双摄像头CASSI系统的附加未编码泛光相机捕捉的RGB测量。我们认为...

Posted by ShawnD on January 24, 2024

【TIP 2021】Fast Hyperspectral Image Recovery of Dual-Camera Compressive Hyperspectral Imaging via Non-Iterative Subspace-Based Fusion

Abstract 编码孔径拍摄光谱成像（CASSI）是一种有望用于捕捉三维高光谱图像（HSIs）的技术，该技术使用算法执行从单个编码的二维（2D）测量中进行HSI重建的逆问题。由于这个问题的不适定性，各种正则化器已被利用来从2D测量中重建3D数据。不幸的是，准确性和计算复杂性都不令人满意。一个可行的解决方案是利用额外的信息，比如CASSI中的RGB测量。考虑到CASSI和RGB测量...

Posted by ShawnD on January 24, 2024

【 ICCV 2023】Pixel Adaptive Deep Unfolding Transformer for Hyperspectral Image Reconstruction

Abstract 高光谱图像（HSI）重建在深度展开框架的推动下取得了令人满意的进展，该框架通过将问题分解为数据模块和先验模块。然而，现有方法仍然面临与HSI数据匹配不足的问题。问题主要存在于三个方面： 1）数据模块中使用了固定的梯度下降步骤，而HSI的降解在像素级上是不可知的。 2）对于3D HSI立方体，先验模块不足够。 3）在不同阶段忽略了特征差异的阶段交互。为解决这些...

Posted by ShawnD on January 23, 2024

【WACV 2024】Beyond RGB: A Real World Dataset for Multispectral Imaging in Mobile Devices

Abstract 多光谱（MS）成像系统在计算机视觉和计算摄影任务中有广泛的应用，但由于其高昂的成本而尚未得到广泛的采用。最近，光子超材料的设计和制造的进步，使得适合整合到消费级移动设备中的MS传感器的发展成为可能。用更丰富的光谱信息来强化现有的RGB相机和它们的处理算法，有可能在图像处理流程的许多步骤中得到利用，但是不同的现实世界数据集适合进行这样的研究并不免费提供。我们介绍...

Posted by ShawnD on January 21, 2024