Abstract
现代手持相机在快门按下时会连续快速拍摄多张照片，并将它们合成一张单一的图像。然而，连拍中的每一帧由于不可避免的运动而产生错位，并且包含多重退化现象。挑战在于正确地对齐连续的图像拍摄并合并它们互补的信息，以实现高质量的输出。
朝着这个方向，我们提出了Burstormer：一种新的基于 Transformer 的架构，用于连拍图像的恢复和增强。相比于现有的作品，我们的方法利用多尺度的局部和非局部特征，实现了改进的对齐和特征融合。我们的关键思想是在连拍的邻域中启用帧间通信，以便信息聚合和逐步融合，同时建模整个连拍的上下文。然而，在融合它们的信息之前，输入的连拍帧需要被正确地对齐。因此，我们提出了一个增强的可变形对齐模块，用于根据参考帧对齐连拍特征。
与现有方法不同的是，我们提出的对齐模块不仅对齐了连拍特征，还通过提出的基于参考的特征增强机制，交换了特征信息并与参考帧保持了聚焦的通信，这有助于处理复杂的运动。在多层次对齐和增强之后，我们在连拍中重新强调了使用循环连拍采样模块的帧间通信。最后，帧间信息通过提出的连拍特征融合模块聚合，随后进行逐步上采样。我们的Burstormer在连拍超分辨率、连拍去噪和连播低光增强方面优于现有的最先进方法。我们的代码和预训练模型可在https://github.com/akshaydudhane16/Burstormer 获取。
-
Previous
【深度学习】GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints -
Next
【CVPR 2023】GMT-Net：Gated Multi-Resolution Transfer Network for Burst Restoration and Enhancement
