MrD's Blog

我干了什么究竟拿了时间换了什么

【CVPR 2023】MaskedDenoising：Masked Image Training for Generalizable Deep Image Denoising

Abstract 在捕获和存储图像时，设备不可避免地会引入噪声。减少这种噪声是一项名为图像降噪的关键任务。深度学习已成为图像去噪的事实方法，特别是随着基于 Transformer 的模型的出现，这些模型在各种图像任务上取得了显著最先进的结果。然而，基于深度学习的方法往往缺乏泛化能力。例如，在其他噪声分布上测试时，受过高斯噪声训练的深度模型可能会表现不佳。为了解决这个问题，我们提...

Posted by ShawnD on November 27, 2023

【CVPR 2023】NGramSwin：N-Gram in Swin Transformers for Efficient Lightweight Image Super-Resolution

Abstract 虽然一些研究已经证明，具有窗口自注意力（WSA）的 Swin Transformer（Swin）适用于图像超分辨率（SR），但由于感受野有限，普通WSA在重建高分辨率图像时忽略了广阔的区域。此外，许多深度学习SR方法受到密集计算的影响。为了解决这些问题，我们首次将N-Gram上下文引入 Transformer 的低级视觉中。我们将 N-Gram 定义为 Swi...

Posted by ShawnD on November 26, 2023

【ACL 2023】AAR：Augmentation-Adapted Retriever Improves Generalization of Language Models as Generic Plug-In

Abstract 检索增强可以通过向语言模型（LM）提供外部信息来帮助它们进行知识密集型任务。先前的检索增强工作通常共同微调检索器和LM，使它们紧密相连。在本文中，我们探索了通用检索插件的方案：检索器旨在帮助事先不知道或无法一起微调的LM。为使未见过的LM检索有用文档，我们提出了增强适应检索器（AAR），它学习从已知来源LM获得的LM的偏好。 MMLU和PopQA数据集的实验...

Posted by ShawnD on November 26, 2023

【CVPR 2023】DAEM：Toward Stable, Interpretable, and Lightweight Hyperspectral Super-resolution

Abstract 在真实应用中，现有的HSI-SR方法不仅在未知场景下表现不稳定，而且还因高计算消耗受限。在本文中，我们开发了一个新的协调优化框架，以实现稳定、可解释和轻量级的HSI-SR。具体来说，我们在一个新的概率框架下，创造了融合和退化估计之间的正向循环。估计出的退化作为指导应用于融合过程中，实现了对退化敏感的HSI-SR。在该框架下，我们建立了一个显式的退化估计方法，以解决之前方法...

Posted by ShawnD on November 25, 2023

【CVPR 2023】SUDF：Spectral Bayesian Uncertainty for Image Super-resolution

Abstract 最近，深度学习技术显著增强了图像超分辨率（SR）。由于黑匣子性质，在使用这些深层SR网络时，量化重建不确定性至关重要。以前SR不确定性估计主要集中在空间领域中捕获像素的不确定性。与图像SR高度相关的频率域中的SR不确定性很少被探索。在本文中，我们建议量化图像SR中的光谱贝叶斯不确定性。为了实现这一目标，首先提出了一个双域学习（DDL）框架。结合贝叶斯方法，DDL模型能够准...

Posted by ShawnD on November 24, 2023

【CVPR 2023】GMT-Net：Gated Multi-Resolution Transfer Network for Burst Restoration and Enhancement

Abstract 多帧图像处理近年来变得越发流行。然而，这是一项具有挑战性的任务，因为单个连拍图像往往会遭受多重退化，并常常存在彼此之间的不对齐，导致出现鬼影和拉链伪像。现有的连拍图像恢复方法通常没有考虑帧间的相互关联和非局部上下文信息，这限制了这些方法在复杂情况下的表现。另一个关键挑战在于连拍帧的稳健上采样。现有的上采样方法不能有效地同时利用单阶段和逐步上采样策略的优势，这些策略包括传统...

Posted by ShawnD on November 23, 2023

【CVPR 2023】Burstormer: Burst Image Restoration and Enhancement Transformer

Abstract 现代手持相机在快门按下时会连续快速拍摄多张照片，并将它们合成一张单一的图像。然而，连拍中的每一帧由于不可避免的运动而产生错位，并且包含多重退化现象。挑战在于正确地对齐连续的图像拍摄并合并它们互补的信息，以实现高质量的输出。朝着这个方向，我们提出了Burstormer：一种新的基于 Transformer 的架构，用于连拍图像的恢复和增强。相比于现有的作品，我们的方法利...

Posted by ShawnD on November 22, 2023

【深度学习】GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints

Abstract Multi-query attention（MQA）仅使用单个 key-value head，大大加快了解码器推理。然而，MQA可能导致质量下降，此外，仅仅为了更快的推理而训练一个单独的模型可能不是可取的。我们提出了一种方法，可以使用原始预训练计算的5％将现有的多头语言模型 checkpoint 升级为具有MQA的模型，并引入了 grouped-query at...

Posted by ShawnD on November 14, 2023

【深度学习】基于 LLM 构建中文场景检索式对话：Llama2+NeMo

安装 NeMo (mac) Note: 需要 python 3.10 以上，否则部分代码会报错 1 2 3 4 5 6 7 8 9 10 11 12 13 14 # [optional] install mecab using Homebrew, to use sacrebleu for NLP collection # you can install Homebrew here: h...

Posted by ShawnD on November 12, 2023

【Research & Writing】CVPR 2024 注意事项

CVPR 2024 Submission Policies Paper formatting: 论文限制在八页，包括图表和表格，以CVPR风格。另外的页面只允许包含引用的参考文献。未正确匿名，或未使用模板，或超过八页(不包括参考文献)的论文将被拒绝审查。 Submission and review process: CVPR 2024将使用 OpenReview 来管理提交。与之...

Posted by ShawnD on November 11, 2023