MrD's Blog

我干了什么究竟拿了时间换了什么

【深度学习】MAE_ST：Masked Autoencoders As Spatiotemporal Learners

Abstract 这篇文章研究了 Masked Autoencoders （MAE）在概念上简单的扩展，以从视频中学习时空表示。我们在视频中随机 mask 时空 patch，并学习自编码器以像素重建它们。有趣的是，我们表明，我们的MAE方法可以学习强大的表示，对时空几乎没有归纳偏置（除了 patch 和位置嵌入），与时空无关的随机 mask 效果最好。我们观察到，最佳 mask...

Posted by ShawnD on June 10, 2023

【深度学习】DPIR：Plug-and-Play Image Restoration with Deep Denoiser Prior

Abstract 最近关于即插即用图像恢复的工作表明，去噪器可以隐式地作为基于模型的方法解决许多逆问题的先验图像。当通过具有大建模能力的深度卷积神经网络（CNN）进行判别式学习时，这种属性为即插即用图像恢复带来了相当大的优势（例如，集成了基于模型的方法的灵活性和基于学习的方法的有效性）。然而，虽然更深和更大的CNN模型正在迅速流行，但由于之前缺乏合适的去噪器先验，现有的即插即用图像...

Posted by ShawnD on June 7, 2023

【深度学习】Deep Unfolding， Diffusion Model and CASSI

Deep Unfolding 病态逆问题通常求解下式： \[y = \Phi x + n \tag{1}\] 从贝叶斯视角，可以使用最大后验估计（MAP），求解上式 \[\hat x = \text{arg} \max_x p(x \mid y) = \text{arg} \max_x \frac{p(y \mid x) p(x)}{p(y)} = \text{arg} \max_x...

Posted by ShawnD on June 5, 2023

【深度学习】DDS2M：Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration

Abstract 扩散模型最近引起了人们的极大兴趣，因为它们在图像恢复方面的性能令人印象深刻，特别是在噪声鲁棒性方面。然而，现有的基于扩散的方法是在大量训练数据上训练的，在分布中表现非常好，但可能很容易受到分布转移的影响。这对于缺乏数据的高光谱图像（HSI）恢复特别不合适。为了解决这个问题，这项工作提出了一个用于HSI恢复的自监督扩散模型，即去噪扩散空间光谱模型（DDS2M），...

Posted by ShawnD on June 5, 2023

【深度学习】Consistency Models

Abstract 扩散模型在图像、音频和视频生成方面取得了重大突破，但它们依赖于迭代生成过程导致采样速度缓慢并限制其实时应用的潜力。为了克服这一局限性，我们提出了一致性模型，这是一个新的生成模型家族，可以在没有对抗性训练的情况下实现高样本质量。它们通过设计支持快速一步生成，同时仍然允许几步采样来权衡计算和样本质量。他们还支持零样本编辑，如图像绘制、着色和超分辨率，而无需对这些任...

Posted by ShawnD on June 5, 2023

【深度学习】ADMM-Net: A Deep Learning Approach for Compressive Sensing MRI

Abstract 压缩感知（CS）是快速磁共振成像（MRI）的有效方法。它旨在从 k 空间中少量采样不足的数据中重建 MR 图像，并加速 MRI 中的数据采集。为了提高当前核磁共振系统的重建精度和速度，在本文中，我们提出了两种新的深度架构，在基本版本和广义版本中称为ADMM-Nets。 ADMM-Nets是在数据流图上定义的，数据流图来自乘子交替方向法（ADMM）算法中的迭代程序...

Posted by ShawnD on June 2, 2023

【Geek】树莓派开发日记

Mac 烧录树莓派镜像 TF 卡格式化首先需要下载格式化工具，我这边使用的是 SD Memory Card Formatter，这个软件在 windows 和 macos上都可以用。这里是 macos 下的下载链接：https://www.sdcard.org/downloads/formatter/eula_mac/index.html 格式化插入 TF 卡打开 ...

Posted by ShawnD on June 1, 2023

【Research & Writing】CVPR 2023 Presenter and Virtual Platform Upload REMINDER

Posted by ShawnD on May 24, 2023

【深度学习】Converting a spectrum to a colour

本文提供了一个Python脚本，用于将波长光谱映射到颜色的表示形式。没有独特的方法来做到这一点，但这里使用的公式是基于色彩匹配函数(CIE, colour matching functions)， $x(\lambda), y(\lambda)$ 和 $z(\lambda)$。这些模型通过映射波长的能量光谱 $P(\lambda)$ 映射为三原色 $X， Y， Z$ 来模拟 “stan...

Posted by ShawnD on May 11, 2023

【深度学习】注册机制不能很好地扩展

人们对配置系统有很多不同的看法。在处理过各种风格的配置之后，我还想写一篇关于大规模(从系统复杂性、用户数量等方面来说)系统中一个好的配置子系统应该是什么样子的文章。设计空间是复杂的，所以在本文中，我将从一个较小的主题开始:配置系统中的注册。我将说明为什么这种常见模式虽然适用于小规模项目，但从长期来看却不能很好地扩展。我还将讨论另一种选择。 Registration for config...

Posted by ShawnD on May 10, 2023