MrD's Blog

我干了什么究竟拿了时间换了什么

【深度学习】HyperReconNet: Joint Coded Aperture Optimization and Image Reconstruction for Compressive Hyperspectral Imaging

Abstract 编码孔径快照光谱成像(CASSI)系统将三维高光谱图像编码到单个二维压缩图像中，然后采用逆优化算法重建潜在的高光谱图像，这种方法具有快照的明显优势，但通常重建精度较低。为了提高精度，现有的方法要么尝试设计替代的编码孔径，要么尝试设计先进的重构方法，但无法通过统一的框架将两者联系起来，限制了精度的提高。这篇文章提出了一种基于卷积神经网络的端到端方法，通过联合优化编码孔...

Posted by ShawnD on June 11, 2022

【深度学习】Language Models Can See: Plugging Visual Controls in Text Generation

Abstract 如 GPT2/3 的生成语言模型可以依靠提示生成高质量的文本。虽然它们是为文本提示生成而设计的，但生成过程如何由文本和图像之外的形态来指导仍然是一个悬而未决的问题。这项工作提出了一个名为MAGIC(iMage-Guided text GeneratIon with CLIP)的无需训练的框架，用于在生成过程中插入视觉控制，并使 lm 能够以zero-shot 的方...

Posted by ShawnD on June 10, 2022

【深度学习】MST：Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction

Abstract 高光谱图像重建(HSI)的目的是在编码孔径快照光谱成像(CASSI)系统中，从二维测量数据中恢复三维空间光谱信号。 HSI表征在光谱维度上高度相似和相关。谱间相互作用的建模有利于HSI的重建。然而，现有的基于cnn的方法在捕获光谱相似性和长程依赖性方面存在局限性。此外，在CASSI中，HSI信息通过编码孔径(物理掩模)调制。然而，目前的算法并没有充分探索 ...

Posted by ShawnD on June 8, 2022

【深度学习】DNU: Deep Non-local Unrolling for Computational Spectral Imaging

Abstract 在过去的几十年里，计算光谱成像一直致力于捕捉动态世界的光谱信息。这篇文章提出了一个可解释的神经网络的计算光谱成像。首先，这篇文章引入了一种新的数据驱动先验，它可以自适应地利用光谱图像之间的局部和非局部相关性。我们的数据驱动先验作为正则化集成到重构问题中。然后，这篇文章提出将重建问题展开到一个优化启发的深度神经网络。通过对图像相关性和系统成像模型的显式刻...

Posted by ShawnD on June 7, 2022

【深度学习】CLIP：Learning Transferable Visual Models From Natural Language Supervision

Abstract 最先进的计算机视觉系统经过训练，可以预测一组预先确定的物体类别。这种受限制的监督形式限制了它们的一般性和可用性，因为需要额外的标记数据来指定视觉概念。直接从原始文本中学习图像是一个很有前途的选择，它利用了更广泛的监督来源。这篇文章证明了简单的预训练任务，即预测哪个标题与哪个图像相匹配，是在从互联网收集的4亿(图像，文本)对数据集上从头学习SOTA图像表示的有效...

Posted by ShawnD on June 2, 2022

【深度学习】Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

Abstract 最先进的物体检测网络依赖于区域提议算法来假设物体的位置。 SPPnet[1]和Fast R-CNN[2]等技术的进步减少了这些检测网络的运行时间，暴露出区域提议的计算成为瓶颈。在这项工作中，引入了一个区域提议网络(RPN)，它与检测网络共享全图像卷积特征，从而实现了几乎 cost-free 的区域提议。 RPN是一个全卷积的网络，它可以同时预测每个位置的目标边界和 ...

Posted by ShawnD on May 28, 2022

【深度学习】DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection

Abstract 大规模公共数据集的免费访问，以及深度学习技术的快速发展，特别是生成对抗网络，生成非常逼真的假内容及其对社会的影响，导致了这个假新闻时代。这篇文章提供了包括 DeepFake方法和检测这个操作的方法的技术回顾： 1) entire face synthesis 2) identity swap 3) attribute manipulation 4) expre...

Posted by ShawnD on May 23, 2022

【深度学习】Spektral Data modes

Data modes 当样本具有不同形状时，创建 mini-batches 可能很棘手。在传统的神经网络中，我们习惯于拉伸、裁剪或填充数据，以便所有输入到模型的数据都是标准化的。例如，可以修改不同大小的图像，使其适合于形状 [batch，width，height，channel] 张量。序列可以填充，以便他们有形状 [batch，time，channels]。等等… 对于图，情况就有...

Posted by ShawnD on May 16, 2022

【深度学习】Spektral Creating a dataset

Creating a Custom Dataset Dataset 类是 Spektral 1.0的一个新特性，它标准化了 Spektral 中图数据集的表示方式。在本教程中，我们将通过一个简单的例子来创建一个自定义数据集。如果你想公开分享你的数据集或将它们包含在Spektral中，这也很有用。 Essential information 您可以通过继承 spektral.da...

Posted by ShawnD on May 16, 2022

【深度学习】Spektral

Getting started Spektral 是根据 Keras 的指导原则设计的，对初学者来说非常简单，同时对专家来说保持灵活性。在本教程中，我们将介绍spectral的主要函数，同时创建一个用于图分类的图神经网络。 Graphs 图是表示实体之间关系的数学对象。我们称实体为“节点”，称关系为“边”。节点和边都可以有向量特征。在Spektral中，图形用Spektra...

Posted by ShawnD on May 15, 2022