MrD's Blog

我干了什么究竟拿了时间换了什么

【深度学习】Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution Networks

Abstract 轻型超分辨率(SR)模型因其在移动设备中的 serviceability 而受到相当多的关注。许多工作采用网络量化来压缩SR模型。然而，当使用低成本的 layer-wise 量化器将SR模型量化到超低精度(例如，2位和3位)时，这些方法的性能会严重下降。这篇文章确定性能下降是由于 layer-wise 对称量化器和高度不对称激活分布之间的矛盾。这种差异要么...

Posted by ShawnD on August 17, 2022

【深度学习】CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution

Abstract 尽管卷积神经网络(convolutional neural networks, CNNs)在图像超分辨率(SR)方面取得了突破性的进展，但由于卷积神经网络的计算复杂度较高，尚未得到广泛的应用。量化是解决这一问题的有效方法之一。然而，现有的方法无法对 bit-width 低于8位的SR模型进行量化，由于到处都是固定 bit-width 量化，导致精度损失严重。提...

Posted by ShawnD on August 17, 2022

【深度学习】TLC：Improving Image Restoration by Revisiting Global Information Aggregation

Abstract 全局操作，如全局平均池，被广泛用于顶级性能的图像恢复。它们通过输入特征沿着整个空间维度聚合全局信息，但在图像恢复任务的训练和推理过程中表现不同:它们基于不同的区域，即裁剪的patch(来自图像)和全分辨率图像。本文回顾了全局信息聚合，发现推理过程中基于图像的特征分布与训练过程中基于patch的特征分布不同。这种训练-测试的不一致性会对模型的性能产生负面影响，这...

Posted by ShawnD on August 16, 2022

【深度学习】Parameters 和 FLOPs 的计算

假设输入的维度为 $C_{in}$，输出维度为 $C_{out}$，不考虑bias。全连接层参数量： \[\text{Params} = C_{in} \times C_{out}\] FLOPs：多个输入神经元对应单个输出神经元进行乘法的次数为 $C_{in}$，进行加法的次数为 $C_{in} - 1$ \[\text{FLOPs} = (C_{in} + (C_{...

Posted by ShawnD on August 16, 2022

【深度学习】GST：Modeling Mask Uncertainty in Hyperspectral Image Reconstruction

Abstract 近年来，高光谱成像(HSI)引起了越来越多的研究关注，特别是基于编码孔径快照光谱成像(CASSI)系统的高光谱成像。现有的深度HSI重构模型通常是在成对数据的基础上进行训练，以在CASSI中特定的光学硬件 mask 给出的二维压缩 measurements 上检索原始信号，在此期间 mask 在很大程度上影响重构性能，并可以作为控制数据增强的 “model hyper...

Posted by ShawnD on August 16, 2022

【深度学习】Optimizers 推导和总结

Gradient Descent(GD) 设 $x = [x_1, x_2, …, x_d]^\top$ ，目标函数为 $f: \mathbb{R}^d \rightarrow \mathbb{R}$ 将向量映射为标量。对应的梯度也是多变量，其是由 $d$ 个偏导组成的向量： \(\nabla f(x) = [\frac{\partial f(x)}{\partial x_1}, \f...

Posted by ShawnD on August 13, 2022

【深度学习】RAM-DSIR：Generalizable Medical Image Segmentation via Random Amplitude Mixup and Domain-Specific Image Restoration

Abstract 在医学图像分析中，由于不同的数据获取策略之间存在差异，以一个或多个域为训练对象的分割模型缺乏对不可见域的泛化能力。作者认为分割性能的退化主要归因于对源域的过拟合和域漂移。为此，作者提出了一种新的可泛化的医学图像分割方法。具体地说，作者通过将分割模型与自监督领域特定图像恢复(DSIR)模块相结合来实现模型正则化，将该方法设计为多任务范式。作者还设计了一个(r...

Posted by ShawnD on August 10, 2022

【深度学习】ECCV 2022 low-level CV 论文汇总

CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution https://arxiv.org/pdf/2207.10345.pdf Improving Image Restoration by Revisiting Global Information Aggregation https://arxiv.o...

Posted by ShawnD on August 10, 2022

【深度学习】GAP-TV：GENERALIZED ALTERNATING PROJECTION BASED TOTAL VARIATION MINIMIZATION FOR COMPRESSIVE SENSING

Abstract 这篇文章考虑压缩感知的 total variation(TV)最小化问题，并采用 generalized alternating projection(GAP)算法进行求解。大量的结果表明，提出的算法在压缩感知方面的高性能，包括二维图像、高光谱图像和视频。在CACTI和CASSI框架下，作者进一步推导了基于TV最小化的Alternating Direction M...

Posted by ShawnD on August 8, 2022

【深度学习】Deformable DETR：Deformable Transformers for End-to-End Object Detection

Abstract 最近提出的目标检测剔除了许多手工设计的组件，同时展示了良好的性能。然而，由于Transformer注意模块在处理图像特征映射时的局限性，导致其收敛速度慢，特征空间分辨率有限。为了缓解这些问题，这篇文章提出了 Deformable DETR，其注意力模块只关注参考点周围的一小组关键采样点。 Deformable DETR 比 DETR(特别是在小物体上)可以在少1...

Posted by ShawnD on August 8, 2022