Abstract

轻型超分辨率(SR)模型因其在移动设备中的 serviceability 而受到相当多的关注。

许多工作采用网络量化来压缩SR模型。

然而，当使用低成本的 layer-wise 量化器将SR模型量化到超低精度(例如，2位和3位)时，这些方法的性能会严重下降。

这篇文章确定性能下降是由于 layer-wise 对称量化器和高度不对称激活分布之间的矛盾。

这种差异要么导致量化水平上的浪费，要么导致重建图像的细节丢失。

因此，作者提出了一种新的激活量化器，称为 Dynamic Dual Trainable Bounds(DDTB)，以适应不对称性的激活。

DDTB 的创新点在：

为了减少额外的开销，将动态门控制器量化为2位，并根据引入的 dynamic indensity 只应用于部分SR网络。

大量实验表明，DDTB在超低精度下表现出显著的性能提升。

Conclusion

这篇文章提出了一种新的量化方法——Dynamic Dual Trainable Bound(DDTB)来求解基于 DCNN 的SR模型中的不对称激活分布。

DDTB引入了可训练的上界和下界，并在其上应用了一个动态门控制器，以适应运行时的输入样本。

该门以 2-bit 格式表示，并且仅应用于网络的一部分，以最小化额外开销。

此外，作者还设计了一个用于稳定训练的特殊的DDTB initializer。

DDTB在许多基准测试中显示了其优于许多具有不同量化SR模型的竞争对手，特别是在执行超低精度量化时。