Abstract

近期，基础模型由于其在自监督方式下革新视觉表示学习领域的潜力而受到了显著关注。

尽管大多数基础模型都被定制为有效处理RGB图像以完成各种视觉任务，但在针对光谱数据的研究中仍存在显著的空白。

光谱数据为场景理解提供了宝贵信息，尤其是在遥感（RS）应用中。

为了填补这一空缺，我们首次创建了一个通用的遥感基础模型，名为SpectralGPT，它专门用于处理光谱遥感图像，使用了一种新颖的3D生成预训练 Transformer（GPT）。

与现有的基础模型相比，SpectralGPT具有以下特点：

1）能够处理不同大小、分辨率、时间序列和区域的输入图像，以渐进式训练方式，充分利用大量的遥感大数据；

2）利用3D令牌生成进行空间-光谱耦合；

3）通过多目标重构捕捉光谱顺序模式；

4）在一百万张光谱遥感图像上进行训练，生成拥有超过6亿参数的模型。

我们的评估突显了使用预训练的SpectralGPT模型在性能上的显著提升，标志着在地球科学领域内推进光谱遥感大数据应用的巨大潜力，特别是在以下四个下游任务中：单/多标签场景分类、语义分割和变化检测。

【arXiv 2023】SpectralGPT：Spectral Foundation Model