关键词:
高光谱图像分类
自监督
对比学习
变分生成式
表征学习
3D随机掩码
摘要:
高光谱成像结合了光谱探测与成像技术,为精细目标识别提供了丰富依据,得到精准农业、军事情报、环境监测、智慧矿山等领域广泛重视。然而,高光谱数据的非线性特性极大制约了其在现实场景中的应用与推广。深度网络模型在高维非线性拟合方便表现突出,但其模型优化极大依赖海量标签数据,这在高光谱遥感图像目标识别任务中极度欠缺。因此,自监督学习成为了具有潜力的数据表征方法,其总体被分为生成式与判别式两类。本文围绕高光谱图像特性与挑战,针对自监督学习方法的优势与不足,提出两种高光谱图像自监督表征学习方法,学习具有类内多样性与类间可分性数据表征,提升模型的感知泛化性与分类精度,主要研究内容概括如下:
1)高分辨光谱包含大量潜在信息难以挖掘利用,同时类间可分性极差,这为判别性且泛化性数据表征提出极大挑战。掩码自编码(MAE)通过像素级解码自监督,可有效捕捉数据潜在分布,但基于单个实例的MAE使得编码器缺乏判别性数据表征能力。对比学习通过在实例间对齐正样本、推开负样本,学习判别性数据表征,但容易忽略数据的潜在流形。因此,本文提出了一种结合对比学习的变分生成式Transformer(Con Va T)框架,高效结合生成式与对比式自监督模型优势,使编码器同时兼顾语义表征泛化性和判别性。Con Va T由变分生成式分支(VGT)和对比学习分支(MCL)组成,VGT在编-解码Transformer之间引入变分推理,引导在线锚点尽可能覆盖数据潜在信息;MCL从在线编码器动量更新目标编码器,通过区分正负样例引导锚点具有可判别性。值得注意的是,为了促进潜在表征信息全覆盖,本文利用重参数化技巧从全局锚点进行词元采样,而非直接使用编码词元重建输入样本。大量实验表明,Con Va T在类内聚集和类间可分性数据表征方面更具优越性,并且相比现有方法取得更高的线性分类精度,特别是对于具有严重光谱不确定性的Indian pines数据集。
2)对比学习方法通常由双分支编码器构建代理任务进行自监督学习,在线编码器负责获取数据表征,目标编码器通过动量更新迁移在线分支参数,并以此产生潜在表征作为在线分支的预测目标。为了提升编码器的感知能力,通常利用数据增强增加任务难度。高光谱数据空谱信息冗余度高,通用的数据增强方法很难避免双分支之间的数据泄露,降低代理任务难度。因此,本文提出了一种简单高效的3D掩码数据增强方法用于高光谱图像对比自监督学习(M-BYOL)。该方法通过空谱域同步三维随机掩码,增加双分支输入样本之间的差异性,再通过编码器提取样本高阶语义信息,并在在线分支增加预测层。最后,自监督目标期望对齐预测结果与下分支编码结果,同时最大化其与批次内其他样本编码负例距离,避免模型坍塌。本文利用SVM分类器测试利用M-BYOL预训练在线编码器获取的数据表征。实验表明,在公开的三个数据集上,M-BYOL能够有效地提取高光谱图像的判别性表征,并在分类精度上取得一定优势。
综上所述,面对高光谱遥感图像的高维非线性、高度信息冗余等特性,本文从生成式与对比式自监督学习方法优势互补融合,以及适用于高光谱图像的数据增强等方面展开研究,旨在提出适用于高光谱数据潜在信息感知的自监督学习方法,助力高光谱成像技术的市场应用与推广。