关键词:
无监督学习
自监督学习
弱监督学习
深度聚类
深度学习
小样本学习
显著目标检测
视频异常检测
摘要:
近年来,基于深度学习的方法在计算机视觉中取得了突破性的进展,其成功的关键之一是训练数据具有完全监督的标签信息。全监督标签的获取将耗费大量的人力和物力,成为了阻碍计算机视觉发展的重要因素。在现实世界中,非常容易获取大量的无标签或弱标签等标签受限的数据。随着研究的深入,如何有效利用这些标签受限的数据成为当前研究的热点。由于这些数据不具有完全的监督信息,在标签受限的情况下训练深度学习方法并取得与完全监督方法相当的性能是目前研究的难点,需要进行更加深入的研究和探索。本文旨在面向计算机视觉中的基础视觉任务,在标签受限的情况下,研究如何利用现有的大量无标签或弱标签的数据,致力于缩小标签受限方法与完全监督方法之间的性能差距。本文的主要研究内容和贡献有:
(1)针对大量无标签的图像数据进行无监督表征学习的任务,受自组织映射网络的启发,本文提出了一种自监督自组织聚类网络来学习图像的视觉表征。该网络以自组织层的权重为聚类中心,通过本文提出的自组织聚类头快速地计算出特征和聚类中心的相似性,并将该相似性转化为自监督伪标签,进而实现特征提取和特征聚类的联合优化,从而学习到更好的表征。值得一提的是,由于在该方法中对自组织层的优化是一个聚类的过程,因此不存在显式计算聚类中心的步骤,从而在获取伪标签的过程中不需要提取或存储所有图像的特征,简化了深度聚类方法的处理步骤和计算量。
(2)针对小样本图像分类中需要大量带标签的基类图像的问题,本文提出了一种从未标注的基类图像中构建任务的小样本图像分类方法。为了有效利用未标记的图像构建任务,提出了一种将图像特征学习到指定聚类空间中的深度聚类模型。该模型首先通过固定聚类中心来设置一个可分离的聚类空间,然后利用一个深度网络提取图像特征,最后通过设计的聚类头将图像特征学习到该聚类空间中。在聚类中,为了成功构建任务,提出了一种图像采样和任务构建策略,并通过设计的小样本学习头来实现小样本图像分类。最终,通过共享主干网络以多任务学习的形式实现对聚类头和小样本学习头的联合优化。在一系列数据集上的实验结果和可视化表明,该方法具有较强的从基类泛化到新类的能力。
(3)针对大量无标签的图像数据进行自监督表征学习的任务,本文基于信息熵理论提出了一种简单而有效的基于孪生架构的自监督表征学习方法。从减少信息熵的角度来看,该方法以最小熵为目标,即以投影器的输出向量向其最近的最小熵靠近作为优化目标。该方法的核心内容包括沿批次维度进行归一化以避免模型崩溃、计算最近的最小熵以获得优化目标以及计算对称损失并反向传播以优化网络等三个重要步骤。在一系列公开数据集上的实验结果表明,在不需要负样本对、预测器、动量编码器和互相关矩阵等技术的情况下,该方法可以学习到有效的表征,并以更低的复杂度取得了更好的结果。
(4)针对显著目标检测任务中存在获取像素级标注代价高的问题,本文提出了一种基于学习显著特征的无监督显著目标检测方法,突破了现有方法需要额外模型来引入显著性信息的瓶颈。该方法通过无监督的方式将图像特征分为属于显著目标的显著特征和不属于显著目标的非显著特征,并以增强显著特征和抑制非显著特征为优化函数,从数据本身中学习显著特征来实现无监督显著目标检测。在该方法中,为了获得初始显著激活图,提出了一个显著目标定位模块来粗略定位显著特征所在的目标。由于初始显著激活图中的目标通常不完整并且包含了大量的噪声,设计了一种显著图更新策略来逐渐去除噪声并增强边界。实验结果和显著激活图表明,该方法能够有效地学习到显著视觉对象并成功预测像素级的显著图,缩小了无监督方法和有监督方法之间的性能差距。
(5)针对视频中运动信息稀疏表征的任务,本文提出了一种基于线流的无监督视频运动信息稀疏表征框架,并以无监督异常检测为基准任务设计了一种将该稀疏表征与深度学习进行有机结合的方案。在该稀疏表征框架中,以稀疏的素描线为基本单位,将视频中的运动信息转化为获取运动素描线的求解问题,并基于相邻时间一致性和局部空间一致性,提出了具有稀疏表征特性的线流来建模视频中的运动信息。为了验证线流的有效性,首先分别通过图神经网络和卷积神经网络来提取代表运动信息的线流特征和代表表观信息的图像特征,然后根据线流所在的位置将这两种特征进行融合来丰富视频的特征。在无监督视频异常检测上的可视化和实验表明,线流能够实现对视频中运动信息的稀疏表征,并且在基准方法上添加线流可以进一步地提高异常事件的检测精度。
(6)针对视频异常检测任务中较难获取帧级标注数据的问题,本文提出了一种以视频级标注为监督信号的弱监督视频异常检测方法。该方法利用视频中异常事件的连续性,以连续的多个视频片段作为优化单元,设计了一种基于Transformer的多序列学习网络,并构造了一个基于铰链的多序列学习排序损失函数,减少了基于多示例学习的方法中选