关键词:
跨模态检索
在线哈希学习
语义增强
一致性保持
关联挖掘
摘要:
随着多媒体技术、智能设备及社交媒体的飞速发展,海量的多媒体数据在互联网中不断生成和积累。针对这些海量大数据,如何高效地检索出所需信息成为当前研究热点。跨模态哈希学习作为一种高效的近似最近邻检索方案,因其出色的存储和检索效率而受到广泛关注。该方案能够实现不同模态数据间的快速检索,现已在静态封闭环境下取得较为优越的检索性能。然而,随着跨模态检索扩展至开放动态场景,传统的基于批处理模式的跨模态哈希学习方法难以适应动态流式数据的实时检索需求。因此,在线跨模态哈希方法应运而生,其旨在为持续增长的流数据在线生成哈希码,并实时更新哈希函数以适应数据的动态变化。尽管现有的在线跨模态哈希方法已取得了一定的进展,但仍面临诸多挑战:1)如何习得更具语义区分度的监督信息,以指导哈希码的生成与更新,从而缓解语义挖掘不充分的问题;2)如何校正训练过程和检索过程之间的不一致性,进而协调两者,以提升模型的泛化性能;3)如何挖掘新旧数据块间的样本关联,以平衡累积知识的遗忘与新增数据的适应性更新;4)如何有效处理流数据类别分布变化导致的离群样本敏感问题,以提高模型更新过程的鲁棒性。
本文围绕大规模流数据场景下的在线跨模态哈希学习展开深入研究,针对上述关键问题,从监督和无监督两种学习范式出发,系统地设计了五种在线跨模态哈希方法。其主要研究内容如下:
(1)针对现有方法标签类间关联不明确,以及多模态协同训练和跨模态独立检索过程不协调的问题,提出一种基于双一致性保持的在线跨模态哈希学习方法。一方面,该方法引入特征与标签的互补学习,生成连续语义标签和细粒度相似性图,更好地挖掘样本类内、类间关系,从而实现多模态流数据的语义一致性保持;另一方面,该方法设计模态级的偏移校正机制来弥合跨模态独立检索时的模态缺失问题,实现多模态协同训练和跨模态独立检索之间的一致性。
(2)针对现有方法语义可区分性不足,以及细粒度哈希码训练和粗粒度相似检索过程不协调的问题,提出一种基于判别性增强的在线跨模态哈希学习方法。该方法利用哈达玛矩阵来增强原始标签的判别性,并通过整合多重约束条件和关联关系,将基于哈达玛矩阵的辨别性语义信息嵌入到公共海明空间中。此外,该方法提出在训练过程中学习自适应比特权重,并将其传递到检索过程中,从而弥合细粒度训练和粗粒度检索之间的鸿沟,提升哈希码的可区分性和判别性。
(3)针对流数据语义偏移导致的累积知识记忆不长久的问题,提出一种基于原型生成更新的在线跨模态哈希学习方法。该方法首先通过抽取模态特异属性和模态共享属性来学习语义保持的公共表示。随后,基于所学的公共表示设计加权原型生成更新策略,结合阈值决策与选择性重聚类,高效识别并保存累计数据中的关键信息,从而有效地缓解了流数据在线训练中的遗忘问题。此外,该方法还设计了基于原型的语义嵌入和非对称相似保持来促进哈希学习过程,提高哈希码的全局适应性。
(4)针对新增数据与累积数据间关联挖掘不充分问题,提出一种基于层次矩阵分解的在线跨模态哈希学习方法。该方法对数据特征进行针对性的分解和重构,通过整合多重约束和学习策略来构造鲁棒正交基、多模态特定表示和统一公共表示,从而有效且高效地构建多模态流数据样本之间的关联关系,平衡对累积数据的记忆和对新新增数据的适应。此外,该方法还提出样本级校正机制,通过设计语义自编码器来构建样本特征和哈希码之间的关联关系,从而提高训练过程和检索过程之间的协调性,优化模型的泛化性能。
(5)针对新增数据块规模较小,类别分布变化导致的模型更新过程不鲁棒,提出一种基于双重结构保持的在线跨模态哈希学习方法。一方面,该方法利用结构化稀疏缓解模型对离群样本的敏感性,实现对全局结构的保持;另一方面,该方法利用多模态融合的邻域样本进行样本重构,使得所学公共表示更好地表征多模态信息,实现对邻域结构的保持。此外,为了缓解对累积数据的遗忘问题,该方法提出在新旧数据上联合优化,并设计相应的更新策略提高算法的训练效率,实现高效的在线检索。