关键词： 机器学习   离线强化学习   生成扩散技术   强化学习安全  

摘要： 强化学习是一种基于试错的机器学习范式,近年来在解决复杂决策问题方面取得了快速进展,例如游戏、机器人控制和动画生成等领域强化学习算法不断涌现,其发展前景愈发广阔。但如何在自动驾驶、医疗决策、机器人等探索交互成本较高的真实环境下,实现环境探索与数据利用的平衡以及策略的安全性保障仍然存在一定的挑战。 离线强化学习依赖预先收集的静态数据集训练智能体,而无需与环境进行交互。通过充分利用离线静态数据,离线强化学习可以降低交互开销,避免不必要的环境风险,在安全性、效率性和数据重用等方面具有明显的优势。但离线强化学习在训练数据的质量和覆盖度方面存在高度依赖,数据和策略分布的偏移会导致其泛化性能较差,而缺乏与环境的交互探索能力则容易使系统陷入局部最优解。此外,离线数据的使用也使得准确估计奖励或价值函数变得困难。针对分布偏移和外推误差问题这一离线强化学习的核心挑战,目前的研究工作主要通过对分布外样本的价值预测进行惩罚,或者限制学习策略接近数据收集策略来缓解这些问题。然而,对策略价值函数施加的惩罚可能导致决策过于保守,从而引起策略优化的不稳定性和性能的下降。针对上述挑战,本文从生成扩散模型的角度对离线强化问题进行了深入研究,通过将决策任务构建为序列建模任务,提出了一种更加直接、有效的强化学习范式;同时提出了一套针对离线强化学习对抗扰动的自适应鲁棒提升框架,能够更好的保护离线强化学习的安全,具体而言: (1)针对离线强化学习中现有分布偏移及外推误差等性能问题,本文将离线强化学习视为在状态-行为空间中进行有指导性的概率采样过程,提出一种更加简洁有效的离线强化学习方案(Pois DD),该方案首先训练基于泊松流的轨迹扩散模型,生成决策轨迹,然后通过奖励函数引导的迭代去噪过程来生成最佳轨迹,从而完成决策任务。本文使用D4rl基准数据集,在Mu Jo Co以及Adroit环境上开展实验,结果表明,Pois DD优于其他强大的离线强化学习基线,尤其在复杂环境和稀疏奖励场景下,能够依托其长视野建模能力,完成其他模型未完成的决策任务,展示了条件生成模型出色的决策能力,有效的缓解了离线强化学习分布偏移这一核心问题。 (2)针对现有的离线强化学习数据中毒,对抗扰动等安全问题,提出了一套基于扩散模型的数据净化防御框架(DDPU),该防御框架在决策的前半段过程中,通过扩散模型的前向加噪过程将对抗样本和正常样本映射到高斯分布,在去噪过程中净化分布,从而创建与特定任务目标一致的干净轨迹。之后将干净轨迹合并到数据池中一同训练决策模型,从而达到鲁棒性保护的目的。DDPU自适应净化框架,能够在有效防御对抗扰动的同时能够最大限度的保证模型的性能不受损害,大大提升了离线强化学习的鲁棒性。

关键词： 图神经网络   图数据挖掘   数据插补   生成对抗网络  

摘要： 图神经网络是一类专门用于处理图数据的神经网络,因其在各种图相关任务中取得的优异性能,引起了学术界与工业界的广泛关注。相较于输入为欧式数据的传统神经网络,图神经网络可有效地捕捉和利用图数据中节点信息与拓扑结构信息。图神经网络已被广泛应用于各类复杂的实际场景中,例如,社交推荐系统、药物研发以及智能交通等领域。图神经网络的运行依赖于输入数据的完整性,从数据构成的角度出发可细分为节点属性完整性以及拓扑结构完整性。本文关注于研究更具挑战性的节点属性不完整性对图神经网络的负面影响,其中节点属性不完整性源自于隐私保护等现实因素。由于图数据固有的不规则性与连接性,面向传统数据的数据插补方法不再适用于图数据。因此,本文旨在解决面向节点属性不完整性导致的属性缺失图上的图神经网络的学习问题。 为了解决上述问题,本文将探索新的图神经网络学习方法,旨在赋予图神经网络在属性缺失图上正常运行的能力。首先对现有工作的局限性进行分析,发现大部分工作都是直接尝试在节点属性空间中恢复缺失的节点属性,因此具有计算复杂性高、运行时间长等局限性。本文主要研究工作的核心思想是在更低维度的节点表示空间中挖掘并补偿缺失的信息,可解决现有工作的局限性。具体来说,主要研究工作包含以下两个方面:(1)基于信息补全的图神经网络学习方法,其中信息补全用于补偿由于属性缺失而导致的在节点表示中可能缺失的信息;(2)基于信息调制的图神经网络学习方法,其中信息调制由信息补全与信息抑制两个操作构成,信息抑制用于抑制由错误传播而引起的噪声信息。具体研究内容如下: (1)提出了一种基于信息补全的图神经网络学习方法GNN-FIC,用于在节点表示空间中补全缺失的节点属性信息。具体来说,GNN-FIC通过引入信息生成器用于模拟在节点表示中缺失的属性信息,然后利用预测的属性信息补全无属性节点的节点表示。为了引导信息生成器生成高质量的缺失信息,GNN-FIC还额外设计了两种对齐机制和一种关系约束机制。在四个基准数据集上的大量实验表明本文提出GNN-FIC相较于基线模型,取得更先进的节点分类性能。 (2)提出了一种基于信息调制的图神经网络学习方法GNN-FIM,用于在节点表示空间中调制缺失的节点属性信息。其核心操作信息调制包含信息补全与信息抑制两种具体的操作,并移除了生成对抗网络的设计。具体来说,信息调制操作依赖于两种独立的信息模拟器去模拟待补全以及待抑制的信息。受益于信息调制以及轻量化的设计,GNN-FIM在性能以及运行时间两个方面上都取得了令人满意的提升。在四个基准数据集上进行的大量实验表明GCN-FIM明显优于GCN-FIC以及其他的基线模型。

关键词： 类增量学习   不确定性估计   计算机视觉   图像分类  

摘要： 增量学习是指在现有知识的基础上,通过学习新的任务和数据,不断更新和优化旧模型的过程。本文主要聚焦类增量学习当前存在的问题和挑战。为了解决上述问题,本文首先提出了一种基于不确定性校正的类增量学习方法。该方法首先针对新任务分类器对旧数据过分自信地情况进行约束,缓解可能出现的过拟合问题。其次,本文还提出了一种基于证据理论的类增量学习方法,该方法对新旧模型的输出的不确定性估计进行知识蒸馏,以充分利用旧模型输出的分布信息提升模型的增量学习能力。具体来说,本文的主要内容如下: 在类增量学习的设置下,新任务分类器对大量的旧样本错误地输出了一个较小的不确定性;较小的不确定性估计意味着分类器对其预测结果非常确定,这导致模型错误地将旧样本识别为新任务数据。为了解决这一问题,本文提出了一种基于不确定性校正的类增量学习方法。对新任务分类器将旧数据错误的输出较高的不确定性估计的情况进行校正,以此来减轻新任务分类器对旧数据过分自信的情况。 目前,现有基于知识蒸馏的类增量学习方法未充分利用旧任务模型输出的分布信息,特别是预测的不确定性估计。因此,本文还提出了一个基于证据理论的知识蒸馏算法。通过对分类器输出的不确定性估计进行知识蒸馏,使得新任务模型能够充分利用旧任务模型输出的分布信息。同时,在模型的分类阶段,同时考虑分类器输出的概率和不确定性,以减少模型错误地将旧样本分类为新任务的情况。

关键词： 图神经网络   超图神经网络   图表示学习   非欧几里德数据   功率分配  

摘要： 当今时代是一个数据爆炸增长的时代。承载信息的数据呈现来源多样化和结构复杂化的趋势,特别是通信网络、社交网络、生物网络和交通网络等实际场景中具有复杂拓扑结构和丰富语义信息的数据日益增多。学术界通常将这类不符合欧几里德空间定义而用网络拓扑表示结构关系的数据称为非欧几里德数据,主要包括图、超图和动态图等多种类型。非欧几里德数据与传统的音频、图像、视频等序列化或网格状规则排列的数据不同,具有非规则化排列(图)、多元连接(超图)和动态变化(动态图)等特点。图表示学习方法能够高效地学习非欧式数据中复杂的拓扑关系和丰富的语义信息,是挖掘这些关系背后隐藏信息的重要手段。本文重点研究了图表示学习方法存在的一系列理论和方法问题,并将其推广应用到实际场景中,具体的研究工作如下: 1.针对非规则排列场景下图表示学习方法收敛速度慢和收敛震荡等问题,本文提出了一种基于近似分数阶梯度下降的正则化图神经网络。该网络通过设计分数阶梯度的近似计算策略,将反向传播过程中的分数阶链式法则计算近似为多个梯度的乘积运算,降低了分数阶梯度的计算复杂度;通过正则化图神经网络学习参数,限制模型的参数量,保证了神经网络收敛的稳定性。引文网络和社区网络数据集的实验表明,分数阶图神经网络实现了比其它图嵌入方法和一阶图神经网络更优的分类性能和更快的收敛速度。 2.针对多元连接和多模态场景下图表示学习方法过平滑和过拟合等问题,本文提出了一种基于参数滤波和特征采样的多模态超图神经网络。该网络通过设计参数化滤波器,提取图谱域不同频率成分的超图信号,保持节点特征的可区分性,从而缓解过平滑问题;通过随机特征重采样,拓展原本有限的训练样本空间,实现多个概率矩阵联合预测,从而避免过拟合问题;通过引入单超图模型,合并属于不同模态的超边与节点特征,实现多模态超图数据表示学习。超图和多模态数据集的实验表明,多模态超图神经网络实现了比经典的超图学习和多模态学习的基线模型更优的识别性能,有效地避免了过平滑和过拟合问题。 3.针对动态场景下图数据表示学习方法网络参数和节点特征之间动态关联问题,本文提出了一种离散动态的图神经网络。该网络通过设计门限递归神经网络层,编码每个时刻图神经网络层的权重参数,确保图神经网络参数在时间上的关联性;通过设计长短时记忆神经网络层,处理经由图神经网络嵌入节点的时序特征,确保所嵌入的节点特征在时间上的关联性。动态边预测、边分类和节点分类数据集的实验表明,离散动态图神经网络实现了比动态图表示学习的基线模型更优的识别性能和良好的泛化能力。 4.无线通信场景涵盖了上述三种复杂结构场景的特点——非规则、多元连接和动态性等。针对无线场景中功率分配优化的典型问题,本文开展图表示学习方法的应用研究。首先,该方法利用动态图模型对成对通信网络系统中收发机之间非规则的连接关系进行建模,捕捉不同收发机数目下的动态拓扑结构,实现通信系统的实时决策和资源分配。其次,利用动态超图模型对一对多通信网络系统中基站与多用户之间高阶隐式的多元关系进行建模,捕捉不同基站和用户设备数目下动态的拓扑结构,实现通信系统的实时决策和资源分配。最后,设计联合训练损失函数,使得模型适用于时变的信道状态信息和动态的拓扑结构,确保良好的泛化和迁移学习能力。基于三种典型无线通信信道模型——高斯信道模型、自组织网络模型和蜂窝网络模型的仿真实验表明:对于高斯信道模型和自组织网络模型,图神经网络比其它功率分配方案有更高的和速率和更快的推理速度;对于蜂窝网络模型,超图神经网络取得了优异的数据速率和更快的推理速度。这为图表示学习方法在实际通信场景中的应用提供了实践验证和示范。

摘要： 摘要 目的 旨在开发并验证一种机器学习(ML)模型，用于基于非增强心血管MR(CMR)成像鉴别缺血性心肌病(ICM)与非缺血性心肌病(NICM)。方法 回顾性分析107例连续就

关键词： 深度学习   BiLSTM神经网络   注意力机制   离散余弦变换   PM2.5  

摘要： 严重的空气污染不仅会对天气和气候造成影响,导致更多的极端天气事件,还会对人类健康构成严重威胁。PM2.5是空气污染中对人体危害最严重的污染物之一,长期暴露于高浓度的PM2.5环境中可能会导致气道炎症、肺部感染和气道阻塞等问题。准确的PM2.5浓度预测对于提前预警、科学规划、保障公众健康、优化资源配置和降低经济损失等方面都具有重要意义。 近年来,基于深度学习的PM2.5浓度预测方法备受关注,取得了显著进展。然而,目前仍然存在一些挑战,特别是对于多变量PM2.5浓度序列时间特征和空间特征提取,以及频率域信息提取的问题,现有的模型仍存在局限性。因此,本文分别针对这两个方面的问题,提出两个模型以增强PM2.5浓度预测的准确性和可靠性。主要研究工作如下: (1)提出了基于注意力机制和卷积双向长短期记忆神经(Bi-directional Long Short-Term Memory,Bi LSTM)网络的PM2.5浓度预测模型。只从多变量PM2.5浓度序列中提取时间或空间相关性,将时间相关性和空间相关性分开处理,会忽略两者之间可能存在的联系,影响模型的预测效果。受到卷积神经网络(Convolutional Neural Network,CNN)和注意力机制的启发,本文提出了Conv-attention-Bi LSTM-attention模型。该模型利用卷积层提取多变量PM2.5浓度序列的空间特征,使用Bi LSTM模型提取多变量PM2.5浓度序列的时间特征,并通过注意力机制提取序列中的关键信息。在多变量模型的输入特征选择阶段,通过实验,选择了将本站点的PM2.5浓度和其他11个站点的PM2.5浓度作为多变量模型的输入。通过与其他模型比较,验证了该模型的有效性和优越性。此外,Conv-attentionBi LSTM-attention模型能够很好地预测出新冠疫情期间的PM2.5浓度变化。 (2)提出了基于时频域信息与Bi LSTM网络的PM2.5浓度预测模型。PM2.5浓度序列具有丰富的频率域信息,然而目前的PM2.5浓度预测模型往往未能有效地捕捉这些频率域信息。因此,本文提出了TF-Bi LSTM-attention模型,它通过离散余弦变换提取频率域信息,然后将时间域信息和频率域信息联合起来,使得模型能够更好地捕捉频率域特征。同时,引入的注意力机制有助于Bi LSTM模型有效排除不相关信息。通过对比实验,验证了该模型能有效捕捉影响空气质量的复杂关系,可以实现更准确的PM2.5浓度预测。此外,对TFBi LSTM-attention模型在新冠疫情期间的PM2.5浓度预测能力进行实验分析,验证了TFBi LSTM-attention模型能够准确地预测新冠疫情期间的PM2.5浓度。

关键词： 伪造音频检测   连续学习   自适应权重修正  

摘要： 在现代生活中,智能语音技术已成为不可或缺的一部分。从语音导航到智能家居设备,再到自动客户服务,这些技术大大提升了我们的生活便利性。尽管合成语音技术能够逼真地模仿人声,但其滥用可能导致政治、经济和社会稳定的广泛问题,如诋毁名人、损害商业信誉、破坏金融市场稳定,甚至导致个人财产损失。因此,开发准确识别伪造音频的技术已成为迫切的研究任务。面对不断变化的语音生成技术和多样化的数据,现有检测模型难以有效识别新型语音或适应不同数据集的特征,提高这些模型的泛化能力成为一大挑战。本文提出了一种基于连续学习的策略,设计了一套增量学习算法,旨在使检测模型不断适应和学习新语音特征,与语音生成技术同步发展,实现对新型伪造音频的高效识别。本文的创新点体现在以下两个方面: (1)提出针对伪造音频检测的连续学习方法:鉴于正则化连续学习方法无需引入旧任务数据,具备较高的应用价值,我们提出了正则化自适应权重修改(RAWM)策略。RAWM通过动态调整权重更新方向,根据真实和伪造音频的比例进行自适应修正,有效减少灾难性遗忘,并在多个数据集上实现了优异的检测性能。进一步,我们提出了弧度自适应权重修正(RWM)技术,优化了不同批次的权重更新策略,将其扩展到多分类问题,提高了模型的应用范围和鲁棒性。实验验证了RWM在伪造音频检测任务中的优越性,展示了其在多任务中的广泛适用性。 (2)优化多任务多数据集连续学习过程所需资源:针对模型在跨数据集和任务连续学习时的高资源需求,本研究提出了低秩连续学习方法,用于伪造音频检测。该方法通过低秩适应性矩阵训练,减少了训练资源需求,同时提高了对新型伪造音频的识别精度。此方法显著减少了存储空间需求,并降低了错误率,指向了构建高效、可扩展的伪造音频检测系统的可能路径。 此研究成果显著,获得了国家专利及软件著作权认证,并已在公安部门等领域得到应用。

关键词： 迁移学习   小样本学习   度量学习   位置标签   知识蒸馏  

摘要： 深度学习技术因其优异的特征学习和表示能力被广泛应用于各个领域,但是一个优秀的深度学习模型,需要大量的标记样本进行训练,样本量过少会导致模型产生过拟合问题。小样本学习只需要用到很少的标记样本就可以对未标记的样本进行准确的分类,这对于解决深度学习对标记数据的依赖问题具有非常重要的意义。基于迁移学习的小样本学习利用旧知识学习新知识,旨在将学习到的知识很快迁移到一个新的领域中去。然而基于迁移学习的小样本学习方法存在泛化能力差、类原型不准确以及数据结构化建模能力有限的问题。针对上述问题,本文结合度量学习和自监督知识蒸馏的方法对基于迁移学习的小样本学习方法进行改进,主要工作如下: (1)针对基于度量学习的小样本学习模型泛化能力不足以及由少量样本得到的类原型不准确等问题,提出一种基于对称卷积块网络和原型校准的小样本学习方法。首先采用一个由双向卷积块注意力模块和残差块构成的对称网络SCB-Net对图像不同深度的特征进行自适应学习,从而提取到更具代表性的类别特征表示,有效提高模型的泛化能力。其次提出了一种反欧式标签传播原型校准算法IELP-PC,利用伪标签策略扩充支持集样本,然后对支持集样本采用反欧式距离加权对类原型进行校准,进而提高模型的分类精度。在两个常用数据集mini-Image Net和tiered-Image Net上的实验结果验证了该方法的有效性。 (2)有监督的小样本学习方法由于缺乏标记样本容易过拟合。而基于自监督学习的小样本学习方法则放弃了类标签,导致性能不及一些监督学习方法。虽然这两类小样本学习方法都引入了Vi T来改善模型的泛化性能,但是Vi T不能对局部特征的位置信息进行建模,对模型的帮助非常有限。针对以上问题,本文提出了一种融合位置标签和知识蒸馏的小样本学习方法。首先,本文提出了自监督位置标签知识蒸馏PLKD,结合已有的自监督知识蒸馏方法提出了一种融合位置标签和自监督知识蒸馏的小样本学习方法对模型进行预训练,使模型能够对局部特征的位置信息进行学习,提高了模型的泛化性能。此外,本文提出了位置标签自训练PLST,结合监督知识蒸馏方法提出了融合位置标签和监督知识蒸馏的小样本学习方法对模型进行训练,弥补了自监督小样本学习与监督小样本学习在性能上的差距。在四个基准数据集mini-Image Net、tiered-Image Net、CIFAR-FS和FC100上进行了大量对比和消融实验,实验验证了该方法可以有效提高小样本学习的性能。 综上所述,为了缓解基于迁移学习的小样本学习中存在的模型泛化性能不足、类原型不准确以及数据结构化建模能力有限的问题,本文提出两个小样本学习方法,分别为基于对称卷积块网络和原型校准的小样本学习方法以及融合位置标签和知识蒸馏的小样本学习方法,能够实现对小样本图像的准确分类。在常用数据集上的对比和消融实验结果证明了本文方法的有效性和优越性。