关键词： 联邦学习   数据异质性   模型解耦   动态客户端选择   个性化模型  

摘要： 深度学习在语音识别、图像处理等领域取得了重要的进展,其成功通常依赖于充足的训练数据。然而,在实际场景中,数据往往分布在不同的设备上,如个人智能手机、传感器设备等。由于隐私泄露的风险以及高昂的数据传输成本,使各个数据拥有方不愿意直接共享其数据。因此,为了解决这些问题,联邦学习作为一种分布式机器学习技术应运而生。联邦学习支持在数据不出本地的情况下,实现多个客户端协作训练高性能的机器学习模型,为数据隐私保护和分布式训练提供了良好的解决方案。 现有的联邦学习方法通常假设数据是平衡分布的,但实际情况下,数据受地区、设备和用户行为等因素的影响,使不同客户端之间的数据具有显著的类别分布和数量差异,呈现出数据异质性特征。这表明各客户端的数据不符合平衡分布的假设,即数据是非独立同分布的。在这种情况下,不同客户端进行本地模型更新时所呈现出的差异性更加显著,进而对全局模型的精度表现产生了负面影响。此外,大规模的客户端参与到模型更新过程中会带来庞大的通信开销,进而降低了通信效率。因此,数据异质性的挑战成为当前联邦学习研究的重要课题之一。为了应对联邦学习中数据异质性带来的挑战,本文提出了两种动态适应的联邦学习方法,从提高模型精度和通信效率两个方面对联邦学习过程进行优化,以更好地适应联邦学习中数据的异质性特征。本文的主要研究工作包括以下方面: (1)针对数据异质场景下联邦学习模型精度下降的问题,提出模型动态平衡约束联邦学习方法。方法将模型解耦为特征提取器和分类器,并动态平衡和约束两个组件的训练过程,以避免由异质性数据引起的模型偏差过大问题,从而提升联邦学习的性能。首先,采用对比损失优化模型特征提取器,以增强本地客户端和服务器之间学习到的特征表示的一致性,纠正特征提取器的偏差。其次,设计细粒度的分类损失,并动态调整损失权重,使模型能够平衡地关注拥有不同样本数量的类别,从而纠正分类器的偏差。实验结果证明,在数据异质场景下该方法能够有效提高联邦学习的模型精度。 (2)针对数据异质场景下模型通信效率下降的问题,提出动态选择客户端的个性化联邦学习方法。首先,基于数据的同质性和多样性指标,在每一轮模型训练过程中动态选择高质量的客户端参与训练,以提高模型训练效率。其次,在客户端本地模型中加入批量归一化层进行模型训练,并将其保留在本地不参与全局模型的聚合。在模型聚合过程中,只上传其他层的参数进行模型聚合,以保护数据隐私并实现模型的个性化设计。通过实验对该方案进行性能和效率评估,结果表明,该方法有效提高了模型的收敛速度和准确率,同时降低了通信成本。 综上所述,本文从模型精度优化和模型通信效率优化两个方面出发,展开数据异质场景下的联邦学习算法研究。通过在公共数据集上进行实验,验证了本文所提出的方法在提高模型精度和通信效率方面的有效性。

摘要： 摘要 目的 开发并验证一种基于深度学习的方法，在膝关节MRI扫描中自动测量与髌骨高度和股骨滑车发育不良相关的髌股关节不稳定(PFI)指数。方法 共纳入95例病人

关键词： 热带气旋强度估计   物理信息融合   持续学习   多任务学习  

摘要： 热带气旋是一种源于热带或副热带海洋上的快速旋转的低压系统,其登陆时常会造成重大的经济损失和人员伤亡。提高热带气旋强度估计的精度是进行有效预报的基础工作,对于防灾减灾具有重要意义。随着深度学习的发展,卷积神经网络在热带气旋强度估计的应用愈加广泛,并已取得显著成效,但是仍面临一些挑战。一方面,现有的深度学习模型大多直接从卫星云图中提取热带气旋强度相关信息。然而,热带气旋是一个复杂的灾害系统,受到多种物理因素的影响,仅从云图中提取信息可能相对片面,因此需要引入物理知识来约束模型对热带气旋强度的估计。另一方面,现有的基于深度学习的热带气旋强度估计方法大多基于独立同分布假设。然而,由于地理位置和强度分布的差异,将导致不同海域的热带气旋存在分布差异问题,因此在单一海域上训练好的模型难以泛化到其他海域。针对以上两个问题,本研究将开展两方面工作,具体如下: (1)提出了一种融合物理信息的热带气旋强度估计模型,将物理信息融合到深度学习模型中来提升热带气旋强度估计的性能。模型主要有两个分支构成,分别是多通道云图特征提取分支和物理信息提取分支。具体来说,多通道云图特征提取分支用于从不同通道中提取与强度相关的云系特征,物理信息提取分支用于从ERA-5再分析资料中提取与气旋相关的物理信息。然后,将提取到的云图信息和物理信息相融合。最后,根据中国气象局对气旋强度的分类标准设计了深度分类矩阵,将复杂的回归问题转化为分类问题。该模型使用葵花-8数据在西北太平洋海域上训练,经过测试,均方根误差达到了4.83m/s,与当前主流的深度学习方法相比,模型的性能提升了5.8%。 (2)提出了一种跨海域持续学习的热带气旋强度估计模型,以解决不同海域之间热带气旋的分布差异问题。模型由域共享层和域特定层构成,域共享层负责提取所有海域的共有知识,域特定层用于学习每个海域的独有知识。此外,为了增强热带气旋强度表征能力,设计了多任务学习模块同时估计热带气旋的最大持续风速和最低海平面气压。实验证明该方法可以同时在各大海域上使用并取得了较好的效果,平均的RMSE相比于模型在每个海域下训练所得的上界结果仅降低了2.8%。

摘要： 开展党史学习教育，充分发挥党史以史鉴今、资政育人的作用，是党和国家工作大局中的一件十分重要的工作。2024年2月5日，中共中央发布《党史学习教育工作条例》（以下简称《条例》）。《条例》以习近平新时代中国特色社会主义思想为指导，以党章为根本依据，对党史学习教育的领导体制和工作职责、内容、主要形式、保障和监督等作出全面规范，是开展党史学习教育工作的基本遵循。

关键词： 药物不良反应   多任务学习   多核函数   协同过滤注意力   因果推断  

摘要： 药物不良反应备受全球生物医疗界的关注。随着对药物治疗需求的增加和使用量的上升,潜在的不良反应也相应增加,给患者带来严重的生命威胁,同时也造成了一定的经济负担。目前,随着机器学习方法的发展,结合机器学习模型预测药物不良反应逐渐成为主流。然而,大多数方法只考虑了药物属性,导致药物不良反应预测并未充分考虑患者之间的个体差异。因此,亟需一套个性化药物不良反应预测的方案,帮助医师更好地针对不同患者制定诊断方案,提高治疗效果。 基于上述问题,本课题设计了一系列提高个性化药物不良反应预测结果的研究方案。针对医学数据结构多样且稀疏的问题,提出了一种将多模态医学数据融合的策略,可以更全面地考察患者多方面特征,以提高个性化药物不良反应预测的准确率。同时,针对患者个体以及多频率药物不良反应,基于深度多任务学习方法分别设计了两种个性化预测模型,辅助医师制定治疗方案,并为医疗机构挖掘罕见药物不良反应提供了一定的技术支持。本课题的主要研究工作如下: (1)针对海量医学数据存在多源异构高噪稀疏的问题,提出了一种多模态数据融合的方案,该方案以FAERS数据中的患者数据为基础,将药物结构、疾病信息和基因组学等多种医学数据进行数据采集、预处理和映射以实现数据融合。通过综合利用这些数据,可以从多个角度全面探索药物不良反应预测任务,使模型能够更好地理解患者特征与药物不良反应之间的因果关系。 (2)针对当前预测药物不良反应的方法普遍忽略了患者个体特征的问题,设计了一种基于多核函数与多任务学习框架相结合的个性化预测模型(MKMT-ADR),该模型基于患者个体特征数据设计了一种特征相似度计算方法,并采用了多任务学习框架将具有一定关联性的预测任务联合训练,以提高模型的泛化性能。在这一过程中,针对患者不同模态的个体特征数据,设计了不同的核函数池予以适配,以充分挖掘每种模态特征的信息。实验结果表明,该模型在融合数据集中的预测性能优于目前多数基于相似度计算的方法,为患者个性化药物不良反应预测提供了更为有力的支持。 (3)针对罕见药物不良反应难以被预测的问题,设计了一种基于多任务协同过滤注意力的多频率药物不良反应的个性化预测模型(CFA-CMKMT),该模型在多任务学习框架下,利用协同过滤注意力机制和因果推断的思想,针对不同频率的药物不良反应,特别是罕见和非常罕见的情况,展现出了较强的挖掘能力。首先,通过患者-特征注意力模块计算药物不良反应与患者每个特征之间的偏好得分,然后将其输入患者-药物不良反应注意力模块,计算药物不良反应与患者之间的最终注意力得分。并结合因果多核多任务学习模块计算患者与不良反应之间的因果效应,进行联合训练,以提高模型的预测准确性。实验结果表明,CFA-CMKMT模型在预测不同频率的不良反应方面表现出良好的性能。与经典的相似度计算方法相比,特别是在预测罕见和非常罕见的药物不良反应时,命中率提高在20%以上。

关键词： 双层优化   约束优化   底层视觉   高效学习算法   深度学习  

摘要： 视觉感知技术是人工智能领域的核心驱动力,对自动驾驶和医疗健康等领域的发展至关重要。然而,真实场景下的视觉感知学习问题复杂且具有挑战性,往往涉及多个耦合的感知子任务,如极暗环境下的图像增强与超分辨率,以及医学影像中的配准与分割。由于低光照和低分辨率退化的强耦合,单一学习方法或简单级联策略难以有效应对这些挑战。在医学影像分析中,配准任务的准确性直接影响分割任务的效果,传统的交替学习策略难以优化这些任务间的协作。为实现全时段、多领域的智能感知,深入研究多任务耦合的视觉感知问题并提出有效的建模和学习方法具有重要意义。 双层优化是一种解决多层次嵌套问题的经典优化方法。本文首次从这一视角出发,提出一系列针对多任务耦合视觉感知学习问题的建模与求解方法,主要贡献如下: (1)基于双层优化的约束学习通用建模与高效训练算法:现有学习方法难以有效刻画复杂视觉感知应用中的多任务耦合关系,并缺乏适用于真实场景的高效训练策略。为此,本文提出基于双层优化的约束学习统一框架,用来理解、建模和求解各种具有耦合共性的学习和视觉问题,可以灵活嵌入领域先验约束,为各种视觉感知应用提供优化指导的学习方法。基于此框架,本文提出了一种新的一阶快速隐式求解算法,以克服高维数据场景的训练难题。数值与真实应用实验验证了该学习方法在包括对抗学习、辅助学习和分治学习类型在内的三大类耦合问题的有效性和通用性。 (2)低光照图像超分辨率的双层对抗学习方法:针对低光照图像超分辨率任务中存在的亮度与分辨率退化强纠缠问题,本文提出了一种基于双层优化的隐式对抗学习架构。该方法利用生成调制先验调整光照注意力,并在特征层面引入交互式降质去除分支,同时结合加权隐式对抗求解算法进行训练。此外,本文还定制化设计了双流调制学习架构,通过集成自适应亮度约束和照明语义双调制组件,在解码过程中优化光照与颜色细节。实验结果验证了该方法在处理光照不均、色偏以及伪影的有效性。 (3)单样本医学脑区图像分割的双层协作学习方法:针对配准辅助的医学分割任务中多任务级联协作的局限性,本文提出了单样本双层协作学习框架,将配准与分割学习分别作为上层与下层子任务。设计动态语义一致性、特征样式归一化和错配抵抗映射三大关键约束,以确保生成图像在语义和强度上与目标图像一致性,并细化解剖边界。引入耦合梯度响应算法,实现分割能量对配准参数的动态反馈,从而提高网络稳定性和训练效率。实验验证了该策略在提升单样本分割精度与鲁棒性的有效性。