关键词： 联邦学习   非独立同分布   群体智能算法   原型聚合   知识蒸馏  

摘要： 联邦学习作为一种在保障用户数据隐私的前提下,实现多客户端协同训练的分布式机器学习范式,近年来广受关注。然而,实际应用中常出现客户端数据非独立同分布(Non-IID)的情况,即各客户端的数据分布存在显著差异,导致全局模型在聚合过程中难以适应所有客户端的特征,影响模型的性能和泛化能力。因此,如何在Non-IID数据环境下有效地进行联邦学习已成为当前研究的热点和难点。 针对上述挑战,本文提出了以下创新方法,以提升全局模型在Non-IID数据场景下的精度和鲁棒性: 1.基于群体智能的模型聚合方法:通过模拟群体智能的决策过程,设计了一种新的模型参数聚合策略。服务端在接收客户端上传的模型参数后,不直接进行加权平均,而是利用群体智能算法进行优化,为每个客户端找到能够最大化其整体性能的全局模型参数。实验结果表明,该方法在不同数据集上均表现出优异性能,特别是在Non-IID数据条件下有显著提升。 2.基于原型的无教师模型知识蒸馏算法:客户端在本地训练过程中,将本地的原型(即有效代表不同类别特征的特征向量)上传至服务端。服务端聚合各客户端的原型,计算出全局原型并下发给客户端。客户端接收全局原型后,采用基于余弦相似度的度量方法,计算每个样本与全局原型之间的相似度,获得分类得分作为教师预测。通过知识蒸馏技术,教师预测向学生模型传递知识,减少本地训练中的遗忘和过拟合现象。大量实验评估表明,该方法有效提升了全局模型的准确性和鲁棒性。 3.多技术融合的集成方案:综合利用群体智能、原型聚合和知识蒸馏技术,提出了一种新的集成方案,实现服务端与客户端之间的多层次协同优化。服务端首先利用群体智能算法对客户端上传的模型参数进行优化,然后通过原型聚合计算出全局原型,结合知识蒸馏技术引导客户端的本地模型更新。客户端在接收到优化后的全局模型和全局原型后,采用基于余弦相似度的方法进行本地训练,并通过知识蒸馏技术对齐全局目标。实验结果显示,该集成方案在各种数据分布条件下均表现出色,显著提升了模型的训练效率和最终性能。

关键词： 脉冲神经网络   深度学习   主动学习   迁移学习   事件相机  

摘要： 当前,人工智能理论和技术水平飞速提升,并为各行业赋能,相关应用蓬勃发展。然而,这一进程中能源消耗问题日益凸显,如何实现低功耗人工智能也逐渐成为了学术界的重要研究方向之一。脉冲神经网络作为类脑计算研究的前沿方向之一,因其模拟生物神经系统稀疏、事件驱动的脉冲通信模式而展现出显著的能效优势,为解决这一挑战提供了新的思路。通过与神经形态芯片等硬件技术结合,脉冲神经网络有望实现极低功耗的人工智能,促进绿色低碳技术的发展。 尽管脉冲神经网络具有先天低功耗优势,但其脉冲编码机制的独特性和神经动力学的复杂约束,令该优势在深度学习上难以体现。具体来说,深度脉冲神经网络在处理复杂、高维数据时,脉冲信息的表征与理解机制仍不明确,这种内在的低可解释性限制了模型对样本的利用效率以及泛化能力,增加了模型的训练成本,使得脉冲神经网络的能效优势无法充分发挥。尤其在当今实际应用场景日益多样化以及数据资源形式不断丰富的情况下,脉冲神经网络在深度学习领域的数据利用率较低和泛化能力不足已成为亟待解决的核心挑战。针对这些问题,本文从内在特征表示、样本效率优化、知识迁移复用以及数据跨型学习四个方面,对脉冲神经网络的深度学习方法进行系统性的研究。具体内容如下: (1)针对脉冲神经网络中深层脉冲表征能力弱的问题,本文提出了一种基于泊松分布的脉冲特征空间表征方法,以显式构造的方式提高了模型的信息提取能力和特征空间的可解释性。传统脉冲变分自编码器模型使用网络层构造深层特征空间,不仅难以明确定义空间分布,而且需要训练大量的冗余参数。因此,本文根据脉冲特征对输入信息还原具有时序鲁棒性的分析结论,提出使用具有时序无关性的泊松分布来显式构造深层脉冲特征空间,无需额外训练参数。同时,提出了可反向传播的脉冲变量采样方法,为模型提供了多样性生成能力。实验结果表明,相比传统方法,本文方法减少了87.9%训练参数量,信息还原效果最大提升38.7%,并具有更强的抗噪性和更丰富的新样本生成能力。 (2)针对脉冲神经网络深度学习中样本利用效率低的问题,本文提出了一种生物启发式主动学习方法(Bio-inspired Active Learning,BAL),主动挑选出具有高训练价值的样本。现有主动学习方法基于传统网络结构,选择最具信息量的样本进行标注,但这些方法并未考虑脉冲信息传递的时空性,挑选出的样本并不完全适用于脉冲神经网络的训练。因此,本文使用脉冲神经元内部的空间状态和时序状态,定义了基于点火率和膜电位的两种神经元行为模式,再将神经元在未标注样本的泛化行为模式与已标注样本中的经验行为模式进行对比,计算样本的不确定性作为挑选依据,以提高所挑选样本在脉冲模型上的适应性。实验结果表明,在相同样本量下,BAL的平均准确率相比传统方法最大提升了6.3%,并且当样本存在噪声时也能进行准确挑选。 (3)针对脉冲神经网络在新数据域训练需要大量标注样本的问题,本文提出了一个适用于脉冲神经网络的迁移学习框架(Spiking Neural Network Transfer Learning,SNNTL),提高了模型在新数据域的数据效率和泛化性。迁移学习借助相似数据域的标注样本知识辅助模型在目标数据域上训练,但脉冲特征的二值性和稀疏性使得传统迁移损失在脉冲神经网络收敛难度较高。因此,本文使用特征点火频次计算迁移损失,以提高脉冲特征的信息密度,同时提出了基于脉冲分布相关性的迁移损失,以降低模型训练难度,并推导了迁移损失和分类损失的反向传播规则。实验结果表明,SNNTL在目标域上的准确率最大提升了29.9%,且基于SNNTL的网络模型各层均具有可迁移性。 (4)针对脉冲神经网络在新型事件数据上深度学习成本高的问题,本文提出了一种数据跨型脉冲迁移学习方法R2ETL(RGB to Event Transfer Learning),降低模型的训练难度。事件相机(又称神经形态相机)以离散事件形式记录视觉信息,具有低功耗和高时间分辨率的优势,且更适合用脉冲神经网络学习。但事件数据缺乏足够的色彩纹理等细节视觉信息,模型训练难度大、成本高。因此,本文提出利用传统静态图像知识辅助模型在事件数据上的学习。R2ETL中设计了无时序约束的编码对齐模块,以及具有时空分布约束的特征对齐模块,分层次地进行知识迁移。实验结果表明,R2ETL相比现有最先进方法准确率最大提升了5.74%,且对事件相机环境变化和噪声干扰均具有较强鲁棒性。 综上,本文针对脉冲神经网络在深度学习领域特征表征能力弱、样本效率低、泛化能力差的问题,提出了一系列学习方法:泊松分布优化的特征表示、生物启发式的主动学习策略、脉冲迁移学习框架以及数据跨型脉冲迁移方法。其中,特征表示研究为主动学习和脉冲迁移提供了理论基础,而样本增效思路和知识迁移策略为数据跨型学习提供了技术基础。这些方法相互补

关键词： 去中心化联邦学习   数据异构性   拜占庭攻击   模型中毒   模型权重  

摘要： 联邦学习是一种分布式机器学习框架,能在不共享本地数据的情况下,允许参与方通过共享本地模型来训练人工智能。传统的联邦学习通常由一个中央服务器和多个参与方构成,称为集中式联邦学习。其中,所有的模型传输都需经过中央服务器,这极大地增加中央服务器的通信压力,拖慢联邦学习训练效率。另外,若中央服务器发生故障导致宕机,那整个联邦学习训练过程将会被迫中断。因此,研究人员提出了去中心化联邦学习,节点间可进行点对点通信,单个节点可选择有限的通信对象来降低本地节点的通信压力;另外,单个节点若发生故障,其他节点的联邦学习训练过程将继续进行,不会中断系统运行。 去中心化联邦学习有效地解决了上述的单点通信压力过大和单点故障的问题。然而,去中心化联邦学习在发展中还面临着以下两个问题: (1)数据异构性造成参与方间的模型产生偏差,进而导致聚合模型精度降低的问题。在去中心化联邦学习场景中,参与方间由于自身偏好和用户差异等方面不同,数据在分布上往往是非独立同分布的,即存在数据异构性。每个参与方只能感受到本地数据,没办法接触到其他参与方的数据。因此,受到数据异构的影响,参与方间训练的模型产生偏差,最终导致聚合模型精度降低。现有方法主要为模型稀疏训练,需要额外传输稀疏掩码,增大了节点的通信压力;改变网络拓扑结构方式难以应用于网络结构稳定的联邦学习系统中。 (2)拜占庭攻击造成恶意模型被正常参与方聚合,使得聚合模型中毒,进而降低聚合模型性能的问题。在数据异构的去中心化联邦学习场景中,拜占庭攻击者为了破坏联邦学习过程,会伪装成正常参与方发起拜占庭攻击,发送篡改的恶意模型给正常参与方,在模型聚合阶段污染正常参与方的聚合模型,导致聚合模型中毒,最终降低聚合模型性能。针对拜占庭攻击防御的研究,改变网络拓扑结构的方法在网络结构稳定的场景中不适用;选取部分参与方成立委员会机制方式在参与方变动较大的场景中,难以保证委员会成员数量稳定,不利于系统平稳运行。 针对上述问题,本文分别给出了解决方案,主要的研究内容包括以下方面: (1)针对数据异构性造成参与方间的模型产生偏差,进而导致聚合模型精度降低的问题,本文提出了基于特征相似度聚合的去中心化联邦学习方法Fed FSD。该方法会提取所有模型中的Batch Norm层特征图,并根据特征图间的距离来求出特征相似度,以此来表示数据分布的相似程度,最终基于特征相似度来求得模型权重,加权聚合模型。该方法减少了参与方之间数据异构对聚合模型的影响,提高模型精度。实验证明,Fed FSD与Fed Avg、Fed Prox、Ditto和Dis-PFL算法相比,在不同数据集上取得较高的模型精度,也保持了不错的计算性能。 (2)针对拜占庭攻击造成恶意模型被参与方聚合,使得聚合模型中毒,进而降低聚合模型性能的问题,本文提出了面向拜占庭攻击防御的去中心化联邦学习方法Fed RPA。该方法会截取各个模型的隐藏层和输出层的输出数据,然后根据数据分布计算本地偏移和全局偏移,偏移程度大表示模型是恶意的可能性也大,接着基于两种偏移来计算信誉积分,并判定拜占庭攻击者,丢弃其模型,聚合正常参与方模型。该方法有效排除拜占庭攻击者的恶意模型,提高了系统的拜占庭鲁棒性。实验证明,Fed RPA与Fed Avg、Krum、Trimmed-Median和Trimmed-Mean算法相比,在不同数据集上取得最高的模型精度,也能有效地识别拜占庭攻击者。

关键词： NBA胜负预测   SVM模型   ELO模型   滑动窗口法   Shapley值  

摘要： NBA比赛作为全球最具影响力的体育赛事之一,备受篮球爱好者喜爱和关注。随着大数据时代的发展,数据科学广泛应用于各行各业。在NBA,数据统计已经彻底改变了我们看待和讨论篮球的方式。现在,没有数据支撑的观点往往会显得说服力不足。数据可以让你的观点更具深度,让你的讨论更具有价值。NBA比赛胜负预测一直是篮球爱好者和专业分析师关注的重要问题,传统的预测方法大多依赖主观经验和直觉判断,缺乏科学性和准确性。为了提高预测准确率,本文提出了一种基于改进的ELO模型和机器学习方法的NBA比赛胜负预测方法。 首先,本文收集到15-16赛季到22-23赛季间NBA每场比赛的统计数据共10176条并以此构建了一个庞大的数据集,接着对数据进行缺失值异常值处理、数据类型转换、数据规范化等处理,使用滑动窗口法对数据进一步处理得到球队近期比赛的平均数据,最后通过画热力图的方法提取我们需要的数据特征。 接着,本文采用了改进的ELO模型来建立球队实力评级模型。传统的ELO模型只考虑了球队之间的实力差距,而我们在此基础上引入了其他因素,如球队的主场优势,背靠背比赛对球队的状态影响和使用动态K值加大爆冷比赛的惩罚力度等。通过对比历史数据和实际比赛结果,进一步提高了该模型对球队实力评级的可信度。 最后,将前文得到的改进后的ELO评级分和特征数据结合,使用SVM等机器学习分类模型进行调参,分类预测,并对比是否加入ELO评级因素模型的结果情况。之后本文再引入Shapley值的概念,采用上文预测效果最好的SVM模型进行特征解释。并从常规赛和季后赛之间,不同赛季的比赛之间以及不同球队之间这三个方面进行Shapley值比较,针对不同的情况给出个性化建议。 本研究的贡献在于将ELO评分模型进行了改进并结合了机器学习模型,通过充分利用历史比赛数据和其他因素的综合考虑,提高了预测NBA比赛胜负的准确度,并基于模型的特征解释为球队提出改进建议。这一方法不仅对篮球爱好者和专业分析师具有实际应用价值,还为相关研究提供了新的思路和方法。

关键词： 可解释性   深度学习   监督与无监督学习   注意力机制   迭代收缩阈值   高斯噪声   小波变换  

摘要： 反射地震方法是地下地质结构成像的重要方法。但地震记录经常受到各种类型的噪声如自然环境、人文环境、仪器等的干扰,影响地震数据有用信息提取,为精确解释地下结构构造带来困难。地球物理工作者提出了多种去噪技术,如预测反卷积、小波阈值和经验模态分解等。这些方法依赖特定的信号与噪声统计特性,无法良好捕捉地震数据的复杂特征。近年神经网络方法如生成对抗网络、残差神经网络、U-Net被引入地震数据去噪,克服阈值选取及基于模型方法的缺陷,取得较好的去噪效果。虽然基于神经网络的去噪方法在网络结构上存在一定限制,对标记数据依赖性高,获取准确地震标签数据工作量大,且预训练模型在不同地质场景中的推广应用有限。但是,神经网络的强数据自适应性和对复杂信号特征精准提取的能力,使其在地震数据去噪上具有显著优势。为了应对标签数据缺乏的挑战,地球物理工作者转向了开发不依赖标签数据的无监督神经网络方法。同时,结合基于模型的地震随机噪声压制方法的数学、物理逻辑,有助于理解和解释神经网络去噪方法的决策过程与原理,增强其压制地震随机噪声的能力,确保地震勘探结果的可信性。针对当前神经网络方法在处理地震随机噪声方面存在的去噪性能有待进一步提升的问题,展开了深度学习框架下多算法融合的地震随机噪声压制方法研究。 在复杂的勘探环境中的地震数据处理,亟需一种广泛适用的去噪技术。基于模型的方法依赖噪声统计特性,适应性较差。神经网络方法适应性强但其对时频混叠数据去噪的能力需增强。针对神经网络方法在高斯随机噪声压制方面的局限性,本论文提出融合小波变换与残差神经网络的方法。该方法创新地依尺度顺序排列小波域系数,实现特征融合,以典型地震信号作为标签实现特征提取,优化去噪参数组合,从而显著提升算法泛化性与可解释性,在进一步提高深度学习方法对地震数据高斯随机噪声压制效果方面凸显优势。模拟数据与实际数据的数值计算结果表明该方法对随机噪声水平在-8 d B以上的地震数据具有良好去噪效果,能实现22.15 d B的信噪比提升,可涵盖具有不同噪声水平的陆地与海洋环境勘探场景,为更低信噪比地震数据的去噪研究提供了技术基础。但随着神经网络层数增加,训练时间长,且其不适用于弱地震反射能量、复杂界面、低频勘探数据。 复杂勘探噪声掩盖弱能量、低频有效信号,影响后续地震信号的识别和高精度成像,针对融合小波变换与残差神经网络的方法处理此类数据时的局限,本论文提出将注意力机制与残差神经网络融合的方法,创新地在残差块的卷积层后增加权重学习网络——卷积注意力块,以学习空间与通道权重,突出有效信号特征,通过在残差块的跳过链接上增加通道注意力块,学习通道权重以压制噪声传递,克服了有效信号被跳过链接中的强噪声掩盖,导致网络去噪性能降低的问题,形成了大幅提高去噪性能的新网络结构。该方法为端到端方法,无需参数选择,具有能够根据噪声与有效信号的不同,动态、自适应地分配不同的权重,从而更好地突出有效信号,压制噪声的巨大优势。模拟数据与实际数据验证该方法明显压制了弱能量、低频、微震数据中的高斯随机噪声,对-11d B的模拟数据实现17.85 d B的信噪比提升,可应用于低、中频地震数据的去噪处理,也能成功从包含多种事件的地震台站数据中提取出有效信号。但该方法需要高质量标签数据训练,计算量大,效率低,该方法与融合小波变换与残差神经网络的方法在低硬件条件下可相互补充。 上述两种有监督神经网络需标签数据,然而高质量、大规模地震数据标注难,同时高维度地震数据中噪声多样、特征多变。对复杂、非平稳地震数据,如何减少人工依赖,高效、自适应地去除不同类型噪声,是地震数据处理领域关键问题。针对上述两个问题,本论文提出了融合跨尺度相似性的无监督地震高斯随机噪声压制方法。首先介绍采用棋盘下采样方法构建训练对的Noise2Fast原理与简单多层网络结构对Noise2Fast快速收敛能力的重要性;其次论证图像具有跨尺度自相似性,在粗尺度下保持相似的有效信息,同时减少噪声的特性;最后创新地结合图像的跨尺度自相似性,将平均池化层引入Noise2Fast网络结构,从而构造了新的端到端训练的双层网络,提高Noise2Fast方法特征提取能力。该方法优势在于降低对人工标注的依赖,在不降低计算效率的情况下,增强网络特征提取能力,实现强自适应性与泛化性。模拟数据与实际数据的计算结果表明该方法具有可解释性,提高了压制地震高斯随机噪声的能力,适用于低中频、大振幅范围、弱、强能量的浅、中、深层勘探数据去噪。通过去除信噪比在-5.75 d B以上的地震数据中噪声,在实现11.36 d B信噪比提升的同时,最大程度地保留有效信号,为进行更广泛信噪比数据去噪奠定基础。该方法实际应用潜力大,可进行小样本数据去噪,对具有复杂界面特征的陆域地震数据去噪效果显著,但该方法压制界面较清晰的强能量地

关键词： 图表示学习   图神经网络   过平滑问题   对比学习   负样本选择策略  

摘要： 图表示学习领域面临着许多挑战。第一,浅层的图神经网络较难学习到图的全局信息,深层图表示学习可以有效获得图的局部信息和全局信息,对于提升不同下游任务的应用表现具有重要价值。然而,深层图表示学习存在过度平滑的问题,即在多次消息传递后,节点的特征逐渐同质化,使得模型的表达能力下降。第二,大多数图表示学习方法仅适用于小规模图结构且依赖标记数据,无法很好地扩展到包含大量无标记节点和边信息的大型图中。当前的研究虽然通过子图采样将图表示学习扩展到更大的数据集,但在关注节点局部信息的同时却忽视了子图间上下文信息的重要性。此外,当前的节点级对比学习的方法往往将除了正样本外的节点全部视为负样本,导致与中心节点具有相似类别的节点被错误地视为负样本,从而破坏了模型的性能。针对上述问题,本文将主要从以下两个方面展开研究: 一、针对深层图表示学习中的过平滑问题,提出一种基于锚点辅助的图表示学习方法AAGRL(Anchor Assistant Graph Representation Learning)。该方法将节点的初始局部语义信息经特征提取后得到锚嵌入作为伪监督信号,利用对比学习的方式辅助深层图编码器为节点学得靠近节点初始独特语义信息的嵌入,从而提升类内一致性类间差异性。实验结果表明,AAGRL相对于效果最好的基线模型在Cora、Citeseer、Pubmed三个数据集上的节点分类准确率分别提升了1.75%、2.15%、1.46%。 二、针对图表示学习方法的可扩展性问题,提出了基于负例选择和子图对比的图表示学习方法SNGRL(Subgraph-Level Contrastive Graph Representation Learning with N egative Sample Selection)。一方面,该方法为每个中心节点采样一个中心子图和随机子图,对中心子图经过两次数据增强后进行节点级对比,并对随机子图和中心子图上下文信息进行对比。在关注节点局部信息的同时,关注到子图间的上下文信息。另一方面,提出了一种节点级的负样本选择策略。通过使用合适的节点间的相似度阈值过滤出与中心节点相似的节点进行遮挡,减少类内冲突。实验结果表明,SNGRL方法在小型图数据集和中型图数据集上均取得了较好的性能。

关键词： 机器学习   钙钛矿   带隙   形成能   Shapley Additive explanation  

摘要： 光伏能源作为一类新型环保的可再生清洁能源,一直是国家能源发展战略的重要组成部分。在光伏能源应用研究领域,钙钛矿材料因其优异的稳定性和光电性能而备受关注。钙钛矿材料稳定性和光电性能的有效提高,可以极大推动清洁能源技术的发展和应用。带隙和形成能作为钙钛矿材料的重要性质,开发精准、快速预测的钙钛矿带隙、形成能模型具有重要的实际意义。同时,机器学习方法在材料学领域展现出强大能力,为材料开发提供了新的方案。主要研究内容和成果如下: (1)提出基于可解释性机器学习模型用于材料性质预测。本文构建了基于GBDT的带隙预测模型以及基于LightGBM的形成能预测模型。在测试集上的结果显示GBDT模型预测带隙的RMSE为0.090eV,MSE为0.053eV,拟合优度达到了93.11%,LightGBM模型预测形成能的RMSE为0.343eV/atom,MSE为0.246eV/atom,拟合优度达到了88.49%。通过模型验证和消融实验证明了两个预测模型的准确性和有效性。由于模型的未知性,在构建模型的基础上,引入SHAP进行黑盒解释。通过SHAP的解释表明,该模型能直观了解模型的预测过程。从物理角度看,此模型在解释带隙、形成能形成过程中与其存在的物理规律基本一致,证明了可解释性机器学习模型的有效性。 (2)通过模型解释了影响钙钛矿材料性质(带隙和形成能)变化的主要元素及其变化趋势。本文通过SHAP的解释,分析了影响带隙的重要元素排序以及对带隙形成的影响。还探讨了B、X位元素取代对带隙形成的主要因素。经理论验证,钙钛矿的带隙减小源于Sn原子占据B位诱导的s轨道杂化,而X位点的I离子有助于在最佳范围内进行带隙调整,这为优化钙钛矿太阳能电池带隙提供了一种实用的方法。同时,解释了影响形成能最重要的几个特征及其影响趋势。本文分析了形成能和多个特征间的重要性排序,以及他们对形成能的影响。探讨了氧空位能和A、B位金属元素对钙钛矿材料的驱动因素,从物理角度增强了可解释模型的可理解性。这再次验证了SHAP可作为解释诸多黑盒模型的一个强大工具。 综上所述,本文研究了基于SHAP的可解释性机器学习方法的材料性质预测,通过SHAP解释,增强了对预测结果的可解释性。证明可解释性机器学习模型在材料预测及解释模型方面有着巨大潜力,可推动材料信息学的发展。

关键词： 个性化联邦学习   图像聚类   生成对抗网络   散度  

摘要： 联邦学习为解决数据安全提供了新方向,但全局模型无法适应所有客户端上的局部数据,为了解决这一问题,个性化联邦学习方法被提出。现有的个性化联邦学习方法放弃了共享单一模型的思路,通过为客户定制个性化模型来适应本地数据,在应对数据异构和模型异构的问题上取得了不错的进展。然而,这些方法都需要所有客户端针对同一类型的数据添加相同的标签。由于客户端之间分类任务或标签排列顺序可能会不同,虽然处理的数据类型相同,但是对同一类型的数据所标注的标签可能不同。针对现有方法无法应对客户端之间标签差异的问题,本文做出了以下工作。 (1)针对标签差异场景下共享生成对抗网络生成的伪样本会降低本地模型准确率的问题,提出基于图像聚类的标签个性化联邦学习方法。通过共享生成对抗网络生成伪样本的方式代替共享参数的方式,虽然能够解决模型异构的问题,但是当参与者之间存在标签标注不统一的问题时,本地模型的准确率会下降。本文将筛选样本并校正标签的方法代替随机抽样的方法来解决此问题。首先,利用本地模型作为判别器,与生成器组成生成对抗网络生成伪样本集,并将伪样本集上传到中央服务器;然后,通过在中心服务器中引入聚类算法,对上传的共享样本进行聚类,并将共享样本划分为多个簇,为每个客户端进行样本筛选,并根据本地数据的标签校正簇内标签;最后,将校正后的样本与本地数据集合并,来扩展本地数据集。实验表明,对比其它方法,本文方法能够适应标签存在差异的场景,并且可以取得有效的结果。 (2)针对标签差异场景下分类层参数无法聚合的问题,提出基于散度匹配与微调的标签个性化联邦学习方法。在标签差异的场景下,参与者之间分类数量的不同或标签排序的不同导致无法执行分类层参数聚合操作,放弃分类层聚合会使模型之间互相学习不充分导致模型准确率并没有到达理想高度。为此,本文将参与者之间的模型卷积层与分类层分开学习。首先,将卷积层上传到中心服务器进行聚合;然后,使用散度度量计算参与者对公共数据集分类概率的相似度,计算相似度高的参与者之间对公共数据集分类概率的差异;最后,通过计算得到的差异值对参与者模型的分类层参数进行调整,并将聚合后的卷积层与本地微调之后的分类层合并,得到新的本地模型。实验证明,本文方法在标签差异场景下可以进一步提升模型准确率,对比其它方法取得更好的结果。