关键词:
联邦学习
异构数据
个性化模型
多任务学习
特征对齐
分类决策融合
摘要:
联邦学习作为一种新兴的机器学习范式,其核心思想是将模型训练从集中式的中央服务器转移到分布式的客户端中进行,在客户端的数据不离开本地的前提下,多个客户端合作学习,目的是训练出一个良好的全局模型。该方法有效地减少了隐私泄露的风险,同时解决了数据孤岛和数据壁垒问题。然而,联邦学习也面临异构数据和高通信成本导致的训练时间过长、全局模型准确率过低等问题。因此,在客户端本地数据为异构数据的场景下,本文针对联邦学习中的公平性以及通信成本过高的问题展开研究,旨在推动联邦学习算法在异构数据场景下的广泛应用。本文的主要研究工作如下:
(1)针对联邦学习中的异构数据问题,提出了一种个性化联邦多任务学习算法。该算法采用模型参数分解技术,通过学习自适应分类器组合权重,以实现全局分类器和局部分类器的协作;考虑全局分类器的知识,对客户端本地的模型进行个性化建模,以满足客户端的个性化需求;同时,将多个客户端的本地训练过程构建为多任务学习过程,并在本地训练时引入正则化多任务学习策略,捕获任务之间的相关性,减少不同个性化任务之间的差异,保证了联邦学习过程中的公平性。在多种异构数据场景下的实验结果表明,该算法有效缓解了异构数据的影响并维护了客户端之间的公平性。
(2)以解决异构数据问题为前提,为了进一步降低联邦学习过程中的通信成本开销,提出了一种基于特征对齐和分类决策融合的个性化联邦学习算法。该算法通过将全局特征表示代替传统的模型参数用于通信过程,较大程度地减少了通信开销;同时,设计了全局特征表示与局部特征表示之间的正则化项,以实现全局和局部特征对齐;采用后期融合的方法将全局分类决策和局部分类决策融合,利用全局决策知识辅助个性化分类决策过程;此外,提出了一种分层交替的参数学习优化策略,用以优化模型不同部分的参数。在多种异构数据场景以及多个扩展场景下的实验结果表明,该算法能够应对联邦学习中的异构数据问题,同时降低了联邦学习中的通信成本。
(3)基于现有的面向异构数据的个性化联邦学习算法以及本文的两种改进算法,遵循研究领域内的实验基准,设计并实现了一个面向异构数据的联邦学习算法实验平台。