关键词:
联邦学习
边缘计算
通信开销
自适应方法
摘要:
随着现代科技的革新与发展,海量的互联网用户数据在网络中产生,然而集中式地将数据收集到数据中心的传统方法具有很高的风险与成本,在机器学习中保护隐私的迫切需求促使了联邦学习技术的诞生。而边缘网络的发展让网络服务得以从云端下沉到边缘,硬件设备能力的提升也促进了边缘计算的普及,这使得联邦学习的分布式架构能够灵活地应用于网络中。然而,尽管这项技术能够协调大量的用户在其设备上完成训练任务。但联邦学习要求服务器与多个客户端进行通信交流,并且在全局任务里不断地迭代这个过程,在边缘计算场景下将带来严重的通信开销,对联邦学习的性能带来了不利的影响。因此,在本文的研究工作中,提出了一种新颖的自适应联邦学习方法,以降低通信开销,提高联邦学习技术的效率。主要的工作内容与创新贡献包括:1)本文从利用计算代价换取通信效率的角度出发,通过对联邦学习的模型训练过程展开分析,研究了如何以恰当的方式合理的为每一轮参与联邦任务的客户端分配更多的计算量,以加快全局的迭代,减少通信轮数。由于在全局迭代的每一轮中对模型的优化幅度并不均匀,为了尽可能地发挥出增加计算量这一举措带来的优势,选择在模型提升速度较快的时候不断地增加分配给客户端的任务。另一方面,由于在模型提升缓慢的时候增加计算量的优势并不明显,并且会给设备造成过于沉重的计算负载,选择在此时减少分配的计算量。2)根据所研究的方法,本文设计了一项独特的自适应衡量指标,来明确在训练过程中应当如何调整迭代的每一轮期间在客户端上实施的任务计算量,该指标量化了模型提升对增加计算量的激励。同时,考虑到边缘计算中有限的资源,该指标也将客户端增加计算带来的开销纳入考量。然后,提出了一种自适应的联邦学习算法,该算法遵循本文的研究思路,能够自适应地调整计算量来减少联邦学习的通信开销。进一步地,在Tensor Flow平台上基于联邦学习的框架进行了算法的代码实现,使用本文所提出的自适应方法来完成联邦学习的任务。3)本文构建了具备代表性的实验设置,来验证所提出方法的有效性与可靠性,针对各种不同的任务与现有工作展开了多组对比实验,通过对实验结果的分析与讨论,证明了本文的研究工作能显著地减少通信轮数,提高联邦学习的效率。