关键词:
去中心化联邦学习
数据安全
增量学习
元学习
摘要:
针对联邦增量场景中持续学习和数据安全的问题,构建了结合元学习的去中心化联邦增量学习框架。首先,为解决增量场景中持续学习带来的灾难性遗忘问题,提出了结合最近类均值样本回放的增量元学习方法NMR-cMAML,利用元训练对不同任务流的快速适应进行元更新,得到适用于新旧样本的模型。然后,为解决联邦增量场景中的数据安全问题,设计了基于对等网络架构的去中心化联邦增量学习框架,对等架构中每个客户端采用NMR-cMAML对私有的持续任务流进行增量学习。不同于传统的基于服务器-客户端的中心化架构,该去中心化架构采用客户端间通信的策略,消除了传统中央服务器易被攻击的隐患;同时,在联邦通信过程中,通过共享元学习的模型参数实现客户端间知识的有效迁移。最后在图像数据集(Cifar100和Imagenet50)上进行了不同任务场景的实验,结果表明所提方法能在提高系统的数据安全性的同时提升客户端本地性能。