关键词:
文本摘要生成
少样本学习
迁移学习
预训练模型
适配器
元学习
摘要:
针对多域少样本文本摘要任务中迁移学习面临的诸多挑战,尤其是源域数据的多样性以及目标域数据的数据稀缺性问题,提出了一种创新的学习方法,名为元适配器整合学习方法(meta-adapter integration learning,MAIL)。MAIL使用基于Transformer的预训练模型作为基础模型,融合适配器模块限制模型参数及层数,并采用元学习方法微调适配器。此外,为了增强在不同领域间的迁移和泛化能力,设计了一种元适配器整合算法,旨在最大化利用多域信息,增强模型跨领域泛化能力。实验结果显示,MAIL在标准文本生成评价指标上超越现有主流模型,并能有效应对跨领域迁移中常见的灾难性遗忘、任务干扰和训练不稳定等问题。