关键词:
神经科学
人脑学习记忆机制
灾难性遗忘
深度学习
持续学习
摘要:
近年来,卷积神经网络在人工智能领域取得了巨大成功,在单个任务如图像分类、围棋游戏上已经达到了人类的水平,甚至是超越了人类。但现阶段的卷积神经网络根植于封闭世界假设,即在封闭、静态、同分布的训练集上学习模型,然后在未知的开放世界中进行推理。显然,基于这种学习范式的网络无法持续地从任务流中学习新知识,难以随时间适应或扩展其行为,因此这种智能非常局限。反观人类却能从经验中学习,并将学习到的知识不断复用和拓展到新的环境,这一能力被称为持续学习或终身学习。持续学习是体现智能体具备强人工智能或者通用人工智能的重要特征,本文从人类智能的视角出发分析现有持续学习问题。持续学习中的一个基本问题是灾难性遗忘,灾难性遗忘是指旧知识的性能在智能体学习完新知识后大幅下降的一种现象。灾难性遗忘导致卷积神经网络只能掌握当下或近邻的几个任务,因此无法增量地扩展知识。在持续学习范式下,源源不断的任务被不断地输入卷积神经网络中进行训练,网络根据每个任务的数据表征,在优化策略的指导下,动态地更新模型参数。这其中存在三个引发或加剧灾难性遗忘的问题:(1)模型中参数重要性衡量的准确性问题:模型中的参数包含了关于任务的信息,在学习过程中保留重要参数可以避免遗忘,因此能否准确地衡量参数重要性对网络克服灾难性遗忘有重要影响。(2)连续任务中数据的相似性问题:任务中数据的相似性过大会导致两者的决策边界模糊,使网络无法学习到类别的关键特征从而加剧遗忘,因此能否降低连续任务中数据的相似度对网络缓解灾难性遗忘有重要影响。(3)局部最优点扰动下的平稳性问题:若目标函数在优化空间中取得了平稳度较低的局部最小值,网络在后续更新中更易脱离其最优的参数空间从而引发遗忘,因此能否引导局部最优点处于平稳度较大的特征空间对网络缓解灾难性遗忘有重要影响。基于此,本文受人类记忆机制启发,从学习范式中的模型、数据和训练策略三个要素出发设计算法,缓解灾难性遗忘问题,实现卷积神经网络的持续学习。总结而言,本文的具体内容如下:(1)持续学习综述:从人类智能的视角出发目前有较多关于持续学习的综述,但其基本偏向于总结持续学习问题的某个特定方面,如算法、应用或评价指标等。然而,卷积神经网络持续学习的目的是贴近人类这种高阶智能,而上述综述不足以从更本质和全面的角度审视现有研究进展。人类完整的持续学习过程由信息回顾、信息前瞻和信息迁移三部分组成。其中,信息回顾指记住以前学到的信息,信息前瞻指不断学习和推断新信息,信息迁移指在不同信息间传递有用知识。本文立足于人工神经网络和卷积神经网络的共性和联系,依次从信息回顾、信息前瞻和信息迁移三个角度出发总结和分析现有持续学习算法、评价指标和应用,从而展示当前卷积神经网络持续学习的成果和其与人脑等高阶智能体的差距。(2)基于神经元消亡行为的卷积神经网络二阶参数重要性估计方法从模型角度出发,灾难性遗忘的发生是因为旧任务的参数被新任务的参数覆盖或改变,从而导致网络丢失了旧任务的重要特征。现有正则化法通过目标函数关于参数的一阶导数即梯度来衡量参数重要性,然而一阶导数只反映了目标函数的局部性质,并未完全反映参数关于任务的全部特性,因此存在重要性估计不准确的问题。不准确的参数重要性会导致模型丢失任务的关键知识,不利于克服灾难性遗忘。突触可塑性机制认为人脑实现记忆与遗忘的精准平衡是依赖于级联神经元间的重复刺激和持久失活。受此启发,本文提出一种基于神经元消亡行为的二阶重要参数性估计方法。该算法的基本假设是一个参数失活后,若模型的损失大幅提高,则其重要性较大,反之亦然。在此基础上,算法通过泰勒展开衡量目标函数的损失值,并保留一阶导和二阶导最为参数重要性的估值,之后通过高斯牛顿法将二阶导数中的海森矩阵优化为费尔信息矩阵,从而得到最终的参数重要性。本文的算法在图像生成和图像去雨领域取得了较好的持续学习效果。(3)基于相似表征分离的卷积神经网络连续数据抗扰动方法造成卷积神经网络灾难性遗忘的第二个因素是连续任务中的相似数据。持续学习中的数据存在先后顺序,当后序数据与前序数据较为相似时,灾难性现象会被更加严重。该现象的发生是因为相似数据在特征空间中是互相纠缠的即特征分布有较大的重叠,因此后续任务很容易覆盖与其相似的前序任务,进而导致模型丢失前序任务中的关键信息。现有算法严重忽略了数据自身也会造成遗忘这一问题。干扰理论认为互为竞争的信息容易互相干扰产生遗忘,而克服记忆干扰的方式之一是加大学习分区不同信息的特征的力度。受此启发,本文提出基于表征分离的卷积神经网络相似数据判别法。该方法将相似任务中数据的混淆性转化为可分性,通过构建当前任务训练批次下的相同样本集和相似样本集,并设计相似分离函数来最小化相同样本集数据间的特征距离,最大化相似样本集数据间的特征距离,使网络学习相似类别中各自最具判别性的特征。本文的算法在