关键词： 多模态学习   表示学习   深度学习   传染病预测   情感分析   电子病历分析  

摘要： 随着信息媒介的增多,可采集的数据模态类型也愈发丰富,比如面部表情图片、医学诊断文本、人物访谈录音等,从这些多模态数据中抽取关键信息实现任务预测是值得研究的内容。多模态表示学习方法旨在整合多模态信息,以提高模型的预测性能,被广泛应用于机器学习场景中。然而,现有多模态表示学习方法在传染病预测、电子病历分析、情感分析的应用中存在如下问题:(1)多数传染病模型忽视建模人口流动对病毒传播的影响,而且它们仅能预测未来的确诊人数却无法估计现有的感染人数。(2)多数模型利用成对的模态交互捕捉模态的长距离相依性,例如,访谈视频中受访者通过面部表情和另一时刻说出的“积极”单词相结合传达出“消极”情感。但是这些模型在实现模态信息关联时,模型复杂度高且鲁棒性差。(3)在不完整模态条件下,模型训练阶段的数据缺失会产生语义稀疏的问题,多数模型通过循环一致损失、模态生成等方法学习多模态特征,但未充分利用模态间的互补信息。因此,针对上述问题,本文采取如下解决方法:利用模态特征拼接方法来预测传染病的确诊和感染人数,设计跨模态注意力机制来刻画模态的长距离相依性,利用模态重构和加权融合方法来学习缺失数据的语义信息,具体内容如下:(1)提出了基于特征拼接的多模态表示模型BPISI-LSTM,该模型融合经典的反向投影算法和长短期记忆神经网络,输入新增病例与人口流动的多模态数据,不仅能预测未来确诊人数还能估计现有感染人数,为医疗资源的合理分配提供指导。相比于数据驱动模型或动力学模型,该模型由于结合了传染病传播机理和多模态数据,在短期和长期预测上更加准确。(2)提出了基于星形图交互的多模态表示模型SGIR,该模型首先表示模态的星形图,然后通过星形图上的跨模态注意力机制捕捉模态的长距离相依性。在情感分析数据集和电子病历分析数据集上的实验结果表明,SGIR的预测精度优于对比的模型。与成对交互模型的模态交互次数呈平方增速相比,SGIR的模态交互次数随着模态数量线性增加,并且在推理时对低噪音的数据具有鲁棒性。(3)提出了基于星形图编码与解码表示网络模型SGER-Net,针对多模态输入存在随机缺失的情况,模型在训练时首先表示星形图并进行模态交互,然后将交互前后的特征加权融合,最后进行掩码重构和特征重构。在情感分析数据集上的实验结果表明,SGER-Net不仅继承SGIR捕捉模态间和模态内互补信息的能力,还能关注缺失数据的语义信息,实现不完整模态下更优的推理能力。综上,围绕多模态表示学习这一主线,我们在不同的应用场景下利用特征拼接、模态交互、模态重构等方法挖掘模态的互补信息,提高模型的预测精度、计算效率和鲁棒性。

关键词： 三维人脸识别   几何深度学习   立体谐波散射   稀疏编码  

摘要： 人脸识别是生物特征识别领域最受关注的研究主题之一,基于人脸作为主要信息来源的身份识别已经成为各行各业具有基础性地位的安全技术;在近年,人脸识别技术朝着探索更自然的传感采样过程,更高效的特征提取算法,以及对使用环境更强的稳定性几个方面发展。其中,基于新型传感采样技术的三维人脸识别,成为最有潜力的重要分支之一。在经典的基于二维图像的人脸识别问题中,人脸对象关于被摄平面内与平面外的旋转,图像传感采样所在环境的光照条件变化和部分遮挡等几个问题对识别精度具有不可忽视的影响;伴随着三维扫描测量仪器技术朝着小型化、高速化和成像稳定化等方向快速发展,人脸识别领域出现了利用高精度三维测量技术克服以上困难的研究趋势。相对于传统可见光感知设备得到的矩阵形态(grid-like)的数据形式(如图像/视频),三维测量仪器将获取到的物理对象的高精度形貌(shape)信息转化和存储为具有非矩阵形态的几何模型,如点云/面片/复合参数化模型等,目标对象的微观细节得以充分保留;且源于非可见光感知和主动投影技术的特点,三维测量技术获得的目标信息具有与背景环境的更良好的区分能力。目前,关于利用三维数据实现对复杂场景更稳定的人脸识别的相关研究主要包括两方面:(1)三维人脸的几何表征学习方法,其目标是将原始三维数据转化为能够被现有深度学习有效利用的形式;(2)高稳定性的三维识别模型,其目标是挖掘三维数据的高精度特性和对目标内在性质的直接表达能力,以实现在复杂环境条件下的识别稳定性。针对上述问题,本文研究了从三维原始采样数据中提取内蕴几何信息及构建少约束环境条件下的稳定识别模型的关键技术,具体包括:(1)基于几何先验的人脸表征学习和生成模型,以及基于这一表征方法的表情模式识别技术;(2)具有等距形变稳定性和局部性的三维人脸几何特征提取方法,以及基于这种局部几何特征提取方法的半监督学习身份识别框架。本研究的内容包含以下几个方面:1.三维人脸的等距形变稳定表征学习。将原始三维采样数据转化为现有深度学习模型能够有效提取特征的形式面临几个问题:原始的三维采样数据具有缺乏一致性的表达顺序和非欧式的基底信号空间结构,目前已有的人脸统计学习模型普遍基于显式的数据对齐过程,在现实中的人脸识别应用中无法满足这一假设条件。针对上述挑战,本文提出了一种面向三维几何人脸的表征学习模型,通过从三维数据中学习和构建具有等距形变不变性的拉普拉斯贝尔特拉米算子(Laplace Beltrami operator),使得深度学习模型能够从三维数据中直接提取对旋转和平移等干扰因素具有稳定性的隐式表征;基于这一表征模型设计的流形散射编码器-解码器网络结构,能够生成高表征力的未见(unseen)人脸样本,进而支撑其作为面向复杂环境下的三维人脸数据的内蕴特征提取工具。在数值实验环节,本文提出的流形散射生成模型在有等距形变的环境条件下,在大多数的含表情样本的重建精度上超过了目前主流的面片卷积神经网络模型。2.基于三维人脸先验基底结构的内蕴局部表征学习。在非配合式场景下三维人脸样本容易受到环境因素影响产生非等距形变,这类形变与人脸的内在特征(例如表情/身份)等混淆,使得现有的深度学习方法难以获得有辨识力的关键特征。本文提出一种基于低维嵌入的多尺度局部空间特征描绘子,在保持面向全局等距形变不变性的几何约束条件下,进一步挖掘人脸先验基础结构领域空间内的局部微观特征,以提高面向特定语义模式的模型表征力;在数值实验中,在仅基于关键点检测的条件下,本文提出的识别方法在公开数据集3D-BUFE和Bosphorus的表情识别任务中取得了明显优于其他基于纯点云的方法的精度,且实验使用的样本大量包含有姿态、遮挡等干扰条件。3.三维人脸的稳态随机过程表征模型和基底域结构可变的半监督身份表征学习方法。当环境因素,非相关语义模式和身份特征混杂在采样结果中时,通过将身份无关的所有变量归纳为噪声,进而将滤除复杂且随机的环境因素问题转变为求解具有稳态特性的身份过程模型,可以简化三维测量数据形式下身份识别的病态特性;基于这一理论模型,通过基于数据驱动的稀疏学习方法寻找与身份相关的特征分量,可以构建实时的高相关性特征选择模块。基于这一模型,本文设计形成了面向纯点云的多尺度稳定特征提取框架,在包含多种复杂环境变量和表情因素的身份识别测试集上取得了较高的识别率结果。此外,由于高精度三维数据的数量较为有限,限制了通过有监督的学习方法获得同时具备高可泛化性能和高精度识别能力的三维人脸表征的可操作性;尤其是在面对遮挡、大姿态旋转等残缺样本时,现有的表征学习方法无法在一个固定的域结构上获得完整和有效的局部特征。针对这一问题,为了实现面向更大规模和更抽象的身份模式识别问题,本文提出了一种兼顾参数学习效率和总体识别精度的基底几何结构可变的半监督学习方法,结合三维人脸

关键词： 深度强化学习   潜在空间   最大熵强化学习   等价状态表示   动作表示  

摘要： 深度强化学习是实现通用人工智能的一种有效学习范式,其通过端到端的学习方式实现了从状态感知到决策的直接输出,已在智能控制等实际问题中取得了显著成果。然而,深度强化学习在面对大规模复杂环境下的决策任务时仍存在泛化性能差、学习效率低等问题。基于深度神经网络的表示学习通过学习环境的底层结构,能够帮助智能体理解环境,可在一定程度上缓解上述问题。 针对大规模的连续状态空间和动作空间的复杂决策任务,本文提出基于等价状态表示的潜在空间策略学习方法,旨在构建等价状态表示空间以及动作表示空间,使智能体能够在潜在空间中学习策略,从而有效解决学习效率低以及动作选择的泛化性弱的问题。具体地,本文将互模拟等价思想引入状态空间,学习等价状态表示,使得智能体更加关注状态中与任务相关的部分,很大程度提升了强化学习算法的泛化性以及抗干扰性;其次,通过使用变分自编码器对动作空间进行数据增强,通过对原生动作进行编码,在信息更加丰富的动作表示空间中学习策略;最后,采用基于最大熵的策略学习方法,使智能体完全在等价状态表示空间和动作表示空间中学习策略。 最后,本文通过Deep Mind Control Suite中的经典任务Cart Pole实验验证本文所提算法的有效性。进一步地,本文在Deep Mind Control Suite中选取复杂控制任务猎豹以及人型机器人进行验证,并且通过在其原始实验环境的基础上添加干扰背景,验证本文所提基于互模拟等价的状态表示方法以及引入动作表示空间的有效性。性能实验结果表明该算法具有更快的策略学习速度以及更优秀的性能表现。此外,通过状态表示空间可视化结果表明本文所提状态表示方法可以更好的关注高维观测中与任务相关的部分;动作表示可视化结果验证了引入动作表示空间能够有效提高策略的泛化性能。

关键词： 内部威胁   马尔科夫链   粒子群算法   随机森林   参数优化   聚类分析  

摘要： 当今世界科学技术飞速发展,内部威胁作为重大隐患,严重危害了组织内部的数据安全。通过借助内部的合规权限,组织内成员会故意向外界泄露内部隐私,或者篡改内部数据,使组织遭受到破环。这些对组织内部安全构成侵害性的异常行为与日俱增。为了达到对组织内部异常行为进行有效检测的目的,针对组织内部的人员行为,本文给出一种基于优化机器学习方法的内部威胁行为检测设计方案。主要研究工作包括:(1)提出一种新的带有马尔科夫跳跃的粒子群优化算法(Markov Jumpping Particle Swarm Optimizer,MJPSO)。首先,依据评估的进化因子划分进化状态。基于齐次马尔科夫链,自适应调整粒子的惯性权重参数和加速度系数,降低在每次迭代中重复计算惯性权重的复杂度,提高粒子群(Particle Swarm Optimizer,PSO)算法的全局搜索能力。其次,分析MJPSO算法的粒子动力学的随机稳定性,引入离散时间马尔科夫跳跃Lur'e系统的框架,基于线性矩阵不等式(LMI)获得随机稳定性的充分条件。最后,基于典型的基准函数,通过与一些流行的PSO变体对比,验证所设计MJPSO算法在收敛精度、速度和稳定性上具有一定的优势。(2)给出基于参数优化的随机森林方法(Random Forest,RF)的内部威胁行为检测方案,并设计内部可疑行为异常检测框架。首先,选取CERT-6.2数据集,对员工行为数据进行预处理,以“天”为时间窗,提取单域特征并融合多域特征。其次,筛选行为特征,剔除多重共线性特征,增强模型的可解释性,降低泛化误差。再次,利用所设计的MJPSO算法优化RF方法的参数,基于MJPSO算法优化RF方法(Markov Jumping Particle Swarm Optimizer-Random Forest,MJPSO-RF)建立内部行为异常检测模型。最后,与基于PSO参数优化的RF方法以及SVM模型进行对比试验,验证所设计的内部威胁行为检测模型MJPSO-RF的有效性。(3)在构建的内部威胁检测模型的基础上,制定混合无监督聚类的威胁行为检测优化方案。首先,基于已特征选择的行为数据集,针对组织内员工的正常行为模式,利用K-均值(K-means)无监督聚类进行分组,在每一类上分别建立MJPSO-RF内部威胁检测模型。其次,对比按角色分组员工行为的检测模型。最后,通过对比实验,验证混合无监督聚类的威胁检测优化方案的合理性及有效性。

关键词： 分布式学习   半监督学习   隐私保护   流形正则化   子空间扰动  

摘要： 随着大数据的快速发展,数据量呈现指数级增长,许多数据被分散存储在网络终端中。传统的集中式学习方法需要将数据传输到处理中心进行处理。然而由于数据增长过快,单个服务器已经难以容纳如此庞大的数据量,从而无法使用集中式学习方法。除了数据量过大之外,在数据隐私问题日益受到关注的当下,保护数据隐私也变得尤为重要。传统的集中式学习方法要求所有数据在同一服务器上进行处理,增加了数据泄露的风险。为了应对以上挑战,分布式学习成为了一个重要的解决方案。本论文基于分布式学习框架,提出了两种隐私保护的分布式半监督学习算法,其具体内容如下: 1)考虑到分布式学习中存在的大量无标记数据,本文提出了基于流形正则化的分布式超图拉普拉斯算法。其目标是在不泄露原始数据隐私的前提下,实现与集中式学习接近的效果。该算法使用欧几里得距离计算数据样本之间的相似性,并仅传输样本之间的相似性数据以保护每个节点的原始数据隐私。根据每个节点内部的数据样本相似性,本算法使用矩阵完备技术获得全局距离矩阵的估计值,构建核矩阵和超图拉普拉斯矩阵捕捉数据之间的高阶关系和流形结构。通过在高维空间中使用数据样本的流形结构,该算法提高了模型的泛化性能和鲁棒性,并获得了模型的最优解。此算法的优点在于不仅保护隐私,还能够利用多个节点上的数据信息,避免了集中式学习的计算资源和存储限制,并确保算法的可扩展性和鲁棒性。实验结果表明,基于流形正则化的超图拉普拉斯算法在各种通信网络模型下均能有效收敛。另外,该算法在人脸活体检测方面的实际应用效果也得到了验证。 2)考虑到分布式学习中的隐私保护问题和通信开销问题,本文进一步提出了基于子空间扰动的隐私保护分布式超图拉普拉斯算法。该算法通过将数据投影到一对子空间中,并在其中一个子空间中加入噪声,以实现对数据的隐私保护。同时避免了安全多方计算和秘密共享方法中需要的高成本通信开销。由于子空间的获得过程可以通过奇异值分解、QR分解和LU分解等技术实现,并且对加入的噪声没有过多限制,因此该算法具有非常高的可扩展性。最后,本文通过几种不同的对比实验,证明了基于子空间扰动的分布式超图拉普拉斯算法在输出正确性和隐私保护性方面均效果良好。

关键词： 机器学习   京津冀平原区   未来气候变化   未来人口变化   地下水水位预测  

摘要： 上世纪中后期以来,京津冀平原在气候变化和人类活动的双重影响下,地下水水位急速下降,部分区域地下水超采问题严重。本研究选取京津冀平原区为研究区,探讨了研究区地下水水位动态变化特征及月均水位与气候、人口因素的相关性,明晰了研究区浅层地下水水位预测的最佳模型和技术路径,探究了2020-2050年京津冀平原区浅层地下水水位时空变化情况,揭示了未来区域浅层水水位变化对地下水资源管理措施的潜在影响。论文主要获得以下几方面认识: （1）1995-2020年,浅层地下水水位呈现先下降后基本稳定的趋势,而深层地下水水位呈现持续下降的趋势。地下水水位埋深在时间间隔为一个月时,具有良好的自相关性和偏自相关性。地下水水位与人口的相关性最高,浅层、深层地下水水位埋深与人口数量的Pearson系数分别为0.76、0.93;浅层、深层地下水水位埋深与气温的Pearson系数分别为0.26、0.30,为弱相关;仅部分井的地下水水位埋深与多期降水量相关关系较高,Pearson系数可达-0.58。气温、多期降水量、人口、上月浅层地下水水位埋深作为特征变量可准确模拟研究区地下水水位变化。 （2）运用支持向量机（SVM）算法开展研究区地下水水位模拟效果良好。多元线性回归（MLR）、人工神经网络（ANN）、支持向量机（SVM）模拟地下水水位的效果各有差异,实测值与模拟值的误差分析中,决定系数（R2）分别为0.83、0.54和0.87,均方根误差（RMSE）分别为0.53 m、1.28 m和0.49 m;历史水位均值、离散系数和波动范围与模拟效果有明显正相关关系。 （3）2020-2050年,四种情景下气温呈上升趋势,人口先增加后减少趋势,降水量在SSP2-4.5、SSP3-7.0、SSP5-8.5情景下呈上升趋势,在SSP1-2.6情景下变化趋势不明显。 （4）研究区不同气候变化情景下,地下水水位变化规律类似,但略有差异,SSP3-7.0情景下地下水水位降幅的最小,SSP5-8.5情景下地下水水位降幅最大;其中在接近当前社会脆弱性和辐射强度的SSP2-4.5情景下,区域地下水水位下降速率由1995-2020年的0.19m/a降为2021-2050年的0.09m/a;不同地区水位变化存在差异,北京城区、廊坊西部、保定中南部、石家庄中东部、邢台地区地下水水位下降趋势明显减缓,北京郊区、保定北部、石家庄西部、唐山东部和秦皇岛南部地区水位甚至由下降转为上升。

关键词： 手势识别   位置分类   降噪   特征提取  

摘要： 随着无线通信系统和智能设备的广泛部署,基于Wi Fi无线设备的手势识别和室内位置分类技术得到越来越多的应用,其原理是通过提取Wi Fi信道状态信息(Channel State Information,CSI)中的手势和位置特征来识别人类的手势和位置。与图像数据不同,CSI数据缺乏空间结构信息,无法捕捉到数据中存在的空间特征。此外,时间序列数据需要采取一些特殊的数据清洗和预处理技术来减少噪声和异常值的影响。相比于用户在固定位置的手势特征变化,其位置变化产生的幅度变化往往会影响手势特征的提取与识别。为了有效解决以上问题,本文采用深度学习的方法开展基于Wi Fi的手势识别和位置分类方法研究,主要研究工作包括:本文针对CSI数据缺乏空间特征信息,在第三章中通过格拉姆角场(Gramian Angular Fields,GAF)将包含有人员位置变化特征和手势变化特征的CSI时间序列数据转换为二维图像从而增加更多的特征。然后提出了多层感知注意力残差网络(Multilayer Perceptron SE Res Net,MLPs-Res Net)。将残差模块(Residual block)中第一层3×3的卷积层替换为两层1×1的MLP(Multi-Layer Perceptron)卷积层,减少模型参数量并加速模型的训练速度。最后在MLP-Res Net网络的7×7卷积层上加入注意力机制(Squeeze and Excitation,SE)模块来捕获每个通道的重要性,从而突出重要特征,抑制不重要的环境噪声。实验表明,其转换后的图像分类评价指标优于一维Res Net和DTW+KNN,且MLP-Res Net每一轮训练时长比Res Net少120s,证明MLP可加速Res Net训练。图像相较于时间序列而言,其特征数量更多,但训练时长过多。针对这一问题,本文在第四章和第五章中采用一维网络对手势与位置的共同特征进行提取。CSI数据采集过程中信号易受到环境的干扰产生多径效应噪声。针对该问题,本文在第四章提出了残差收缩多任务网络(Residual Shrinkage Multi-tasking Network,RSM-Net),通过收缩模块自适应地设置一个合理阈值,动态地识别、消除变换后的环境噪声。然后将消降噪后的CSI数据用于提取手势和位置的共同特征并同时输出两个任务的分类结果。除了共同特征,本文在第五章提出了手势特征抽取模块(Multichannel Fully Convolutional SE LSTM,MFCs-LSTM),用于关注与提取与位置无关的手势特征,减小位置无关特征的影响。最后,将MFCs-LSTM提取的手势特征作为辅助与RSM-Net的共享特征进行融合,提升手势识别准确率和解决模型泛化能力不足的问题。本文使用经过GAF算法转换后的CSI图像作为数据集,将本文提出的MLPsRes Net应用于手势识别和位置分类任务,其分类准确率分别为94.94%和98.4%,优于其他几个经典网络。之后通过实验表明,AFERSM-Net模型手势识别准确率为97.84%,位置分类准确率为98.92%,优于1D Res Net、DRSN、LSTM-FCNS模型。表明本文提出的方法是有效的。

关键词： 神经科学   人脑学习记忆机制   灾难性遗忘   深度学习   持续学习  

摘要： 近年来,卷积神经网络在人工智能领域取得了巨大成功,在单个任务如图像分类、围棋游戏上已经达到了人类的水平,甚至是超越了人类。但现阶段的卷积神经网络根植于封闭世界假设,即在封闭、静态、同分布的训练集上学习模型,然后在未知的开放世界中进行推理。显然,基于这种学习范式的网络无法持续地从任务流中学习新知识,难以随时间适应或扩展其行为,因此这种智能非常局限。反观人类却能从经验中学习,并将学习到的知识不断复用和拓展到新的环境,这一能力被称为持续学习或终身学习。持续学习是体现智能体具备强人工智能或者通用人工智能的重要特征,本文从人类智能的视角出发分析现有持续学习问题。持续学习中的一个基本问题是灾难性遗忘,灾难性遗忘是指旧知识的性能在智能体学习完新知识后大幅下降的一种现象。灾难性遗忘导致卷积神经网络只能掌握当下或近邻的几个任务,因此无法增量地扩展知识。在持续学习范式下,源源不断的任务被不断地输入卷积神经网络中进行训练,网络根据每个任务的数据表征,在优化策略的指导下,动态地更新模型参数。这其中存在三个引发或加剧灾难性遗忘的问题:(1)模型中参数重要性衡量的准确性问题:模型中的参数包含了关于任务的信息,在学习过程中保留重要参数可以避免遗忘,因此能否准确地衡量参数重要性对网络克服灾难性遗忘有重要影响。(2)连续任务中数据的相似性问题:任务中数据的相似性过大会导致两者的决策边界模糊,使网络无法学习到类别的关键特征从而加剧遗忘,因此能否降低连续任务中数据的相似度对网络缓解灾难性遗忘有重要影响。(3)局部最优点扰动下的平稳性问题:若目标函数在优化空间中取得了平稳度较低的局部最小值,网络在后续更新中更易脱离其最优的参数空间从而引发遗忘,因此能否引导局部最优点处于平稳度较大的特征空间对网络缓解灾难性遗忘有重要影响。基于此,本文受人类记忆机制启发,从学习范式中的模型、数据和训练策略三个要素出发设计算法,缓解灾难性遗忘问题,实现卷积神经网络的持续学习。总结而言,本文的具体内容如下:(1)持续学习综述:从人类智能的视角出发目前有较多关于持续学习的综述,但其基本偏向于总结持续学习问题的某个特定方面,如算法、应用或评价指标等。然而,卷积神经网络持续学习的目的是贴近人类这种高阶智能,而上述综述不足以从更本质和全面的角度审视现有研究进展。人类完整的持续学习过程由信息回顾、信息前瞻和信息迁移三部分组成。其中,信息回顾指记住以前学到的信息,信息前瞻指不断学习和推断新信息,信息迁移指在不同信息间传递有用知识。本文立足于人工神经网络和卷积神经网络的共性和联系,依次从信息回顾、信息前瞻和信息迁移三个角度出发总结和分析现有持续学习算法、评价指标和应用,从而展示当前卷积神经网络持续学习的成果和其与人脑等高阶智能体的差距。(2)基于神经元消亡行为的卷积神经网络二阶参数重要性估计方法从模型角度出发,灾难性遗忘的发生是因为旧任务的参数被新任务的参数覆盖或改变,从而导致网络丢失了旧任务的重要特征。现有正则化法通过目标函数关于参数的一阶导数即梯度来衡量参数重要性,然而一阶导数只反映了目标函数的局部性质,并未完全反映参数关于任务的全部特性,因此存在重要性估计不准确的问题。不准确的参数重要性会导致模型丢失任务的关键知识,不利于克服灾难性遗忘。突触可塑性机制认为人脑实现记忆与遗忘的精准平衡是依赖于级联神经元间的重复刺激和持久失活。受此启发,本文提出一种基于神经元消亡行为的二阶重要参数性估计方法。该算法的基本假设是一个参数失活后,若模型的损失大幅提高,则其重要性较大,反之亦然。在此基础上,算法通过泰勒展开衡量目标函数的损失值,并保留一阶导和二阶导最为参数重要性的估值,之后通过高斯牛顿法将二阶导数中的海森矩阵优化为费尔信息矩阵,从而得到最终的参数重要性。本文的算法在图像生成和图像去雨领域取得了较好的持续学习效果。(3)基于相似表征分离的卷积神经网络连续数据抗扰动方法造成卷积神经网络灾难性遗忘的第二个因素是连续任务中的相似数据。持续学习中的数据存在先后顺序,当后序数据与前序数据较为相似时,灾难性现象会被更加严重。该现象的发生是因为相似数据在特征空间中是互相纠缠的即特征分布有较大的重叠,因此后续任务很容易覆盖与其相似的前序任务,进而导致模型丢失前序任务中的关键信息。现有算法严重忽略了数据自身也会造成遗忘这一问题。干扰理论认为互为竞争的信息容易互相干扰产生遗忘,而克服记忆干扰的方式之一是加大学习分区不同信息的特征的力度。受此启发,本文提出基于表征分离的卷积神经网络相似数据判别法。该方法将相似任务中数据的混淆性转化为可分性,通过构建当前任务训练批次下的相同样本集和相似样本集,并设计相似分离函数来最小化相同样本集数据间的特征距离,最大化相似样本集数据间的特征距离,使网络学习相似类别中各自最具判别性的特征。本文的算法在