关键词： 小样本增量学习   灾难性遗忘   多跳图   长短期记忆网络   粗标记  

摘要： 得益于深度学习的快速发展,神经网络在自然语言处理、图像分类、目标跟踪等领域得到了广泛应用,而灾难性遗忘一直是神经网络研究领域面临的重要问题之一。小样本增量学习伴随着深度学习发展而来,同样也会面临灾难性遗忘问题。本文从卷积神经网络分类器和训练过程中隐含的时间序列关系两个方面入手,针对性地处理灾难性遗忘问题。首先,引入了多跳图注意力模块,提出了基于多跳图注意力的小样本增量学习算法。然后,利用长短期记忆网络(Long Short Term Memory,LSTM)来建模增量学习过程中的时间序列关系,显式挖掘局部上下文信息,提出了基于LSTM特征记忆的小样本增量学习算法。本文的主要工作如下:1,针对单跳图注意力网络只能挖掘相邻节点信息的问题,提出了基于多跳图注意力的小样本增量学习算法去显式地探索全局上下文信息。从注意力聚合的角度改进了注意力得分的计算方式,从而使得注意力网络能够充分挖掘和利用上下文信息。然后,在此基础上提出了使用多跳图注意力的小样本增量学习算法,将特征信息映射到拓扑空间中进行节点创建、更新,并使用此算法来更新原始网络中的分类器。在CIFAR100和CUB200数据集上进行了5-way 5-shot等场景的验证实验,结果表明所提算法充分考虑了多跳结构来建模全局上下文信息的关键性作用,获得了较高的准确率和较低的遗忘率。2,为了增强局部上下文特征的关联,提出了基于LSTM的特征记忆算法。LSTM引入的“门”机制,能够通过利用于上一会话状态与当前会话状态之间的局部特征信息,显式地挖掘局部上下文信息。将上一会话状态中的特征信息和当前会话状态中的特征信息送入LSTM,获得状态叠加后的新的特征信息。接着,使用粗标记信息强化增量过程中LSTM记忆的特征。在CIFAR100和CUB200数据集上进行了5-way 5-shot等场景的实验验证,结果表明所提算法有效地利用了局部上下文信息,获得了较好的分类效果和较低的遗忘率。本文共有图33幅,表21个,参考文献84篇。

关键词： 时序数据   自适应学习   概念漂移   图神经网络   时间卷积网络   预警模型  

摘要： 大数据时代的来临使得各行各业都产生了大量的时间序列数据,合理的利用和分析这些数据可以为人们提供很多的有效信息,协助领域专家做出正确的决策。在挖掘时序数据信息的过程中,与传统数据挖掘不同,需要考虑实时数据和离线数据,还需要挖掘数据与时间之间的相关性。本文分别针对实时数据和离线数据采取自适应学习和深度学习模型构建概念漂移检测算法以及预警模型。 (1)针对实时数据流的概念漂移检测中,单学习机无法适应真实世界复杂的概念漂移场景,通过引入了选择性集成的思想,减少历史分类器中基分类器之间的相关性,压缩集成模型的规模,提出了一种基于改进的随机森林的概念漂移自适应检测算法。通过集成学习结合历史信息的优势对数据流进行概念漂移检测。该方法的主要思路是基于随机森林特征构造的随机性,最大程度提升对历史信息的应用,使得算法针对不同类型的概念漂移都能够适应检测。 (2)针对传统概念漂移检测算法只能检测概念漂移的位置和基类别的问题,本文提出了一种基于自适应滑动窗口的概念漂移检测方法CD＿BCS。该方法通过改进的K-means聚类算法建立基准窗口,结合统计过程控制系统确定概念漂移类别以及定位概念漂移节点,最后设定追踪窗口识别概念漂移子类别。实验结果表明,CD＿BCS方法在检测概念漂移节点和概念漂移跨度时表现优秀。该方法不仅能够识别常见的概念漂移子类型,而且为流数据概念漂移检测算法的泛化性和可解释性提供了新的解决思路。 (3)针对自适应学习概念漂移检测无法有效利用数据的历史信息,对模型进行提前预警的问题,本文以传统工业设备维护策略为背景,提出了一种预测性的维护策略——预警模型。该模型主要由预测、报警两个模块构成,并且能够实现在线状态监测。在预测模块,采用了图神经网络与时间卷积网络双通道输入模型,并对图神经网络中的图结构学习模块进行了改进,优化了图结构。在报警模块,结合专家经验与数理统计知识,提出了一种基于异常得分和异常区间累积的分级报警机制,使用高炉煤气余压透平发电装置(TRT)数据集验证了预测算法的性能以及预警指标的有效性。采用真实数据和公开数据的实验结果表明,所提预警模型的预测性能优于现有方法。在真实TRT数据集上,评价指标MAPE为6.5693%,在开放数据集上,MAPE为1.3368%。本文提出的预警模型的预测性能优于基线方法和深度学习网络,预警性能优于工业互联网中现有的自动判读以及人工判读方法。

摘要： 语音是语言的基础，没有正确的语音，就无法进行正确的表达，因此，英语学习中的语音学习是非常重要的。对于英语语音学习而言，初中阶段是关键时期，这个阶段的学生有很多知识需要学习，但是由于缺乏一定的英语基础，在这个阶段的学生很容易出现发音不准确和不标准等情况。学生在学习过程中对单词读音的准确性不够重视，没有认真跟着老师进行模仿练习。这些现象都会对英语语音知识学习造成一定影响，不利于学生学习英语语音知识。因此，教师应该针对初中阶段的学生在语音学习过程中出现的问题制定相应的解决策略。

关键词： 个人信用风险评估   互联网大数据   LightGBM算法  

摘要： 我国的消费信贷市场,在经过了十多年的爆发式增长之后,逐步过渡到了稳健发展的新阶段。在双循环大背景下,消费金融重要性不减。同时,信贷风险的成因也变得更为复杂,对整体经济的影响面也越来越大。传统的信贷评估方法存在着难以处理大规模数据、评估精度不够高等问题,因此,信用风险评估从定性的方向逐步转向统计学、机器学习等方法研究。如何构建一种高效、准确的个人信用评估方法成为了当前的热门研究领域。现有的机器学习方法,比如支持向量机、决策树、神经网络等,在信用风险评估问题上表现出比统计模型更好的性能。大数据为消费金融个人信用风险评估提供了新思路。将用户在互联网的多维行为数据应用于模型训练,构建出更加丰富的用户画像,充分挖掘社交大数据价值,并使用先进的机器学习方法进行个人信用风险的评估研究具有重要的理论及现实意义。本文基于真实的互联网消费金融消费信贷数据,纳入新型互联网多维度数据,初步建立基于逻辑回归、GBDT、LightGBM三种方法构建信用评估模型,利用精确率、召回率、AUC等模型评价指标对比分析。实验表明,基于LightGBM的机器学习方法的风险评估模型,在实际应用场景具有一定的可行性和研究价值,在保证精确率和一定的召回率前提下,能够有效识别消费信贷中个人信用风险,并召回风险用户。

关键词： RNA干扰   VsiRNAs   Word2vec   FastText   集成学习   深度学习  

摘要： RNA干扰是一种特殊的转录后基因沉默现象,它是由双链RNA分子通过耗能过程降解为21-23nt的小干扰RNA(small interfering RNA,si RNA)从而抑制同源m RNA的表达,在调节各种真核生物的基因表达方面发挥重要作用。本文研究了识别小干扰RNA的问题并构建了有效的预测模型,主要选用集成和深度学习算法。本文的研究内容具体如下:(1)针对植物中病毒衍生的专属小干扰RNAs识别精度较低的问题,本文采用深度学习和集成学习方法构建了预测模型。我们基于卷积神经网络、多尺度残差网络和带有自注意力机制的双向长短期记忆(Bi-directional Long Short-Term Memory,Bi-LSTM)网络构建多层框架,学习word2vec和fast Text编码方案的序列信息。在选择最优参数组合后,我们保留了敏感度最高的五个模型。然后,通过比较不同的集成策略,我们采用逻辑回归将这个五个模型整合为最终的预测器,命名为COPPER。为了进一步证明COPPER的泛化性,我们将其与PVsi RNAPred在独立数据集上进行了比较,并评估了其在具有不同相似性的si RNA序列的同源效应上的性能。此外,还进行了烧蚀研究,以确定模型中每个部分的重要性。(2)相位小干扰RNA(phasi RNA)是植物次生小干扰RNA,通常由mi RNA和聚腺苷化m RNA聚合产生。本文提出了使用深度学习方法预测mi RNA触发phasi RNA位点的预测器DIGITAL。首先从Tar DB数据库中收集阳性数据,获得了5408个mi RNA触发21-nt phasi RNA的数据和443个mi RNA触发24-nt phasi RNA的数据,并通过在阳性样本中随机替换一定数量的核苷酸生成阴性数据。然后使用one-hot方法对生物序列编码,在基于多尺度残差网络和双向LSTM的深度学习模型上对数据进行训练,并通过贝叶斯优化来选择最佳参数,以使ACC值最大化。此外,还构建了六种传统的分类算法:支持向量机、朴素贝叶斯、k近邻、极端梯度提升、逻辑回归和随机森林,并与DIGITAL进行比较,结果表明了我们模型有效性。

关键词： 联邦学习   本地差分隐私   个性化隐私保护   隐私预算分配   层维度选择  

摘要： 随着大数据和物联网的快速发展,高敏感度、高价值的数据正以前所未有的规模迅速增长。利用人工智能算法可以有效分析这些数据,使用户和企业获益。然而,传统人工智能算法需要获取分散的用户和企业数据进行联合训练,数据在传输和联合训练等环节无法完全确保隐私安全,导致人工智能算法陷入数据孤岛困境。为解决此问题,本地差分隐私联邦学习(Local Differential Privacy Federated Learning,LDP-FL)应运而生,可以防止真实数据泄露和敌方通过模型反转推断个人信息,提供双重数据安全保障。然而,目前LDP-FL仍偏向于最大化挖掘数据价值,常忽略用户对个性化隐私安全保护的需求。同时,其训练方法过于简单,仅考虑了本地差分隐私和联邦学习两种技术方案的直接对接,忽略了LDP对高维参数扰动对FL模型训练效率的重要影响。具体研究内容如下:(1)基于个性化本地差分隐私的联邦学习模型。为了满足不同用户的隐私保护需求,本文基于指数分布和最大似然估计提出个性化本地差分的隐私联邦学习模型。首先,通过不同隐私需求的用户比例,基于指数分布构建总体隐私预算量化方案,将隐私需求量化为具体的隐私预算。其次,考虑到用户选择不同的隐私保护等级会导致本地参数受到不同程度的扰动。为了在多个隐私场景下准确聚合本地模型参数,本文采用最大似然估计方法构建了一个无偏且方差较小的均值估计器。最后,在MNIST和Fashion-MNIST数据集上进行了大量的仿真实验,验证了本文提出的个性化本地差分隐私的联邦学习模型在满足用户多种隐私保护需求的同时,能够获得不错的模型精度。(2)融合随机扰动的自适应联邦学习本地差分隐私保护方法。为了减少高维模型参数扰动对模型精度的影响,本文基于本地差分隐私机制提出了层维度选择策略。根据网络层数,随机选择一些梯度进行扰动,同时保持其他层不变。这一策略保护用户隐私信息且有效减少高维模型参数的影响。此外,为了进一步提高模型训练精度,本文还提出了两种动态隐私预算分配方法。第一种方法根据训练模型准确性的变化实时调整隐私预算。第二种方法则通过预先定义多项式线性增长函数实现隐私预算的线性增长,避免了额外的比较操作。最后,在MNIST和Fashion-MNIST数据集上的仿真实验表明本文的方法可以有效提高模型的训练效率。

关键词： 深度学习   小样本学习   图像分类   图神经网络   扩散模型  

摘要： 近年来,在大数据的支撑下,深度学习模型在计算机视觉和自然语言处理等领域有非常出色的表现。但是,在实际应用中可能会出现训练数据不足的情况,少量的训练样本无法描述整个数据集的分布情况,深度学习模型可能会过度拟合于这少量的数据,导致模型的性能不佳。因此,小样本学习被提出来用于解决这一问题。如何基于少量的训练样本,寻找更有效的方法来训练深度学习模型,使得模型能够泛化到新的样本,是小样本学习研究的目标。虽然现有的小样本学习方法对于解决小样本问题已经取得不错的效果,但是还存在一些问题。一方面,大多数基于数据增强的小样本学习方法都没有很好地保证生成样本的质量。另一方面,一些基于图神经网络解决小样本图像分类问题的方法,未能引入更多的先验信息,没有很好地发挥出图神经网络模型强大的推理能力。针对以上问题,本文提出了改进的方法。针对大多数基于数据增强的小样本学习方法都没有很好地保证生成样本的质量这一问题,本文提出了基于DEP-Net(Delta-Encoder Prototypical Network)的小样本图像分类方法。使用改进的自注意力机制计算类别的原型表示,再使用编码器去学习原型与类内样本之间可迁移的差异信息,解码器将提取到的差异信息迁移到新类,生成更多的样本。类内样本与原型的差异信息涵盖了更丰富的语义信息,在一定程度上保证了生成样本的多样性。通过设计相似损失和分类损失来保证生成样本的真实性、可判别性。本方法在一定程度上提升了生成样本的质量,为模型提供更全面的先验信息,缓解了模型训练容易过拟合、泛化能力差等问题。为了验证本方法的有效性与优越性,本文在mini Image Net、CUB、CIFAR-FS等三个基准数据集上进行了对比实验。实验结果表明,本文提出的方法能够有效地提升小样本图像分类的准确率。针对基于图神经网络解决小样本图像分类问题的方法未能引入更多的先验信息,没有很好地发挥出图神经网络强大的推理能力,本文提出基于扩散模型与图神经网络的小样本学习方法。由于扩散模型比变分自编码器等模型有更强大的生成能力,本文选取扩散模型来丰富训练集的信息。首先,将分类任务中的图像映射到隐空间后,输入到扩散模型,扩散模型根据带标签样本的监督信息去生成更多拟合真实分布的样本。然后,将扩充后的样本集输入到图神经网络中,样本作为图中的节点,样本间的关系作为图中的边,迭代地更新节点特征和边特征,最后,根据测试样本与带标签样本之间的边信息来预测该测试样本的类别。在基准数据集上的实验结果验证了本方法的有效性,对比以前的基于图神经网络小样本学习方法有了一定的提升。

关键词： 小样本学习   分层分类   特征关系   粒计算  

摘要： 小样本学习面临的关键问题是如何从有限的数据中挖掘有效信息,建立具有泛化能力的分类模型,从而更加准确地辨别新任务样本的类别。当前的小样本学习方法主要侧重于挖掘数据特征中含有的关系和信息来提升模型的性能。多数方法假设类别之间是相互独立的,忽略类别的相关性。然而,在实际应用中,数据类别之间往往是相互关联的,如类别分层结构中的多粒度关系。类别分层结构主要是采用粒计算思维,来源于人类“由粗到细”的认知机制,是辅助小样本学习的一种重要工具和知识。如何借鉴粒计算思想,利用类别多粒度关系来引导特征关系的学习是小样本学习的重要挑战。本文聚焦于基于特征关系的分层小样本学习方法研究,主要内容包含三个方面:1)基于关系网络特征度量的分层小样本学习方法:针对当前小样本学习模型假设类别是相互独立的,忽略类别之间的相关性的问题,提出了基于关系网络特征度量的分层小样本学习模型,利用类别分层结构,引导学习特征的相似性和类别的相关性。2)基于全局局部交叉度量的分层小样本学习方法:针对小样本学习模型在数据稀少情况下易产生信息误差、受背景知识干扰的问题,提出了一种基于全局局部特征度量的分层小样本学习模型。从特征和类别的双视角出发,考虑特征的全局性和局部性以及类别的相关性学习获得更具区分性性的特征表示,以减少背景知识对模型的干扰。3)基于语义引导特征对比的分层小样本学习方法:针对类内方差大或类间共性大的样本难以区分的问题,提出了一种基于语义引导特征对比的分层小样本学习模型。一方面,引入了一种基于语义引导的监督对比学习算法来研究类内具有区分性的特征表示,另一方面,借鉴“由粗到细”的粒计算思想,采用数据分层异步推理策略,从大范围到小范围传播学习类间特征的共性,从而提高模型的分类能力。综上所述,本文基于特征关系的视角,利用粒计算思想,从特征度量到特征对比,充分挖掘和学习特征之间的差异性和相关性,区别于传统扁平的小样本学习方法,构建分层小样本学习框架,为后续小样本学习方法研究提供新思路。