关键词： 小样本   命名实体识别   专利文本   MLM   NLP  

摘要： 近年来,在自然语言处理方面,深度学习技术已经有了长足的进步。但是,大多数的深度学习都是通过对大量的标记样本学习,完成对目标任务的模型构建。然而,在某些情况下,由于涉及数据隐私保护,获得足够的训练样本变得非常困难。除此之外,对海量样本的标记也非常费时费力。为了解决小样本情况下自然语言处理问题,学者提出了小样本学习方法。但是,其中大多数的小样本学习模型参数设定较多、模型复杂度大,对计算机的算力要求非常高。为此,本文提出了基于MLM(Masked Language Model)模型的小样本学习方法。在多个数据集上的仿真实验结果表明,该方法在小样本学习任务上优于经典的机器学习及深度学习方法。本文具体研究工作如下:(1)提出了小样本学习训练方法FPT-MLM(Few-shot Pattern Training based on MLM),完成了小样本自然语言处理任务。该方法每次选择一小部分token来掩盖,然后在同一个样本上反复训练,获得双向融合信息的训练模型后,再将测试集转换为填空概率问题,并适当添加前缀或者后缀,然后利用解码层进行解码,最终得到预测标签序列的概率,实现自然语言的识别、分类及分析。(2)将提出的FPT-MLM方法应用于专利文本实体识别。针对专利文本领域缺乏足够的标注数据以及少量样本情况下传统的实体识别方法准确性偏低等问题,选取压力传感器制备领域的少量专利摘要文本,采用BMEO标注的方式进行人工标注,建立了带标签的中文专利摘要实验语料库。利用本文提出的FPT-MLM方法,完成了特定专利领域实体识别任务,识别效果较机器学习方法和深度学习方法,其准确率和F值均表现优异。(3)将提出的FPT-MLM方法应用于小样本情感分析和短文本分类中,实验结果表明,该方法可以有效的减少模型复杂度并保持基准效率。

关键词： 度量学习   图像检索   分布量化   分层加权   噪声过滤  

摘要： 度量学习作为衡量样本间相似度的基础技术,广泛用于图像检索、图像聚类和人脸识别等计算机视觉领域相关任务中。度量学习通过学习一个样本映射空间,使得空间中相似样本的距离近,不相似样本的距离远,从而达到样本分离的目的。目前度量学习与深度神经网络相结合,可应用于更加复杂的场景,但随着应用的不断拓展,冗余繁杂的信息也为度量学习任务带来了更多挑战。本文对深度度量学习方法开展研究,以现存方法中的三个研究难题为切入点进行深入剖析,分别提出应对策略。本文的主要工作和贡献如下:(1)针对人工标注误差导致的标签噪声干扰问题,本文额外构建一个内存空间,用于存储训练集中的干净样本,并以其中的数据分布特征为参考,指导过滤器进行动态学习。本文将内存空间的构建与过滤器的学习共同输入到迭代训练过程中,从而不断训练模型的标签噪声筛除能力。(2)针对采样边界无法根据数据分布自适应调整的问题,本文设计了一种自适应学习数据分布的采样策略。相对于采用固定边界的策略,本文通过高斯分布刻画了不同类间的数据分布情况,以此针对不同类间分布指导采样策略进行自适应学习,并利用原始记录值与当前变化值不断更新数据分布。(3)针对加权策略中样本信息使用不充分的问题,本文利用采样策略中分层次采样所设定的采样边界,细化不同分布范围内信息的贡献权重,在不同的分布范围设定不同的权重系数。本文根据样本携带的信息量,最大化利用样本信息,从而避免单一加权模式下的精度损失。(4)综合上述三方面工作,本文提出基于数据分布的抗噪分层加权深度度量学习方法(Noise-Resistant Hierarchical Weighting Method for Deep Metric Learning Based on Data Distribution,NRHWD)。本文在CUB-200-2011、Cars196以及SOP等度量学习领域的3个公开数据集上,通过与N-pair Loss、Ranked-List Loss和Memory Contrastive Loss等6种优秀深度度量学习方法的对比实验,以及针对自身模型的超参数敏感性实验和剥离实验,验证了NRHWD的优越性和有效性。

关键词： 可解释性   气动数据建模   深度学习   与模型无关的局部解释方法  

摘要： 机器学习和深度学习在空气动力学领域的应用在最近几年逐渐兴起,研究人员不断尝试探索深度学习与气动数据建模的结合,得到了一些有意义的成果,但也存在很多难点仍未解决。由于缺乏可解释性,基于深度学习的气动模型通常被视为黑盒模型,没有人可以确切地知道模型做出决策的依据以及决策是否可靠,尽管模型在数学公式上清晰透明,但应用在具体场景时物理意义通常并不明确,导致模型并不被空气动力学的专家认可。为了提高针对气动数据的深度学习模型的可解释性,建立普通用户与决策模型之间的信任关系,消除气动数据模型在实际部署应用中的潜在威胁,本文首先研究了机器学习的可解释性的相关理论与技术基础,其中着重研究了与模型无关的局部解释方法(LIME),然后将其应用在基于深度学习的气动数据建模中,对黑盒预测模型进行了解释。在原始解释模型的基础上,本文提出了三种对于LIME的改进模型---Uniform LIME、GANLIME和CGANLIME,弥补原始LIME应用于表格数据的回归问题时出现的扰动样本分布不均匀的问题、生成扰动样本的过程中忽略特征相关性的问题和生成扰动样本不可控的问题。针对M6跨声速机翼数据集,本文使用原始解释模型和三种改进模型对基于深度学习的黑盒气动模型预测升力系数、阻力系数和力矩系数的结果进行解释,对比局部解释结果和全局解释结果,定性地分析解释模型的优劣。并通过计算模型评价指标定量地评估不同的解释模型,具体的比较模型的好坏。实验结果表明,LIME可以有效地解释基于深度学习的气动数据模型,三种改进模型能够解决对应的问题,获得了更好的解释效果和更高的评价指标。

关键词： 强化学习   Rollout算法   深度强化学习   蒙特卡洛树搜索   Q学习算法  

摘要： 近些年来,强化学习已经在规划与调度问题、游戏人工智能、机器人控制等多个领域进行了广泛的应用,并取得了巨大的成功。在现有的强化学习算法中,Rollout算法作为简单且高效的强化学习代表算法,已经成为研究强化学习问题的主流解决算法。本文将先对当前已有的强化学习算法进行综述,并对当前强化学习中尚未解决的问题进行归纳分析。并且针对当前Rollout算法中基于模型模拟的蒙特卡洛方法以及基于时序差分的状态价值估计方法所存在的挑战问题,在理论框架,探索策略以及价值函数更新算子进行了如下工作: (1)针对Rollout算法中基于模型模拟的蒙特卡洛方法在解决具有巨大空间的强化学习任务时所面临的探索效率低下问题提出了一种新的强化学习算法GLVS。并结合现实场景中具有NP难属性的调度问题进行数值模拟实验,通过理论分析和实验结果表明GLVS具有比其他流行基准算法更好的性能。 (2)针对Rollout算法中基于时序差分的状态估计方法在解决具有稀疏奖励的强化学习任务时所面临的探索策略低效问题,结合UCB算法提出了一种集成探索策略UCB-Q和强化学习算法Alter DQN。通过在不同的强化学习实验环境上的实验结果可表明Alter DQN具有比其他流行基准算法更好的探索性能。 (3)在具有稀疏奖励的强化学习任务中,Rollout算法中基于时序差分的状态估计方法还面临着价值函数学习效率低下问题。对于该问题提出了一个高效探索和学习的集成强化学习框架TEAM-Q。通过理论分析和实验结果表明所提出的TEAM-Q框架能够有效提升智能体的探索效率和学习效率,取得比流行基准算法更好的性能表现。

关键词： 智能电表   数据应用   用户分类   用能分解   深度学习  

摘要： 电力市场的改革促使电力部门开始以用户需求为导向,向用户提供高质量与个性化的用能服务。随着智能电表的广泛应用,智能电表所记录的海量用户消费数据不仅使用能数据分析成为了可能,还为电网智能化、个性化管理创造了条件。与此同时,伴随着深度学习方法的迅猛发展,深度学习方法为提取复杂环境下的用户用能特征提供了可行方案。为进一步发挥深度学习方法在用能数据深度分析方面的作用,本文开展了基于深度学习的用户分类与用能分解研究,提出了一种基于自学习边权重的图卷积用户分类网络和一种基于改进时序卷积网络的并行非侵入式用能分解方法。本文的主要工作如下:(1)介绍了基于用户用能数据的用户分类与非侵入式用能分解的相关知识,并给出了相关问题的解决思路。此外,详细阐述了几种用于后文研究的典型深度学习方法,并剖析了不同方法的优缺点。(2)为实现基于智能电表数据和用户信息的用户分类,提出了一种基于自学习边权重的图卷积分类网络(AEW-GCN)。在该网络中,首先构建了基于注意力机制的图转化层,实现了由离散电表数据到图数据的转换与学习;其次,分别从图数据结构和图节点数据提取特征,引入带有跳跃连接的残差网络进行特征筛选,并基于筛选特征产生特征重构图;最后,构建了图卷积分类器输出分类结果。为验证该方法的分类性能,分别在两个真实用能数据集中进行对比实验。实验结果表明,所提出方法能够有效学习不同类别用户特征完成分类,并在多种对比方法中取得最优性能。(3)为在用户分类基础上实现用户用能分解,同时提高现有分解方法的性能,提出了一种基于改进时序卷积网络(DBB-TCN)的并行非侵入式用能分解方法。在该方法中,首先提出了基于峰谷区间的数据划分方法,实现了原始数据的高低耗能区间的有效分类;其次,给出了一种基于DBB-TCN的长期分解子网和一种基于卷积自编码器(CAE)的短期分解子网,通过提取设备长期与短期特征实现用能分解;最后,长短期分解子网的输出在全连接层中实现有机统一,输出网络分解结果。为证明所提出方法的有效性,分别在UK-DALE和REDD两个用能分解数据集中进行实验,并与其他现有的分解方法进行对比。实验结果表明,所提出的基于改进时序卷积网络的并行分解方法可有效实现用户用能分解,且相比其他方法拥有更好的性能。(4)对本文所提出的用户用能分析方法进行了总结,反思了相关方法在用户分类与用能分解上的不足,并对下一步的研究进行了展望。

关键词： 歌唱家李鳌   演唱艺术特点   代表作品   学习方法  

摘要： 随着我国声乐艺术水平不断提高,声乐舞台不断涌现出技艺精湛、情感动人、表现力丰富的优秀歌者,繁荣了声乐艺术舞台,也为青年学子树立了榜样。近年来,在国际国内舞台崭露头角的青年低男中音歌唱家李鳌,就是其中的一位,他音色圆润而结实,浑厚而灵活,纯熟的歌唱技巧和声情并茂的舞台表演,年仅30岁的他曾先后荣获文化部第八届全国声乐比赛“文华奖”铜奖、台北世界华人声乐大赛首奖、第十四届CCTV全国青年歌手电视大赛美声唱法优秀奖、第21届多明戈世界歌剧声乐大赛男声部第一名、2018比利时伊丽莎白女皇国际声乐大赛第三名等众多国内外重要声乐奖项。也是笔者近几年关注、学习受益很多的一位歌唱家。笔者通过对李鳌声乐艺术成长经历的探寻和疏理,对其演唱风格特点的总结、提炼,对其代表性作品演唱的观察、剖析,以及对李鳌老师本人采访和他歌唱方法、理念的探究,并由此获得了声乐学习的重要的启示和心得。本文本文运用文献研究法、演唱评述,以及中心人物访谈等研究方法,对全文展开五个方面的论述:(一)歌唱家李鳌的学艺经历和艺术成就(二)歌唱家李鳌的演唱艺术特点(三)歌唱家李鳌演唱的代表作品(四)歌唱家李鳌讲述歌唱方法和学习建议(五)歌唱家李鳌的演唱艺术启示。从中试图对新一代歌唱家李鳌的成长经验、学习方法、演唱风格等进行多角度的分析和总结,从中发现很多值得笔者学习的方法和经验,不仅是李鳌老师个人的成功经验,更是益于所有的声乐学习者借鉴和参考的,本文试图深入挖掘其表象和内涵,为演唱实践进行有效总结和理论探索。

关键词： 蛋白质表征   深度学习   蛋白质溶解性   蛋白质亚细胞定位  

摘要： 随着测序技术的不断进步和发展,针对不同物种及组织的蛋白质组测序已经为国内外研究者提供了多样化的蛋白质序列数据库。可用蛋白质序列数量的不断增加,也让对于蛋白质生物学以及蛋白质相关下游任务的研究向数据驱动转变,机器学习和深度学习方法在蛋白质组学相关任务中被广泛应用。如何从蛋白质序列中挖掘得到蕴含结构和功能语义信息的蛋白质向量表征,已经是国内外研究者关注的热点。另外,海量的蛋白质序列数据背景下也出现了另一种矛盾,对于某一特定生物问题,可获取的有任务标签的蛋白质序列数据往往规模较小,使得深度学习模型无法发挥其性能。针对上述两个问题,本文提出了两种基于序列的蛋白质表征学习方法,并分别将其应用在蛋白质溶解性预测问题以及蛋白质亚细胞定位问题上。 首先,针对蛋白质序列数据相关的特定监督学习任务场景下,提出了一种端到端的多维度蛋白质序列嵌入方法。该方法基于蛋白质的氨基酸序列,计算衍生出蛋白质结构信息序列,并行的输入卷积池化模块,从多个维度的序列学习蛋白质不同层面的特征表示。不同的特征表示之间可以互相补充,共同对蛋白质进行刻画。在蛋白质溶解性预测问题中应用该方法,所提出的EPSOL模型优于目前现有的所有基于序列的溶解度预测方法,预测准确率为0.79,马修斯相关系数为0.58,相较于最接近的方法分别提升了2.6%和5.5%。EPSOL更高的性能可用于大规模的筛选可制造性强的序列变体,并以更高的可靠性预测新的重组蛋白在大肠杆菌表达系统中的溶解性。 其次,针对于有生物学先验、可进行知识迁移的两个或多个任务的场景,提出了一种基于多任务学习模型的迁移学习方法。该方法通过多任务学习模型,打破单个任务下有标签数据规模的限制,扩充数据量,并能充分利用进化关系或物种间的相似性生物先验,选择可进行知识迁移的数据和任务,提升多任务学习模型中每个子问题的预测效果。利用革兰氏阳性细菌和古菌的蛋白质亚细胞定位标签以及蛋白质序列数据进行了实验验证。通过实验评估,说明以多任务学习进行知识迁移的方式能够更好的利用进化关系、功能关系或其他有生物意义的先验知识解决生物学相关问题。

关键词： 认知诊断   机器学习   分类准确性  

摘要： 认知诊断理论（cognitive diagnostic theory），在对个体能力水平进行评估的同时，还能了解学生对各个知识点的掌握情况。而传统的认知诊断模型进行参数估计的准确性往往依赖较大的样本量，这不符合现实中课堂教学模式下形成的小样本环境。因此，有研究者提出了机器学习方法进行认知诊断能够在小样本中提取关键信息，且对于各种不同的数据具有很好的稳健性，从而实现比较准确的分类。　　但是以往研究中缺少对于不同机器学习方法之间判准性的比较，且有一些机器学习方法并未涉及，例如朴素贝叶斯、决策树、回归树、随机森林等。其中决策树模型在较少数据的情况下比其他复杂的模型对于简单分类问题更具优势，且对于结果的解释不需要数学背景;随机森林算法对噪声具有很好的抵抗能力，能够适应多种数据类型;朴素贝叶斯分类模型简单且有效，在训练样本数量较少的同时，依旧能够较为准确的实现预测。因此本研究采用包括以往研究中出现的三种机器学习方法（K-邻近，神经网络，支持向量机），同时加入四种新的机器学方法（朴素贝叶斯、决策树、随机森林、回归树）共七种机器学习方法对小样本下认知诊断数据进行拟合，比较不同机器学习方法与传统模型对结果的预测情况。　　本文共三个研究，研究一和研究二是模拟研究，研究三是实证研究。研究一的目的是将K邻近、神经网络、支持向量机、朴素贝叶斯、决策树、回归树、随机森林共七种机器学习方法在模拟研究中对认知诊断被试的属性掌握模式进行判准率检验，探究不同机器学习方法对被试的属性掌握模式进行判准的可行性。研究二旨在将研究一中筛选出的机器学习模型在小样本下与传统的DINA模型进行比较，探究不同机器学习方法在小样本下的分类准确性。研究三则通过设计实验，将被试进行分组学习作答来体现现实认知诊断评估的真实过程，以验证多种机器学习方法在真实数据中进行认知诊断的预测能力。研究结果表明：　　（1）机器学习方法的分类准确性受到属性数量（即分类数量）的影响较大，除了回归树模型在分类数据中的表现较差，其他的模型均表现较好。　　（2）在小样本模拟数据中，决策树模型和随机森林算法分类准确性表现较好。其中随机森林算法在样本量为100时与DINA模型的判准率持平，样本量为150、200时均超过了DINA模型。　　（3）在实证研究中，机器学习方法的判准率结果均优于DINA模型，这有可能是因为机器学习方法的鲁棒性以及模拟研究过程中数据生成依靠的就是DINA模型。　　（4）在实际小样本认知诊断测量中建议使用决策树和随机森林算法，但是要求总的属性数量较少或者存在属性层级关系。

关键词： 多目标学习   多梯度下降算法   深度神经网络   泡沫浮选   工况识别  

摘要： 多目标学习(MTL)是同时考虑多个相关的任务的学习过程,目的是利用任务之间的共性和差异来提高模型的泛化性能。然而,多目标学习中存在难以权衡多个目标,且随着参数维度和任务数量的增加,造成求解效率低、复杂度高等问题。多梯度下降算法(MGDA)框架简单、收敛速度快、收敛精度高,在复杂网络模型参数优化上具有独特的优势。因此,论文展开了基于多梯度下降的多目标学习方法研究,主要的创新性工作总结如下:(1)针对传统的多梯度下降算法在权衡不同任务关系时没有考虑任务相关的不确定性问题,提出了一种基于多梯度下降及同方差不确定性的多目标学习方法(HU-MGDA)。引入了基于同方差不确定性的极大似然估计,通过捕获任务间相关置信度,反映目标任务之间固有的不确定性,并提出基于Frank-Wolfe算法和梯度归一化的多梯度下降算法以解决复杂高维梯度的多目标学习问题。实验结果表明了该方法能够有效地权衡多个任务并提高所有任务的性能。(2)针对现有的多目标学习算法难以有效获得一组分布均匀的帕累托最优解的问题,提出一种基于混合多梯度下降及偏好向量的多目标学习方法(PV-HMGDA)。该方法采用基于偏好向量的目标空间分解方法,将原多目标优化问题分解为多个具有不同偏好的子问题,并提出了一种混合多梯度下降算法来高效并行求解各个子问题,在此基础上,引入了一种基于大规模优化的高效多目标学习策略提高求解效率。实验证明了该方法能够生成一组分布均匀的解并优于一些先进算法。(3)针对传统泡沫浮选工况识别中,独立学习异常工况判断和矿物品位预测两个任务,导致识别准确率低、识别速度慢的问题,提出了基于多目标学习的泡沫浮选工况识别方法。首先,提取了泡沫图像的关键特征,针对特征冗余问题,引入了一种基于二值状态转移算法的特征优化方法。接着,通过挖掘异常工况判断和矿物品位预测都与泡沫层表面呈现的视觉特征有直接关联的共性,建立了基于多目标学习的泡沫浮选过程工况识别模型,分别使用所提的HU-MGDA和PVHMGDA进行求解。实验仿真结果验证了所提的方法的有效性,有利于提高工况稳定性,提升矿物资源回收率。最后,开发了基于多目标学习的泡沫浮选过程工况识别系统,对泡沫浮选过程药剂添加量的调节和控制、稳定工况和确保产品质量有一定的指导作用。图39幅,表21个,参考文献84篇

关键词： 心律失常分类   错误标注样本   粒子群   支持向量机  

摘要： 伴随人们生活压力和工作压力的增加,心脑血管疾病患病率逐年升高并呈现低龄化的特征。远程心电监护能够对人体心脏活动进行24小时不间断监测,实现对心电信号地自动分析,并对异常心电信号做到早发现以及向患者做出预警。然而在心电监护仪的使用过程中,也存在着一些问题:包括监护过程中电极脱落以及导联线与电极连接脱离,导致心电图呈片状或者是波形杂乱,无法识别到异常心电信号;电极位置放置不准确或者电极、电线等接触不良导致的基线漂移;心电信号采集过程中的噪声以及训练集中错误标注的样本导致识别准确性差。在这些问题中,训练集中错误标注的样本导致分类准确性差是制约远程心电监护使用的主要原因。所以实现对训练集中错误标注的样本识别、提高分类器的分类准确性对于远程心电监护具有重大的意义。基于以上原因,本文实现了一种识别心电信号训练集中错误标注样本的新方法。该方法在交叉验证的基础上,将迭代和集成学习结合起来,使用集成学习对训练集中的错误标注样本进行初步识别,然后通过迭代的方式对训练集中错误标注的样本进行进一步的识别。在提高识别准确率的同时,降低了误识率,最终提高分类器的分类性能。在心电信号自动分类方面,支持向量机对于小数据量的样本分类有较大优势,但是支持向量机的分类性能与其核函数的参数以及惩罚系数有很大关系,针对标准粒子群算法在寻找参数时容易陷入局部最优的缺点。本文通过对粒子群算法中的惯性权重值与搜索能力之间的关系进行研究,提出了正弦函数型惯性权重值,从而使粒子群算法在寻找参数时跳出局部最优。本文的主要工作如下:第一章介绍本文的研究背景和研究意义。回顾了心电信号异常检测的发展现状以及在心电信号分类领域目前还存在的问题。第二章首先简单描述了心电信号的产生原理、心电信号的波形特征和心律失常类型,然后分析了常见的四类心律失常类型的波形特点。最后对心电信号预处理,特征波形的检测以及特征提取等过程的详细说明。第三章讨论了在心电信号自动分类中训练集样本被错误标注的问题,针对该问题,本文对前人的工作做了深入的研究,并在前人提出的基于交叉验证的多种分类算法结合的基础上,提出了基于迭代和集成学习的方法。使用MIT-BIH心律失常数据库中的数据进行实验,经过人工修改标注的方式在训练集中添加噪声后。在不同的噪声率下,在经过迭代过程结合集成学习的方式去除噪声之后,分类器的分类准确率明显提高。第四章综合比较了几类分类算法,选取了支持向量机对正常心电信号和四种常见的心律失常心电信号进行分类。针对支持向量机中径向基核函数的核参数以及惩罚系数的最优选取问题。提出了改进的粒子群算法,在找到最优参数的同时,避免了粒子群算法陷入局部最优之中。通过对MIT-BIH心律失常数据库中的心电数据进行实验表明,本文改进粒子群算法能够以很高的准确率对心电信号进行分类,对心律失常分析有一定的现实意义,可用于心律失常辅助诊断。