关键词： Anti-CRISPR蛋白   序列预测   特征编码   机器学习   网站服务  

摘要： CRISPR-Cas作为基因编辑的工具近年来被广泛研究。Anti-CRISPR蛋白是一种广泛存在于细菌、古菌和病毒中的蛋白质。它可以在CRISPR-Cas的干扰阶段将其失活,因此可以作为一种潜在的调节基因编辑的工具。深入研究anti-CRISPR的特性和功能对于基因编辑技术的安全实现有着极其重要的意义。然而,目前对于anti-CRISPR蛋白的研究非常有限。已知的anti-CRISPR蛋白数量非常少是限制其进一步研究的因素之一。通过实验发现新的anti-CRISPR非常费时费力,所以使用机器学习的方法构建一个高精度的anti-CRISPR预测模型可以很好的解决这一问题。本文从anti-CRISPRdb数据库和一个用于检索anti-CRISPR名字的统一资源中提取原始数据,经过CD-HIT去冗余和平衡数据集之后,获得了一个高质量的anti-CRISPR蛋白数据集。为了全面的描述蛋白质序列,本文使用了6种特征分别对序列进行编码,并采用方差分析和增量特征选择对特征进行了筛选。基于最优特征子集,分别使用每种特征构建了支持向量机模型。为了进一步提高分类的准确性,对这6个模型进行不同的组合,挑选出了最优的模型。最终的模型在测试集上的准确率和AUC值分别为88.1%和0.952。这是目前为止预测性能最好的模型。使用该模型对全新的11个anti-CRISPR蛋白进行案例分析,正确识别出了其中的10个,说明模型的泛化能力较强。为了发现新的anti-CRISPR蛋白,本文从Gen Bank中下载了所有病毒的蛋白质数据,然后使用模型进行预测。使用者可以根据不同阈值,获得潜在的anti-CRISPR蛋白。阈值越高,预测出来的蛋白质的数目越少,但可信度越高;反之,则数目越多,可信度降低。最后,本文建立了在线服务的网站,里面存放了构建的数据集和从病毒蛋白质中预测出来的anti-CRISPR蛋白。同时提供了预测功能,使用者可以通过输入蛋白质序列和位置特异性得分矩阵进行anti-CRISPR蛋白的预测。网站的地址是,http://***/server/Acr Pred。

关键词： 深度学习   材料科学   泡沫硅橡胶   机器学习   小规模数据集  

摘要： 深度学习因其具有强大的多尺度非线性拟合能力,且无需任何物理先验知识,已被广泛用于加速新材料的研发,探究材料结构与性能的关系。以统计算法为核心的深度学习往往需要大量的数据以保障模型的精度。但是,对于绝大多数材料相关的科研任务而言,收集大量的实验数据仍是一个不切实际的任务,这无疑限制了深度学习在材料科学中的应用。基于上述研究背景,本论文以3D打印的不同结构的泡沫硅橡胶的非线性行为为研究载体,探究如何在小型实验数据集中实现高精度的深度学习建模,旨在促进深度学习在材料科学领域的应用。其主要工作如下:（1）3D打印泡沫硅橡胶数据集的建立。基于硅橡胶墨水的流变性能研究获得了适合打印的硅橡胶墨水,基于此墨水打印出不同结构的泡沫硅橡胶并测试其力学性能。将不同样品的结构信息以及对应的力学性能测试结果加入到数据集中,并对数据集中数据的代表性、可重复性进行验证。最后,对数据集中的数据进行数据清洗以及标准化处理得到最终的数据集。经过合理的实验设计以及数据预处理,该数据集为后面的机器学习模型研究奠定了基础。（2）建立了具有时空特征的深度学习模型,其特点在于最大化利用了数据信息以减少深度学习对数据的需求。“刺激-响应”是材料科学相关实验中最常见的一类任务,其可以视为样品在外界刺激下做出的响应。我们以不同结构的泡沫硅橡胶在单轴压缩下的应力应变行为进行建模,选取不同维度以及不同精度的描述符对泡沫硅橡胶进行描述,结果显示:准确而低维的描述符更适合小样本空间的深度学习建模。另外,针对泡沫硅橡胶在压缩过程中时空结构的演变,开发了一种由CNN单元与BLSTM单元组成的CBLSTM模型,其中CNN用于捕捉其空间结构特征,BLSTM用于提取外界序列化的刺激信号。与单独使用CNN或BLSTM模型相比,CBLSTM模型显著降低了泡沫硅橡胶的应力应变曲线预测的泛化误差与对数据量的需求。（3）提出并验证了基于简单结构定制具有复杂力学响应材料的深度学习设计范式。大多数材料科学相关实验都难以收集大量的数据,这限制了深度学习在材料领域的应用。我们提出一种“大道至简,衍化至繁”的思想,以简单堆垛结构的泡沫硅橡胶为例,展示用简单的结构实现了各种复杂的响应。简单结构意味着可以用有限的维度进行描述,同时有限的自由度也蕴含无数种结构变化,可以对应无数种性能。这确保了我们即使在有限的数据集中,也能运用深度学习进行建模。以泡沫硅橡胶为例,我们利用这种思想成功在小数据中实现了不同力学性能的定制,这证明了该理念有望推动深度学习与材料科学中的应用和发展。

关键词： 期权定价   Black-Scholes模型   Heston模型   贝叶斯参数估计   马尔可夫链蒙特卡罗算法   贝叶斯优化   集成学习  

摘要： 期权是金融体系中一种最重要的金融衍生品之一,为广大投资者起到风险管理、风险规避的功能。几十年来,大量学者从事期权定价研究,因为对期权进行精确的定价是十分困难却又非常必要的。精确的期权定价一方面可以避免市场失衡,另一方面可以使投资者动态地监控市场。Black-Scholes模型和Heston模型是两个经典的期权定价模型,前者缺乏波动率的建模过程,后者参数估计较难。为提高这两个模型的预测性能,本文分别对它们进行了改进。在建立Black-Scholes模型时,区别于传统的历史波动率法和Garch方法,本文对波动率使用SVT模型建模,应用MCMC算法进行参数估计。通过对实际数据的定价可以证明,这种波动率的估计方法是有效的,本文提出的贝叶斯Black-Scholes模型也比传统的模型具有更高的准确性。而对于Heston模型的改进集中在参数估计问题和提高预测性能方面。在参数估计问题上,本文使用贝叶斯优化代替传统的遗传算法和粒子群算法。同时,为提高模型的准确性与泛化能力,以Heston模型作为基学习器,结合了集成学习中的bagging和stacking思想,提出了Stacking-Heston模型。通过对实际数据的定价可以证明,Stacking-Heston模型不仅具有非常高的预测准确性和稳定性,而且训练速度更快,节约了时间成本。综上所述,本文对两个经典的期权定价模型的改进是有效的,未来可以研究的方向包括使用机器学习技术预测隐含波动率和使用boosting方法提升Heston模型的性能等。

关键词： 联邦学习   隐私保护   同态加密   不可靠参与者   差分隐私  

摘要： 近些年,随着信息技术的迅猛发展,以深度学习为代表的人工智能技术已经被广泛应用于故障诊断、智能控制、情感识别以及生物信息等领域。工程研发人员在开发一个高性能的深度学习模型时,通常需要收集大量的数据用于模型训练。出于隐私保护和商业竞争的考虑,以及法律法规方面的要求,数据拥有者通常不愿意,甚至不被允许分享本地数据资源,这严重阻碍了深度学习技术进一步的发展。为打破不同机构之间的数据壁垒,联邦学习作为一种新颖的分布式深度学习方法被提出,该方法能够协调多个参与者共同训练一个深度学习模型。参与者通过分享本地模型参数代替分享本地数据的方式,从而一定程度上缓解了参与者的隐私顾虑。虽然联邦学习以其出色的特性受到了学术界与工业界的广泛关注,但是在工程应用时,联邦学习面临着参与者本地数据信息泄露、数据通信成本高昂、不可靠参与者等问题。因此,如何在保护参与者的本地数据安全的同时,提升整个联邦学习系统运行效能,是当前研究的重点方向之一。本文以构建高效可靠的联邦学习系统为研究目标,结合真实工业场景的需求,分别对联邦学习中的模型聚合间隔调整、不可靠参与者识别、混合数据隐私保护方案开展研究。本文的主要内容总结如下:(1)针对参与者数据分布不均匀场景下,联邦学习系统模型聚合间隔设置困难的问题,本文提出一种面向非独立同分布数据的自适应隐私保护动量联邦学习方法(Adaptive privacy-preserving momentum federated learning,Ada PMFL)。首先以经典的神经网络模型为例,通过数学公式推导说明参与者上传的本地模型参数是如何泄露其本地数据信息,并系统分析了联邦学习出现全局模型可用性下降的原因。基于此,本文提出一种自适应模型聚合方案,该方案能够对参与者本地训练的mini-batch值进行设定,并能根据参与者训练过程信息,自适应地调整模型聚合间隔以降低密码学计算和数据通信成本。同时,为保护参与者的本地数据信息,本文提出一种基于Paillier同态加密的安全数据通信方案。在该通信方案中,参与者通过对本地上传的模型参数进行同态加密,从而保护其本地数据隐私信息。最后,理论分析与实验结果表明,所提出的联邦学习方法Ada PMFL能够在保护参与者数据信息安全的前提下,提高联邦学习系统的训练效率,并兼顾全局模型的可用性。(2)联邦学习在真实工业场景应用时,系统中可能存在拥有低质量数据的不可靠参与者。不可靠参与者上传的模型参数,会造成全局模型的可用性下降,甚至导致整个联邦学习训练过程不收敛。针对该问题,本文设计了一种基于余弦相似度的不可靠参与者识别算法,并基于此提出了一种防范不可靠参与者的隐私保护动量联邦学习方法Detect PMFL。该方法通过云服务器与参与者协作,计算出各个参与者的可靠度,从而降低不可靠参与者对全局模型的影响。并且,该联邦学习方法采用CKKS同态加密方案对参与者的本地数据信息进行保护。理论分析和实验结果表明,所提出的联邦学习方法Detect PMFL能够有效降低不可靠参与者对系统造成的负面影响,并为参与者提供良好的隐私保护。(3)为进一步增强联邦学习系统的隐私保护水平,本文提出一种隐私保护增强的动量联邦学习方法(Privacy-Enhanced Momentum Federated Learning,PEMFL),该方法中将混沌系统理论引入到联邦学习领域中。参与者通过使用超混沌加密技术对其本地模型的权重参数进行加密,使得云服务器无法获取到可用的模型参数,从而避免参与者与云服务器直接交互。并且,利用差分隐私和动量加速技术,构建出一种基于差分隐私的动量梯度下降法(Differential privacy momentum gradient descent,DPMGD),使得所提出的联邦学习方法PEMFL能够一定程度上抵抗串谋攻击,并且提高模型训练速度。理论分析和实验结果表明,本文所提出的联邦学习方法PEMFL能够有效地提升联邦学习的隐私保护水平,并提高联邦学习训练性能。

关键词： 脉冲堆积   中子-伽马甄别   数学形态学   机器学习   神经网络  

摘要： 随着我国核科学与核技术理论体系逐渐完善,中子探测技术得到了快速发展,其已被广泛应用于国土安全、材料科学、环境监测及月球探测等众多领域,对我国的社会经济进步和核工业发展起到了至关重要的作用。 在基于波形数字化技术的中子探测中,往往会伴随两类问题:脉冲堆积和脉冲甄别。前者是由探测系统本身的缺陷所产生,后者则是由中子与物质的相互作用而产生,脉冲堆积会抑制中子-伽马的甄别性能。因此,开展脉冲堆积的判别与校正方法研究对提高中子-伽马甄别性能具有重要意义。另外,随着人工智能的快速发展,运用机器学习方法代替传统方法解决核脉冲处理技术中的相关问题成为了未来的发展趋势。 本文以脉冲堆积问题为出发点,为进一步提升中子-伽马甄别性能,结合数学形态学和机器学习方法相关理论,开展了脉冲堆积的判别、校正新方法以及中子-伽马甄别新方法研究。本文的主要内容和结论如下: (1)针对传统脉冲堆积判别方法的不足,提出了基于数学形态学的脉冲堆积判别方法。首先分析了数学形态学在信号处理中的基本原理,其次根据闪烁体光脉冲衰减规律,构建了模拟脉冲的表达式,最后通过模拟脉冲和实测脉冲验证了该方法能够有效识别出脉冲波形中的有效峰,从而实现脉冲堆积判别。 (2)采用预测的方式对脉冲堆积进行校正,提出了基于双曲正切灰色模型(Hyperbolic Tangent Grey Model,HTGM)和支持向量机(Support Vector Machine,SVM)的脉冲堆积校正方法。首先引入双曲正切函数对传统灰色模型进行优化,构建了HTGM模型,其次在实测的脉冲堆积信号中,分别采用HTGM和SVM实现了校正,最后将HTGM模型和SVM与卡尔曼滤波法进行对比。结果表明,在抗噪能力方面,SVM校正法的抗噪能力最优,HTGM校正法次之,卡尔曼滤波法相对较差。在脉冲还原性方面,SVM校正法的脉冲还原性最好,HTGM校正法次之,卡尔曼滤波较差。 (3)提出了基于多层感知机(Multi-Layer Perceptron,MLP)和1-D Alex Net的中子-伽马甄别方法。首先采用MLP、1-D Alex Net及电荷比较法对6000组模拟脉冲数据进行甄别对比。结果表明,MLP甄别性能最好,其Fo M值为4.0299,1-D Alex Net次之,Fo M值为3.2946,电荷比较法最差,Fo M值仅为1.9294。另外,实验发现脉冲数据归一化处理会降低MLP和1-D Alex Ne的分类正确率,其中,MLP的正确率由99.03%下降至98.78%,1-D Alex Net的正确率由98.77%降至52.36%。最后开展了脉冲堆积对甄别性能的影响研究,实验表明,脉冲堆积会抑制中子-伽马甄别性能,其中MLP甄别性能最好,但受脉冲堆积的影响也最大,1-D Alex Net次之,电荷比较法甄别性能相对较差,但受脉冲堆积影响最小。

关键词： 大学生   学习方法   学习困难   学会学习   学习质量  

摘要： 随着我国高等教育的快速发展,高校不断扩招,人们的关注点不再是大学生培养数量,而是大学生的培养质量,希望提升大学生成长成才的实际效果。高等教育质量尤其是大学生的学习质量,日益成为社会公众和相关利益主体关注的重要话题。影响大学生学习质量的重要因素是学习方法,它是大学生学习过程中的重要组成部分,在很大程度上决定着大学生的学习质量和学习收获,进而也直接或间接地影响高等教育质量。所以,深入研究大学生学习方法非常重要,只有发现大学生学习方法存在哪些欠缺,明晰“缺方法”背后存在哪些原因,才能帮助大学生克服学习中的诸多困境。而大学生学习方法的优化,对于提高大学生学习效率、帮助大学生学会学习,都具有极为重要的意义。 大学生的学习方法非常复杂,它是大学生在学习过程中所采取的手段和措施,既要考虑学习任务的选择和达成,又要依据个人需要、参考外部要求、适应诸多因素和情境的变化。本研究采用质性访谈的方法来研究本科生的学习方法问题,希望从学习体验的角度探讨大学生学习的“方法欠缺及其改进”。研究思路首先是选择南京市五所高校的30位大学生作为访谈对象,通过一对一的深度访谈,获得大学生学习方法的第一手资料。然后利用Nvivo12 Plus质性分析软件进行编码分析,得出大学生学习方法欠缺的分领域常见表现、分类型焦点问题,以及内外部影响因素。最后从不同领域、不同困境以及不同因素层面,提出了大学生学习方法改进的系统性策略。研究的主要内容和观点如下: 1.大学生学习方法欠缺的分领域常见表现,主要集中在课程领域、科研领域和实践领域。首先,课程领域主要是外语课、思政课和专业课的学习方法欠缺。其次,科研领域主要是科研入门期欠缺帮扶、科研过程中应对不力、科研结果受限于功力。最后,实践领域表现为经验值欠佳的糟糕开局、人际交流不畅、知识无法转换为智慧。 2.大学生学习方法欠缺的分类型焦点问题可以归纳为两类:第一类是数量上的“欠缺学习”,包含“认知性不学”和“心理性不学”,也就是因认知偏差而“无知无为”,以及因心理消极而“无欲无助”。第二类是质量上的“欠佳学习”,包含“低质量学习”和“失败性学习”,也就是因能力缺失而“高耗低效”,以及因表现欠佳而“挫折失败”。首先是“无知无为”类型,表现为因学习意义领会不深而消极应付;因学习视野狭窄封闭而未能学习。其次是“无欲无助”类型,表现为内卷情境下的焦虑学习、倦怠状态下的放弃学习、懒散拖延下的逃避学习、外在诱惑下的无法学习、疫情冲击下的涣散学习、以及倍感困惑中的孤独学习。再次是“高耗低效”类型,包含知识记忆、知识理解和科研探索中的高耗低效。最后是“挫折失败”类型,包含起点、过程和结果的挫折失败,以及并非无法胜任的意外挂科。 3.大学生学习方法欠缺存在内外部影响因素。内部因素涉及学生的个人性格、学习观念、学习能力、学习兴趣和学习经验;外部因素涉及教师的教学方式、评价方法、同伴互助和学业负担等。 4.大学生学习方法欠缺的系统性改进策略,兼顾不同领域、不同困境和不同层面。首先是区分课程、科研和实践领域的学习方法改进。其次是基于不同困境的应对方法改进,要求提升认知应对无知无为,激励心理应对无欲无助,优化策略应对高耗低效,全面发力应对挫折失败。最后是不同层面的行为方法改进,需要优化学生的学习方法、教师的教学方法和学校的管理方法。

关键词： 图表示学习   对比学习   互信息   信息熵   图神经网络  

摘要： 图数据是一类由结点和边构成的高维且抽象的数据,它能够对很多不同领域中包含复杂结构的数据进行建模,例如,医药领域中药物靶点相互作用关系数据、社交推荐领域中错综复杂的人物关系数据等。传统的机器学习和深度学习方法无法直接应用在高维、抽象的图数据上,通过图表示学习方法将高维、抽象的图数据映射成低维特征向量表示成为了研究热点。经图表示学习得到的低维特征向量不仅保留了图的拓扑信息,还能被广泛地应用于诸多图数据分析和处理任务中。然而,现有的图表示学习方法往往关注图的整体信息而忽略了局部信息以及相似信息之间的差异性。因此本文针对图神经网络在捕获信息之间的关联性,以及相似信息之间的差异性上的问题,基于图学习理论、对比学习、锚点选择策略等方法提出了两种图表示学习模型,主要研究内容如下:(1)提出了基于对比学习的药物靶点网络图表示学习模型,增强了药物靶点网络中结点级嵌入表示和图级别嵌入表示之间的关联性。该模型在对比学习范式引导下,通过基于关系感知和元路径的聚合结点信息的方式,学习增强的结点嵌入表示。编码器部分是图卷积网络,解码器是对学习到的结点表示做内积来恢复原始异构网络。同时,该框架利用了两种层次互信息:(I)最大化局部互信息,使得学习到的结点嵌入表示捕捉到整个图的特征信息;(II)最大化全局互信息,用来约束结点嵌入表示,使其具有期望的统计学特性。最后,在药物靶点相关图网络数据集上进行了药物靶点相互作用链接预测任务,实验结果证明了引入多层次互信息能够有效地提升模型的预测精度。(2)提出了基于锚点选择策略的图表示学习模型,使得图网络中的结点能够捕捉到全局位置信息。该模型使用与图中其他普通结点有大量信息交互的重要结点作为锚点,并基于信息熵筛选锚点,给出了任意给定目标结点到每个锚点的距离计算过程。然后,在初始化结点嵌入表示时,融入了每个结点与图中其余结点的相对距离信息。此外,模型采用了结合锚点集的非线性距离加权聚合的学习策略,通过这种方式,图中给定目标结点获得的特征向量包含了与选取的锚点相关的图中其余结点的位置信息。最后,在社区发现图网络数据集上进行了结点分类任务,实验结果证明了锚点选择策略能够有效地提升模型的分类性能。本文主要针对传统图神经网络对局部信息关注不足以及相似的局部信息无法很好地进行区分的问题进行研究,并提出了两种方案来提升模型的性能,以更好地进行结点分类、链接预测等下游图网络数据分析和处理任务。

关键词： 初高中函数   知识结构化   衔接策略   学习方法  

摘要： 随着中小学新课程改革的不断推进,初中数学在课程标准、教学思想、教学内容和教学方式等方面相比较于高中数学都有很大的差异,这直接导致了高中数学与初中数学出现了很明显的“脱节”,所以,学生刚进入高中后,普遍反映的问题就是不适应高中的教学,尤其是大多都认为高中数学太难学,数学成绩到了高中下降太快。那是否在初高中过渡时期,将断层知识补齐就可以解决初高中数学教学衔接难的问题呢?实则不然,初高中数学本身就存在内容上的差异,高中数学知识更加抽象,对学生的数学思维要求更高,因此,仅靠知识的衔接是远远不够的,重要的是要提升学生的思维能力。而数学知识整体结构化,是指以建立完整知识体系为目的,引导学生探寻初高中数学知识中的内在关联,从而在建立知识整体结构化的过程中,提升学生的数学思维,从本质上解决学生到了高中数学难学的问题。本文研究从数学知识结构化的视角出发,通过问卷调查与访谈、行动研究及案例分析等研究方法,分析我校初高中函数衔接教学存在的问题及原因,最后提出函数知识结构化的教学策略和具体的教学设计,为初高中函数衔接教学提供教学参考。主要内容包括以下几个板块:首先,作者结合自身工作的实际情况,确定本文研究背景、研究意义和研究方法及思路;同时通过阅读大量教育学者撰写的文献著作,对初高中函数衔接教学的国内外现状进行详细论述,并对数学知识结构化、函数教学研究的必要性等理论核心进行了说明,为本文研究提供了坚实的理论基础。然后,结合初高中函数的课标分析和教材分析,通过对比分析初高中数学课标与教材,将初高中数学知识的差异化进行了梳理总结。得出初高中函数结构化分析成果即数学知识板块的整合;课时教学内容的整合;课下练习方向的整合。其次,对数学知识结构化视角下初高中函数衔接教学的现状进行了调查分析。从学生数学成绩的变化、学生对数学学习的兴趣及态度、学生目前学习数学的习惯及方法、学生函数学习现状、学生在高中函数学习中的困惑及自我归因、学生对高中函数教学的期望与建议六个维度制定了学生调查问卷,以阿勒泰地区第一高级中学高一学生为调查对象,实际考察了我校学生函数学习的现状;此外为使本文研究更加全面,还通过问卷与访谈的形式对本校初高中数学教师函数教学的真实现状做了了解。由调查将学生高中函数学习困难的原因概括如下:(1)初高中数学的课程标准对数学函数的要求差异较大,使得初高中数学教师在函数教学时的方法与思想不统一,出现了较大的跨度;(2)初高中数学教材中对一些知识的掌握程度要求不同,致使初高中数学知识出现断层;(3)学生学习数学的态度、习惯和方法不适合自身学情。最后,从对初中教师的函数教学策略、高中教师的函数教学策略、函数知识结构化策略三个方面提出了函数知识结构化教学的具体措施。为印证本文提出的函数衔接教学策略是行之有效的,故结合提出的策略,设计了《一元二次不等式的解法》的教学案例,由实践来说明本文研究成果的可实施性。

关键词： 小样本   电子病历   深度学习   语义文本相似度   自监督学习   预训练语言模型  

摘要： 语义文本相似度计算作为信息检索、文本聚类、语义消歧、自动问答等研究工作的基础共性问题,其研究的主要内容是衡量文本之间的相似程度。医疗信息化发展至今已经积累了大量的电子病历文本数据,将语义文本相似度研究的方法应用在这些文本数据中将有助于推动医疗信息化的发展。使用传统方法研究医疗领域的语义文本相似度任务主要获取的是文本的浅层次信息,而基于深度学习的方法虽然可以获取深层次的文本语义信息,但是这类方法对有标注数据有很强的依赖性。本文研究的重点内容是克服语言模型在小样本的电子病历文本相似度任务上对有标注数据的依赖问题,实现模型在小样本数据上不仅可以得到好的分数还可以得到高质量的句子表示。针对医疗数据专业性强,数据集保守,数据量少等带来的限制,本文提出了两种解决方法分别应用于不同的数据场景下。(1)提出一种适用于无监督学习的多级双向交叉蒸馏编码器(Multistage Bidirectional Cross Distillation Encoder,MBCDE)模型。MBCDE模型使用改进后的自监督学习方法在医疗领域的语料库上对预训练语言模型进行无监督的训练,可以得到医学领域更高质量的句子表示。利用双向编码器和交叉编码器在语义文本相似度任务上的不同表现结合模型蒸馏的方法,提出双向交叉蒸馏编码器方法。MBCDE模型将不同类型编码器的预测结果融合得到最终的预测结果,该结果鲁棒性强、质量高。(2)提出一种适用于半监督学习的双向交叉动态轮询学习编码器(Bidirectional Cross-Dynamic Round Robin Learning Encoder,BCDRRLE)模型。BCDRRLE使用本文提出的动态轮询学习机制更新无标注数据集上的标签,将无标记数据应用到模型的训练过程中,且模型的学习同样会对无标记的数据产生影响。利用这种轮询学习的机制,不仅扩充了任务数据集的数据量,而且也使得模型的结果更加的优秀。实验结果表明,在三份电子病历语义文本相似度任务数据集上MBCDE模型使用无监督的方法取得了超过有监督方法的成绩,BCDRRLE模型则使用半监督的方法取得了明显优于其他模型的结果。本文提出的研究方法为小样本电子病历语义文本相似度问题提供了解决方案,同时也为其他保守领域解决依赖标注数据问题提供了参考。