关键词： 初中英语   小组合作   学习方法  

摘要： 素质教育对于初中英语教学提出了全新的要求，合作探究作为一种行之有效的方式备受欢迎，以此激发学生的潜能，在交流与互动中对专业知识形成全新的理解，保证学习效率的同时营造活跃的班级氛围，促进学生英语综合水平的提升。学生在小组合作学习中互相启迪智慧，攻克本节课的重难点所在，锻炼思维的灵活性和深刻性，从而提高学生的英语综合素养。

关键词： 区块链   智能合约   联邦学习   信誉机制   分片  

摘要： 在数据安全越来越受到重视的今天,联邦学习作为一种新的机器学习模式,以通过节点之间相互分享训练出来的本地模型而非本地数据的方式能有效地避免原生数据的泄露。但是,数据拥有者节点不会主动地参与到联邦学习中,并且不同的节点所携带的数据质量不同且难以控制。那么,如何激励数据拥有者积极参与联邦学习,并贡献高质量的数据成为了至关重要的问题。同时,数据拥有者往往拥有不同类型的数据,可以为不同的联邦学习任务提供支持。那么,保证多种不同的联邦学习任务高效率地并行执行也是高质量联邦学习的必备特性。为此,本文从两个角度进行研究:模型质量和并行效率,并都以区块链为基本的解决方案。从模型质量角度出发,本文首先提出了一种基于区块链的联邦学习系统(Blockchain based Federated Learning,BFL)。通过以区块链为底层的智能合约为载体,联邦学习任务得以透明、公平和可靠地运行。以此为基础,本文设计了一个基于机器学习模型质量的信誉评估机制,并基于模型质量提出了一种新的信誉机制。实验表明,本文提出的基于机器学习模型质量的信誉评估机制可以很好地监督节点的行为。最后,基于信誉评估机制,本文提出了一种联邦学习任务的奖励分配机制和模型聚合算法。基于信誉的机制提高了诚实节点的效益,强化了奖励分配机制的监管能力和激励能力。同时,本文利用各个节点的信誉对模型聚合过程进行加权控制,提高模型聚合过程对恶意模型的抵抗能力。实验表明,该机制能有效地鼓励数据拥有者积极参与联邦学习任务,贡献高质量的数据。从并行效率出发,为了解决传统区块链系统下,联邦学习效率不足的问题,本文基于区块链分片机制提出了一种适用于多种联邦学习任务并行执行的区块链系统(Sharding based Federated Learning,FLShard)。本文将区块链分为了主分片和任务分片。其中,主分片用作管理任务分片,而任务分片用作执行不同的联邦学习任务。同时,为了让分片之间与分片内更好地工作,适配于分片系统的分层共识算法被提出来。实验表明,我们提出的方案能极大地提高任务并行执行的能力。

关键词： 联邦学习   小样本问题   度量元学习   数据异质性   个性化  

摘要： 人工智能的蓬勃发展依赖于大量的标记数据,但随着数据安全法律法规的出台,数据的采集和获取受到了极大的限制,这将影响人工智能相关应用的发展。解决该问题可以从数据和模型两方面入手。从数据方面,可以使用联邦学习方法,保证用户数据在不离开本地的情况下,训练共享的机器学习模型;从模型方面,小样本学习可以通过少量训练数据使得模型具有较高的泛化水平。联邦小样本方法结合了联邦学习和小样本学习的优点,它借助了联邦框架的隐私保护性,对分布在不同客户端上的独立小样本任务进行联合训练,目的是得到能快速适应新任务的小样本模型。但是,在具体设计实现过程中,还有以下挑战。首先,为了让低算力客户端能顺利参与联邦训练,目前的联邦小样本算法普遍使用复杂度较低的基于度量的元学习方法。但由于结构简单,也导致了基于度量的元学习方法对新任务的适应能力不足,进而影响预测准确率。其次,数据异质性问题会导致各参与方的局部优化目标和全局优化目标存在偏差,使得联邦小样本算法收敛困难,影响模型的泛化效果。最后,在联邦场景下,由于单个参与方上的数据类别更加相近,进而导致构建出的小样本任务更加困难。困难的小样本任务会加大模型学习难度,影响模型的泛化效果。为了应对以上挑战,本文提出了三种联邦小样本算法。主要贡献如下:1.针对传统的度量元学习方法对新任务拟合能力不足的问题,本文提出了联邦场景下的基于深度映射的度量元学习小样本算法。当前联邦小样本方法中常用的度量元学习方法对新任务的拟合能力不足,为了解决该问题,新算法使用孪生网络为标签数据构造复杂的对比关系,通过引入新的深度映射层,让模型对当前任务的样本度量空间进行自适应变换,使得模型在少量数据情况下能够明确不同类别之间的差异。本文通过实验说明该算法提升了预测准确度,验证了该算法的有效性。2.针对数据异质性导致的联邦模型难以收敛的问题,本文提出了一种联邦个性化的小样本任务训练算法。新算法调整了参与方的本地模型结构,将表示层拆分为学习全局知识的基础表示层和学习相似任务的深度表示层,通过“全局+个性化”的联邦更新方法,让每个本地模型学习全局知识的同时,也重视自身任务特点。相比于传统的全局联邦更新,个性化的联邦更新方式具有更强的抗异质性干扰能力,本文通过实验验证了新算法能够缓解异质性数据带来的收敛困难问题。3.针对联邦场景下的小样本任务往往更加困难的问题,本文提出了一种新的联邦个性化数据增强算法。本文提出的个性化数据增强算法,考虑到了不同类别之间的差异,将数据增强网络应用于个性化联邦,为各个参与方衍生出具有类别特征的增强数据,使小样本模型能获得更多差异较大的样本,降低小样本任务的难度,提升了模型对不同类别样本的学习与识别能力。最后通过实验验证了本文提出的个性化数据增强算法的有效性。总的来说,本文针对当前联邦小样本方法中的不足之处进行了研究和改进,提出了一种朴素联邦场景下的度量元学习小样本算法、一种联邦个性化的深度表征算法和一种联邦个性化的数据增强算法,最后通过大量实验验证了所提方法的可行性和有效性,该研究成果在联邦小样本领域具有一定的学术价值和应用价值。

关键词： 细胞   有限元模型   机器学习   人工神经网络   本构参数  

摘要： 单细胞的机械响应与材料特性研究至关重要,力学表征实验技术和建模理论的快速发展为细胞力学建模过程中理论本构模型选取和参数的识别提供了数值基础,然而力学响应与计算模型本构参数之间的高度复杂非线性使得生物细胞建模的本构参数识别仍是一项具有挑战性的任务。因此论文提出了一种融合机器学习与有限元仿真的细胞本构参数反演方法,分别以红细胞、薄壁组织植物细胞和软骨细胞为研究对象进行细胞本构参数识别及力学行为仿真。同时,基于数据采样方法和超参数优化方法,依据评价指标对所采用的机器学习方法进行了对比评估。主要包括以下几个方面: （1）建立了红细胞的光镊拉伸实验有限元模型,分别采用三种超弹性本构模型分析了红细胞膜的超弹性力学特性并进行了仿真数据收集。结合红细胞光镊拉伸过程中的力-位移实验数据,利用训练完成的极端梯度提升算法模型以及双向神经网络模型识别了红细胞膜的超弹性本构参数,并对两种模型在测试集上的预测效果进行了对比评估。同时,通过对比有限元分析结果与实验曲线的拟合程度探究了不同本构模型对红细胞力学特性的影响。 （2）提出了基于迁移学习进行细胞本构参数反演的方法。建立了薄壁组织植物细胞的平板压缩有限元模型进行数据准备,利用预训练完成的红细胞膜超弹性本构参数识别的神经网络模型作为源网络模型,并通过冻层与微调操作搭建了目标神经网络模型。结合实验数据利用目标神经网络模型识别了植物薄壁组织细胞壁的超弹性本构参数,实现了不同生物细胞超弹性本构参数识别问题间的知识迁移。 （3）搭建了能够识别细胞壁超弹性本构参数的直接反问题神经网络模型。针对细胞壁超弹性本构参数识别问题,分别在样本量充足与样本量不充足的情况下,对比了直接反问题神经网络模型与基于迁移学习的神经网络模型的收敛速度、预测效果以及对训练数据样本量的敏感度,分析了所提出的基于迁移学习的神经网络模型较于直接反问题神经网络模型在细胞本构参数反求问题中的优势。 （4）建立了软骨细胞无侧限压缩的有限元模型,结合数据采样方法对比和超参数优化,利用双向神经网络模型和随机森林模型识别了能够描述单个软骨细胞压缩以及应力松弛阶段的全局力学特性的非线性粘弹性本构参数,预测所得有限元响应与实验曲线吻合良好。利用决定系数R2对两种模型分别对各参数的预测性能进行了对比评估,利用随机森林正演模型分析了MSn HS各本构参数的特征重要性占比。

关键词： 复杂时序数据   时序数据表征   深度神经网络   自监督学习  

摘要： 时序数据特征表示是数据挖掘领域中一个重要且核心的研究问题,其具有重要的理论研究价值和广泛的商业应用价值。实际上,时序数据挖掘在许多关键的国家经济和社会民生领域中发挥着重要的作用,例如医疗、工业、教育、金融、交通和在线网络平台等领域。由于时序数据挖掘蕴含着巨大价值,包括数据科学在内许多交叉学科的研究人员已经围绕时序数据挖掘做出了一系列优秀的研究工作。其中,基于数理统计和特征挖掘的传统机器学习方法在一些时序数据挖掘应用场景中取得了一定的成效。然而,随着物联网传感器和互联网在线平台的快速渗透,越来越多的系统能够感知并记录其运行状态,形成大量的复杂时序数据。这种类型的数据规模不仅庞大,且在数据与目标挖掘任务之间呈现非线性映射关系,导致传统的时序建模方法在处理如此复杂的时序数据时变得越来越力不从心。因此,针对复杂时序数据,如何高效、精准地表征复杂时序数据是时序数据挖掘领域中一个重要研究问题。近年来,研究人员发现:相较于传统的时序分析与建模方法,深度神经网络具备更强的非线性特征转换能力,并且易于并行高效计算。在此背景下,基于深度神经网络的表征方法逐渐成为时序数据特征表示的关键技术途径。虽然研究人员在时序数据挖掘领域已经开展了部分深度时序建模研究工作,但已有的深度建模方法容易受到时序数据中多种复杂特性的干扰,仅取得了有限的时序数据表征结果。为克服时序数据中的复杂性并提高数据表征的质量和精度,需要进一步开发更加先进的深度时序建模方法。为此,本文系统着重研究了复杂时序数据表征学习方法,并以三种典型的复杂时序数据为实例化研究对象,包括基于物联网传感器采集的数值时序数据、基于互联网在线平台采集的用户时序行为以及多模态时序行为数据。在此基础上,本文提出了一系列基于深度神经网络的复杂时序数据表征学习方法研究工作,旨在为复杂时序数据表征学习提供新的思路和方法,帮助解决复杂时序数据表征问题。本文的主要贡献包括提出面向复杂时序数据表征的各种方法和技术。具体来说,本文的主要工作和贡献如下:首先,本文研究了数值型时序数据表征学习方法。一方面,本文针对数值时序数据中的特征多样性挑战,考虑到存在多种复杂多样的时序长度所构成的特征模式,因此提出了一种基于分层自注意力机制的多尺度建模模型,称为FormerTime。在FormerTime模型中,本文设计了一种分层自注意力网络架构来提取多尺度数值时序特征。值得一提的是,FormerTime模型克服了原始自注意力机制随输入时序序列长度二次方成比例增加的问题,使得模型即使在大规模长序列数值时序数据集上也可以实现高效计算。另一方面,本文研究了数值时序数据标签稀疏性难题。鉴于数值时序建模中深度神经网络架构的复杂性,往往难以训练并容易出现过拟合问题。因此,本文提出了一种基于子序列遮挡预测的数值时序数据自监督训练方法,称为TimeMAE,旨在从无标签数值时序数据中预训练通用可迁移的数值时序模型,以辅助下游目标挖掘任务。提出的TimeMAE模型不仅实现了每个输入区域的左右上下文特征提取,而且在无需依赖额外的人工先验知识下实现了围绕数值时序数据为中心的特征理解。为验证以上提出的方法,本文多个领域真实世界数据集上开展了大量实验验证。实验结果表明,上述提出方法能够获取优于对比基准方法的分类结果。其次,本文研究了呈类别属性的用户时序行为表征学习方法。一方面,本文探究了用户时序行为建模中的复杂易变性难题。在内外因素共同影响作用下,用户时序行为往往呈现复杂多变的特点,难以捕捉。为此,本文提出了一种基于混合深度神经网络架构自动搜索的用户时序行为表征学习方法,称为NASR。该方法旨在通过进一步加深时序行为建模网络架构的层数,且集成卷积与自注意力能力来有效地建模用户时序行为的全局与局部层次化依赖关系。为了高效地设计适用于特定任务的网络架构,本文提出采用网络架构自动搜索的策略。该策略能够自适应地搜索出在给定场景数据下具有较优性能的混合卷积和注意力机制的深度神经网络架构。另一方面,本文研究了用户时序行为中存在的交互稀疏性难题。具体来说,本文提出了一种基于用户兴趣对齐的用户时序行为表征预训练模型,称为CLUE,以提升目标域中用户时序行为的表征效果。在提出CLUE模型中,本文引入了一种基于非负采样的用户表征兴趣对齐预训练框架,并引入了基于原始时序行为扰动的显式增强策略和基于模型特征转换的隐式增强策略,以实现兴趣对齐的用户表征对比预训练。针对以上提出的方法,本文在真实世界的实验数据集中进行了大量验证实验,实验结果证明上述提出方法能够获得更为精准的时序推荐结果。最后,本文除了研究单模态时序数据表征学习方法,还着重研究了多模态设置下时序数据表征建模方法,并以多模态时序行为作为实例化研究对象。考虑到传统基于物品标识符的时序行为数据可能无法全面反映用户的真实偏好,协同融合

关键词： 类增量学习   灾难性遗忘   知识蒸馏   数据不平衡   自监督学习  

摘要： 人类具备在不断学习新知识的同时保留已经学习过的旧知识的能力。近年来,尽管深度学习已经在许多领域的任务中都取得了不错的成果,但它们的性能都是在静态模型中获得的,无法像人类的大脑一样动态地修正。每当出现新任务或者新数据时,都要重新训练模型。并且由于存储问题或者隐私限制的存在,训练模型的历史数据并不总是可用的,这会导致模型在学习新任务的同时丧失在旧任务上所取得的优异性能,产生灾难性遗忘。类增量学习的目的是在不使用或者只使用远少于旧数据总量的少量旧类别数据的条件下,使分类模型动态地进行学习,并且在学习过的任务上都取得满意的性能。为了使深度模型适应类增量学习的模式,克服灾难性遗忘并尽可能地提高分类准确率,本文针对增量学习中存在的新旧类数据不平衡、增量训练过程中模型的稳定性与可塑性之间的矛盾以及范例集选择策略等关键问题设计了三个子算法,主要内容如下: 1)提出了一种基于解耦知识蒸馏的类增量学习算法。通过对传统的输出蒸馏损失进行解耦,充分利用存储的范例集以及旧模型中的知识,增强模型抵抗灾难性遗忘的能力。 2)提出了一种基于可学习权重对齐分类器的类增量学习算法。将增量学习的过程划分为两个阶段,在第一阶段的训练完成后以第一阶段得到的分类器的权重范数为指导,使用均衡的数据集对模型的分类器进行再训练,调整由新旧类数据分布不平衡导致的分类器上的决策偏置。 3)提出了一种基于自监督预训练的类增量学习方法。针对增量训练过程中模型的稳定性与可塑性之间的矛盾,使用自监督学习的方法构造虚拟类压缩原始类别在特征空间中的分布,提高模型在新任务上的性能。同时,为了充分发挥范例集的作用,提出基于最小冗余信息原则的范例集选取算法,在选取范例集时,以使得范例集中的数据冗余信息最少,相关性最低为目标进行选取。 本文提出的所有算法都在本领域常用的公开数据集上进行了实验。在CIFAR10、CIFAR100和Image Net100三个公开数据集上的实验结果表明,本文提出的算法具有良好的迁移性,并且在与本领域的其它算法保持相同的基础网络与基础参数设置时可以取得更好的分类性能。

关键词： 静态知识表示学习   时序知识表示学习   三维旋转平移   时间可变事实  

摘要： 知识表示学习能够帮助知识图谱学习到实体和关系低维、稠密的实值向量,进而补全缺失的部份,自动地挖掘出隐藏的知识,也能够将学习到的向量表示直接作为深度学习的输入,进行更多深度学习相关的下游任务。因此,知识表示学习的相关研究具有重要意义。 知识表示学习的研究方法主要分为静态知识表示学习以及时序知识表示学习。静态知识表示模型的效果主要取决于对复杂关系的建模,现有研究从非单射的复杂关系或关系模式两方面入手,提出了许多优秀的模型,但很少能够同时建模非单射的复杂关系和所有的关系模式,重点在不可交换的组合关系与子关系两种关系模式的处理上表现不佳。而在时序知识表示学习中,大多数研究者通过将时间信息进行融合,把表现优秀的静态知识表示模型拓展到时序知识表示学习之中,但很少有研究者考虑到时间本身丰富的语义信息以及三元组事实与时间之间一对多的普遍情况。鉴于此,本文从静态知识表示学习和时序知识表示学习两个方面入手,主要研究内容如下: (1)提出了一种基于三维空间旋转和平移的自适应静态知识表示模型。通过引入关系超平面,将实体自适应表示,解决了对一对多、多对一、多对多的非单射关系建模的问题。将向量在二维空间的旋转拓展到三维空间,同时进一步通过平移将向量空间从三维特殊正交群(Special Orthogonal Group in 3D,SO(3))拓展到三维特殊欧式群(Special Euclidean Group in 3D,SE(3)),提高了模型的表征能力,解决了对称、反对称、自反、可交换组合、不可交换组合、子关系六种关系模式的建模问题。在FB15K、FB15K-237以及DB100K三个公开数据集中进行了实验验证了该模型的效果。最后,通过理论推导,提供了该模型能够建模六种关系模式的理论依据,从数学的角度证明了该模型的有效性。 (2)提出了一种基于三维空间旋转和平移的自适应时序知识表示模型。通过对基于三维空间旋转和平移的自适应静态知识表示模型的拓展,考虑到时间本身的丰富语义利用旋转角度以及平移向量来模拟时间的周期性演化以及线性演化两个特征。针对三元组事实与时间戳之间一对多的联系,将该类事实定义为时间可变事实,通过将时间解释为三维空间中的旋转与平移成功建模时间可变事实。然后在ICEWS14和ICEWS05-15两个数据集中量化分析了时间可变事实在整个数据集中的占比。最后,通过实验验证了模型的效果,同时通过理论推导,从数学角度证明了模型能够建模时间可变事实。

摘要： 孩子上课走神、迟到、说谎、打架、不交作业……面对种种教育难题，若您的手里只有“钉锤”，那看什么都像“钉子”；若带上尊重、共情、倾听、具体化等工具，每个问题都有可能迎刃而解。初三男生小文最近成绩下降明显，父母认为其重要原因是小文爱和成绩不佳的同桌讲话，学习不认真。于是他们找班主任沟通，恳求班主任调去全班第一名做小文的同桌。小文知情后，执意要换回来。

关键词： 机器学习方法   偏微分方程   transformer   算子学习   优化算法  

摘要： 近年来,机器学习方法在各个领域有着极其广泛的应用。由于其强大的表示能力,机器学习方法也被应用于求解偏微分方程。算子学习任务作为其中的一大课题,因为其实用性,也深受学者关注。常见的机器学习方法求解偏微分方程主要包括三个部分:选择网络表征与方程有关的解,构建损失函数,选用合适的优化器优化损失函数。本文从第一部分和第三部分论述了机器学习求解偏微分方程的一般步骤。Transformer框架作为自然语言处理中最先进的框架,却面临着高计算消耗的困难。我们基于其相关性矩阵的低秩性,设计了 Linear(Lin)和Low-rank(Lrk)两种模型用于求解算子学习任务并测试了它们在Burgers方程,Darcy流,Darcy流的逆系数确认问题以及三维Darcy流中的表现。数值结果表明,这两个模型能在保持精度基本相同的前提下提高了效率。较深和较宽神经网络的优化一直是一个较为困难的事情,常见的优化器很难使目标函数优化到一个较为理想的极小值点。我们比较了 Adam算法和Adam-CBO算法,测试了它们在较深和较宽网络中迭代次数相同的情况下分别所能达到的精度,发现Adam-CBO在这类网络中有着更好的表现。