关键词： 高等职业院校学生   学习态度   学习效果   学习方法   教育部   高等职业教育   高职学生   高职教学模式   制造业强国   复习教学  

摘要： 为了更好地适应时代发展的需要，我国的高职教育需要进行适当的改革，在一定程度上提高学习难度和学习深度。但是我国高职学生普遍存在基础差、能力差、态度差的特点，如何有效提高高职教学的质量便成了我国高职教育中的一个研究热点。本文提倡基于一致性的预习——复习教法应该在高职教学中得以落实，并对这一教法如何落实进行了初步的设想和描述。1引言一致性理论的代表人物是美国教育评价专家韦伯，他认为，一致性是指两种或两种以上事物之间的一致程度，即事物的所有或部分元素融合成一个和谐的整体，并指向

关键词： 雷达目标识别   持续学习   条件卷积   最佳相关性映射   模型分裂与桥接   贪婪替换  

摘要： 随着高科技战争概念的不断深化,雷达自动目标识别技术(RATR)逐渐成为雷达领域的研究热点。与其它形式的雷达信号相比,高分辨距离像(HRRP)具有获取容易、处理简单、信息丰富的优点,已被广泛应用于各类RATR任务中。随着深度学习理论研究的不断深入,使用深度神经网络进行目标识别逐渐成为HRRP识别领域的主流方法。众所周知,训练深度神经网络需要有完备的数据集支撑,然而在实际当中,想要提前获取充足的非合作目标HRRP数据存在极大难度。为此,希望识别网络能够及时利用雷达在工作中获取的新数据实时学习新目标、新样本的特征,进而获取对其识别的能力。在此过程中,若直接使用新数据更新识别网络,会引起网络参数快速变化,使得更新后的网络不再匹配先前的训练集,从而导致整体识别性能下降,即所谓的灾难性遗忘现象。为缓解该问题,人们提出了持续学习方法,使得模型能在学习新数据特征的同时,尽可能地保留对先前数据的识别能力。本文研究了基于持续学习的HRRP目标识别方法,主要工作内容有: (1)针对目标HRRP训练集姿态或域非完备的应用场景,提出了一种基于最佳相关性映射分类器的持续条件卷积(CCORMC)持续学习方法。该方法基于参数隔离策略,通过为模型的特征提取器扩充新任务专属的条件卷积结构,不仅增加了模型对目标新姿态的识别能力,而且完全保留了其对已学习目标姿态的识别能力;同时对模型的分类器附加多重相关性映射掩码来提高参数利用率,缓解了结构扩展导致的空间资源占用多问题。此外,充分利用雷达获取到的信息自动推理任务标签,使模型能够自动选择只与当前任务对应的参数参与计算并迭代更新,满足了掩码对任务标签的约束。实验结果表明所提方法有效改善了域扩充场景下的持续学习性能。 (2)针对目标HRRP训练集型号或类别非完备的应用场景,提出了一种基于贪婪替换的模型分裂与桥接(Sa B-greedy)持续学习方法。对于模型持续学习新型号样本与重放旧型号样本的过程互相影响的问题,采用动态架构与样本重放策略,通过模型结构的分裂,分离式地学习新型号目标样本知识并巩固旧型号目标样本知识;同时,为了解决模型核心样本集代表性不足导致识别率下降的问题,利用基于梯度的贪婪替换策略构建重放核心样本集,充分表征各个类别目标样本的真实特征分布,并辅以适当的重采样策略缓解各类别样本不均衡问题。实验结果表明所提方法有效提高了类别扩充场景下模型的识别精度和稳定性。

关键词： 深度学习   图像分类   小样本学习   元学习   度量学习  

摘要： 随着深度学习的发展,图像分类任务已经取得巨大成功。然而,深度学习模型的训练往往需要依靠大量数据,当数据较少时由于过拟合会严重损害模型性能,这便产生了小样本问题:当遇到新任务时如何在样本数据较少的情况下仍使模型保持较好性能?元学习是最常用于解决小样本问题的框架,近年来出现了带有预训练的元学习算法,代表工作为元基线算法(Meta-Baseline),其训练过程分为预训练和元训练。然而,随着元训练的进行,元基线算法的准确率会先升后降,最后甚至会弱于原型网络算法,表明预训练得到的表征信息并不能很好地被元训练度量。另外,作为非端到端的算法,元基线算法的元训练必须要等预训练结束后才能进行,且第一二阶段准确率不成正比,意味着必须对多个预训练模型进行元训练。为了解决上述问题,受随机方差消减梯度下降算法(Stochastic Variance Reduced Gradient,SVRG)的启发,设计和实现了一种端到端的基于基类信息辅助的元学习训练方法(Boosting Meta-Training with Base Class Information,Boost-MT),可以更好地利用基类数据信息以辅助元训练过程,从而提升模型性能,同时避免了非端到端训练带来的问题。Boost-MT算法将训练过程分为内外循环两部分。在外循环中,在基类批数据上利用通用机器学习方法计算基类数据外循环损失,但不更新特征提取器的参数,解决了通用机器学习训练得到的特征提取器提取的表征不能被元学习度量的问题。在内循环中,通过元学习计算任务内循环损失,并使用任务外循环损失与基类数据外循环损失共同指导内循环更新,更好地利用了基类信息的类迁移能力。利用常用的小样本数据集对Boost-MT算法进行了实验验证。实验结果表明,随着训练的进行,模型可以快速收敛到稳定的状态,且并未出现性能下降的现象,说明Boost-MT算法更好地利用了基类信息指导元训练。同时,在普通小样本分类任务及跨域任务下,Boost-MT算法的准确率都超过了元基线算法,表明相对于带有预训练阶段的元学习训练方法,所提出的Boost-MT算法更适合执行元学习。

关键词： 岩土工程   岩石缺陷   无损检测   机器学习   深度学习  

摘要： 岩石的稳定性和内部结构状态是影响岩土工程质量和安全的关键因素,因此,在不破坏岩石整体结构的情况下进行无损检测对于保障安全生产具有重要意义。不同学者提出了多种岩石无损检测方法并取得了一定的研究成果,然而,现有的研究对岩石中复杂缺陷的识别还不够高效和精准。同时,随着计算机性能的发展,机器学习方法逐渐普及到无损检测领域并提高了缺陷识别的效率和正确率。因此,本文对基于波形特征的机器学习方法在岩石无损检测中的应用进行了系统的探讨、分析和评估。 本研究以截面形状不同的花岗岩试样和内含不同种类裂缝的石膏试样为研究对象,利用机器学习方法对试样截面形状、试样完整性、试样内部矩形裂缝的大小和个数、试样内部裂缝的形状进行了分类识别。不同于以往无损检测采用单一或少量特征的分析方式,本研究同时分析了多种时域与频域信号波形特征,提取了更多包含在振动信号中反映缺陷的有效信息,初步形成了一套使用机器学习来识别岩石复杂缺陷的方法。本论文的主要研究内容和结论如下: 本文首先利用机器学习模型对试样截面形状和试样完整性进行二分类,证明了机器学习方法在岩石无损检测中的可行性。研究结果表明,KNN二分类模型和SVM二分类模型在试样截面形状分类识别同时达到了100%的正确率,并且在试样完整性分类识别也同时达到了99.31%的正确率,但是SVM模型在相同正确率下具有更快的执行效率。 其次,本文利用机器学习模型对内含不同大小、不同个数矩形裂缝试样进行分类识别,并对模型进行优化,充分证明了机器学习方法在岩石无损检测中的高效性、准确性及高精准度。通过参数调整和模型优化,KNN和SVM两种多分类模型对内含不同大小、不同个数矩形裂缝的石膏试样分类识别正确率均达到了97.15%。此外,与KNN模型相比,采用多项式核的SVM模型在保证正确率的同时能够显著提高计算效率。 最后,本文利用机器学习模型和深度学习模型对内含不同形状的复杂裂缝试样进行分类识别,进一步拓展了机器学习在岩石无损检测中的应用范围。KNN模型和SVM模型对内含不同形状裂缝的石膏试样进行分类识别均达到了94.11%的正确率。CNN模型和LSTM模型则在对内含不同形状裂缝的石膏试样分类识别上分别达到了94.97%和96.09%的正确率。深度学习模型能进一步提高正确率但是需要消耗更多计算资源。 本文通过机器学习模型对试样截面形状、试样完整性、试样内部矩形裂缝的大小和个数、试样裂缝的形状高效精准的分类识别,形成了一套使用机器学习来识别岩石复杂缺陷的方法,有效地提高了岩石无损检测的识别效率、正确率和精准度。但是本研究由于时间和设备限制,尚未对试样中裂缝的位置进行定位识别,同时受限于计算机性能尚未对更多神经网络模型进行探索,将在未来做进一步深入研究。

关键词： 零样本学习   知识图谱   多模态   层次结构  

摘要： 现实世界的图像识别应用程序通常面临着成千上万个对象类。为每个类收集足够的训练数据是费时的,甚至无法完成。零样本学习(Zero-shot learning)旨在识别训练阶段未见的新类别,其已成为一个需要研究的重要问题。近年来,学者们在零样本学习方法的研究上取得了巨大的进步。但是也存在着诸多不足,主要体现在现有方法对于类表示大多依靠语义信息,如属性向量、词向量等,其包含的信息过于单一,类表示区分力不足,从而影响零样本学习性能。 本文重点研究如何解决类表示单一问题,从视觉特征向量和层次结构信息两个不同的方法来加强类表示信息。主要内容如下: (1)本文提出使用视觉特征向量来对类表示进行优化,与语义信息相同,视觉特征向量同样具有类别区分力,可以弥补一些场景下语义信息不足以区分类别的问题。该方法利用生成对抗网络来生成初始视觉特征向量表示,接着基于知识图谱借助图神经网络来对本文获取的初始视觉特征向量进行优化。然后,将视觉特征向量与语义向量结合。最后,提取Res Net-50的最后一层权重参数作为可见类别的分类器参数,通过半监督模型来将可见类别的权重参数扩展至未见类别,以此获取所有类别的分类器参数,从而完成分类。 (2)现有的图神经网络模型由于拉普拉斯平滑问题无法有效的利用层次结构,针对此问题本文提出了一种基于层次结构信息和语义信息的零样本学习方法。在本文中,为了能够有效的利用结构属性,将知识图谱中的层次结构关系向量化,再将其和语义词向量相结合,使得类别表示被赋予一定的结构属性,从而有利于区分不同层次的类别。同时借助知识图谱中的路径相似性来重新分配节点之间的权重,以加大同层次不同类别间的区分性。

关键词： 信贷风险评估   可解释性   集成学习   逻辑回归   系统开发  

摘要： 信贷风险评估是企业风险管理的重要一环。在人工智能技术关注度越来越高的今天,机器学习方法为提升信贷风险评估的智能化、高效化程度提供了新方案。然而,神经网络等方法在企业信贷风险评估时存在可解释性较差、数据透明度低等问题,相应地,企业使用意愿度仍较低。为提高信贷风险评估可解释性和智能化程度,本论文围绕信贷风险评估问题,提出一种基于集成学习的具有较强可解释性的信贷风险新方法,并进一步对信贷风险评估应用进行研究和实现。本论文主要研究内容及创新点如下:1、针对信贷风险评估可解释性较差的问题,结合国内外在信贷风险评估问题上的研究,提出了一种引入集成学习方法的信贷风险评估新方法。新方法首先借鉴XGboost(e Xtreme Gradient Boosting)思想,引入一种路径不重复的树分裂方法,以生成一组关于原始数据集的分类树;然后对这些数据集分别进行线性逻辑回归学习;最后采用逻辑回归作为基模型的adaboost(Adaptive Boosting)方法对不同分类树上的线性逻辑回归模型进行线性加权集成,从而形成了一个最终完全可解释的信贷风险评估模型。得益于上述特性,新模型能够为企业信贷风险管理提供有效的可解释参考。模型性能方面,在北京市企业审计数据集上,准确率和召回率分别达到93.10%和90.51%,在某市脱敏真实数据集上的准确率和召回率分别可达到82.68%和83.47%,上述结果与现有的信贷风险评估模型性能相当。并且通过数学推导和实验验证的方式,证明了新模型具有良好的可解释性和可读性,能够为信贷风险评估提供有益参考。由此,新模型将具有显著更强的实用价值。2、基于逻辑回归集成的新模型,设计并实现了企业信贷风险评估系统。系统实现了企业信贷数据处理和分析功能,构建完整效率的信贷风险评估任务流程。系统实现的主要模块有用户管理模块,数据管理模块,数据预处理模块以及风险评估模块。用户管理模块提供用户权限和信息查询功能。数据管理模块提供企业信贷数据的管理功能以及数据集的基本情况展示功能。数据预处理模块实现了多种数据预处理方式以便完成数据的清洗和填补。风险评估模块集成了本文提出的新方法和其他主流的机器学习方法来对信贷风险进行评估,并且提供了模型的可解释性对比分析。结合实际数据对系统进行测试的结果表明,该信贷风险评估系统在功能和性能上均有良好的效果,并且能提供直观的图表展示和不同模型之间的对比分析。综上所述,本文所提出的可解释性信贷风险评估模型能够为企业的信贷风险评估提供可解释性更强的新解决方案,能够为机器学习方法在信贷风险评估问题中的应用提供有益参考。上述应用系统的有效实现及测试结果表明,本文所提出的新模型能够有效地应用于实际企业信贷风险评估场景,具有清晰的现实价值。

关键词： 联邦学习   隐私保护   差分隐私   聚类方法   自适应  

摘要： 摘要 随着大数据时代的到来，使得以神经网络为基础的方法被广泛的应用在生活中的各方面。但是，个人生活的零散数据很难达到机器学习训练所需的数据量。集中式的机器学习又很难保证数据安全。为了解决上述问题，联邦学习成为实现不同组织间机器学习模型协作训练的一个热门研究课题。另一方面，差分隐私通过严格的数学证明，通过基于扰动的方式保护敏感信息不被攻击者推断。其中经典的差分隐私随机梯度下降法(DPSGD)在性能上无法达到预期的效果。因此，本文通过改进后的差分隐私保护技术来保护联邦学习过程中的数据安全，并针对分布式的场景，结合联邦学习自身性质，选取更为合理的参数，实现提高模型精度的目的。本文的主要工作包括如下两方面： (1)用自适应噪声的差分隐私ANDP来替代原本的DPSGD方法，并在结合联邦学习FedAvg方法上提出FL-ANDP算法，该算法可以通过就近两轮在服务器端的本地损失值来判断模型是否收敛，动态修改最优通信轮数T，并通过就近多轮(本文内为三轮，可以扩大判断轮数提升准确值)本地损失的变化趋势判断模型下降方向是否正确，并缩小噪声规模，进行自适应的对噪声进行修改。实验证明，噪声规模越小，我们的方法在通信轮数优化方面越能快速缩减通信轮数，同时提高最终模型的准确率。 (2)通过对每一轮用Kmean++聚类函数对梯度进行聚类，将客户端分成相似的几组，来模拟拥有非IID数据的情况。同时根据每一轮损失函数的值，对被选择客户端结果好的一半增加模型聚合时的权重，另一半则减少权重。这样可以保证总权重不变。同时，因为对客户端进行了分组，我们再按照分组内客户端的权重，动态的修改该组模型在聚合成这一轮最终模型时的权重。实验证明，我们的方法在训练初期能够快速提升模型的准确性，并在最终获得更准确的模型。

关键词： 深度学习   文本生成   零样本学习   表示学习  

摘要： 表示学习一直是神经网络研究的重点,随着深度学习被发现可以用来提取更丰富的层级特征后,深度表示学习开始受到研究人员的重视和青睐。深度学习为表,表示学习为里,共同促进了近几年人工智能的繁荣发展。深度表示学习为人工智能注入了新的活力,但也面临着诸多问题。随着网络层数的增加,参数急剧暴增,这给网络的优化带来了巨大的困难。比如经常出现的梯度消失问题就会直接导致网络无法完成有效的训练,最后得到次优或者平凡的表示。如何用深度网络提取更有表现力的有意义的表示成了当前表示学习的研究重点。另外一些新的人工智能应用场景也对表示学习提出了更高的要求,对于什么样的特征是好的特征这个问题在深度学习的各个细分领域受到广泛关注。 在自然语言处理领域的文本生成任务中,文本数据的特征表示是关键的一步,它将离散的文本数据转化为连续的向量表示。这些向量表示在连续的潜在空间中编码了文本的语义和语法信息,使得模型能够更好地理解和生成文本。然后通过在潜在空间中进行插值和采样,可以生成具有多样性和创造性的文本内容。不仅如此,零样本学习通过利用图像和辅助语义信息这两种模态的数据在表示层的融合对齐来实现对未见类的识别,如何构建文本特征和图像视觉特征的联合表示空间是解决该问题的关键。不同的下游任务所需的先验知识不同,因此这就要求表示学习要能做到提取通用特征增强其适用性,还要能提取任务专属特征增强其表现性。 为了应对上述挑战,本文围绕文本生成和零样本学习展开研究,旨在为其他生成任务和跨模态嵌入任务提供表示学习的新思路与新角度。本文的主要工作如下: 1.本文发现了变分自编码器在用于文本生成任务时隐变量退化的现象,并分析了其出现的原因。本文提出了一种μ-Forcing的正则方法,来鼓励文本变分自编码器学习多样且有意义的隐层特征表示。我们在亚马逊产品评论语料库(APRC)和中文在线购物评论语料库(COSR)上验证了该算法的有效性,该方法确实能有效的抑制隐变量坍缩的问题。 2.零样本学习的关键在于构建视觉-语义嵌入空间,本文首次把噪声对比估计运用于零样本学习中的表示对齐的问题上,提出了一种基于噪声对比估计和互信息最大化的零样本学习方法,该方法构建的视觉-语义嵌入具有鲁棒性,并且对所有数据集具有很好的泛化能力。该方法在多个基准数据集(SUN、CUB、AWA1、AWA2)上取得了比之前方法4.9～16.6%的性能提升。

关键词： 基金研究   投资策略   机器学习   量化投资  

摘要： 随着当下中国基金市场发展,市场上基金的数量和规模也逐渐增加,但是市场上的基金表现却多种多样,这给投资者选择基金造成了巨大困难。万幸的是,随着金融大数据时代的到来,金融机器学习学科也在不断的发展,因此如何运用机器学习技术帮助市场上的基金投资者构建基金投资策略,帮助投资者做出正确的投资决策,是一个十分值得研究的问题。本文通过机器学习的方法对基金策略的构建进行了研究,选取了2011年-2022年的股票类公募基金作为研究对象,选取了回归模型和集成学习模型作为策略构建方法,对基金投资策略进行建模。本文首先构建5类基金指标用于基金未来收益率的预测,分别为盈利能力指标、风险指标、动量指标、基金管理人指标、基金特性指标5类指标,再通过IC准则对指标进行初筛,通过筛选后的指标纳入基金学习模型的训练范围内。模型训练的主要流程为数据的标准化处理、模型参数的设定优化、模型的训练,模型有效性的检验。在得到训练好的模型之后,本文对2020年1月-2022年12月的数据进行了回测检验,投资者会根据测试集数据通过训练好的机器学习模型对基金未来收益率进行预测,然后根据未来收益率预测结果进行划分,等权重购买收益率最高的基金作为持有期为一个月得到解决组合,最后根据持有的基金组合和基金每日收益率计算基金组合的收益率,同时扣减一定的交易费用得到投资者数据能够实现的收益率。并且,在最后,文章还计算出策略回测收益的总收益率、年化收益率、最大回撤、年化波动率、夏普比率等指标,用于模型回测结果的评估。通过不同模型之间的对比,本文发现首先用机器学习方法构建的所有投资策略都比沪深300指数收益率表现要好,说明我们构建的机器学习基金投资策略具有一定的预测效果;其次,用集成学习方法构建的决策树模型的样本外预测能力和回测表现均比回归模型的表现要优秀,具体体现在年化收益率更高,最大回撤更小,更适合风险厌恶的投资者。这也说明说明非线性模型的泛化能力要强于线性模型,利用非线性的一些机器学习算法,去解决金融上的问题是可行且有效的;在本文构建的所有模型中,预测能力最强的模型为Xgboost模型,其回测期间内的总收益率为45.03%,最大回撤为26.47%,超过市场同期水平。

关键词： 建筑能耗预测   支持向量回归   反向传播神经网络   遗传算法  

摘要： 在公共建筑的日常运营中,能源使用过程缺乏科学有效的管控措施,导致能源消耗量过大、能源利用率低,造成成本增加和资源浪费。对城市公共建筑运行过程能源消耗量进行准确有效预测,可帮助城市管理系统实现高效优化及控制,达到节能降耗的目的。但在实际的公共建筑运行过程中,由于天气、人员流动等各类因素,建筑能耗存在随机性及不确定性。如何对建筑能耗进行准确预测,成为现阶段建筑运行能源管理的重要问题。本文利用遗传算法优化的支持向量回归、随机森林、反向传播神经网络、长短期记忆网络四种机器学习方法,基于加州劳伦斯伯克利实验室的能源使用数据集,对实验室未来一个月的能源消耗情况进行预测,对比分析四种机器学习方法对公共建筑能源消耗的短期预测能力。具体研究内容从以下方面展开: (1)在数据处理与分析方面,首先,统一原始数据的采样频率,使用描述性统计分析、可视化等手段识别数据异常值,比如室外空气湿度、室外空气温度等。其次,利用线性插补和K近邻插补方法,对时间序列数据中的丢失数据进行插补,插补后的数据分布特征与插补前基本相同,符合数据实际。然后,分析建筑能耗数据与影响因素数据之间的相关关系,并重新划定数据步长使更符合实际能源管理需求。最后,通过能源数据和影响因素的滞后数据相关系数筛选变量,并对筛选后的数据进行归一化处理,使之符合预测模型的输入要求。 (2)在模型构建与训练中,首先讨论分析支持向量回归、随机森林、反向传播神经网络和长短期记忆网络模型的参数,包括模型中哪些参数可以进行调整优化、各参数的作用原理、各参数的特点、各参数的取值等对模型性能的影响。随后依据研究目的、研究数据的实际情况选择需要进行调整的参数并设定参数范围,使用遗传算法分别对四个预测模型进行参数优化,即进行模型训练。最后对组合模型的训练过程进行分析描述,并对未来一个月的能耗进行预测。 (3)在模型对比中,首先,使用模型的默认参数取值或常见取值构建基础模型,并与经过遗传算法优化得到的最优模型(即组合模型)进行对比。其次,进行组合模型与组合模型之间的对比。其中,模型的对比包括三个方面:模型的拟合性、泛化性和模型在训练数据与测试数据上的表现差异。 本研究通过分析建筑能耗预测领域的研究现状,使用统计方法对研究数据进行分析与处理,使用遗传算法优化预测模型。结果显示:基于遗传算法的反向传播神经网络能够很好地把握未来能耗变化趋势,对用电高峰期数据较为敏感,预测效果最好;遗传算法对支持向量回归、反向传播神经网络和长短期记忆网络的性能均有较大提升。