关键词： 晶界铁素体   定量分析   扭转   图像处理  

摘要： 钢丝从普通强度逐步发展到高强度,超高强度,甚至特高强度以来,钢丝的塑性在生产过程中得到的挑战越来越大。高强度的钢丝在后续拉拔过程中面临着显著增高的断丝率,在成型过程中的扭转分层等问题。针对当前主流应用的80C钢丝,学者们通过热处理工艺和工程控制实现对80C钢丝的组织调控,进而提高塑性。研究主要集中在细片状珠光体率和晶粒度大小等方面,而对晶界铁素体则较少关注。主要原因是晶界铁素体含量低且目前行业内缺少晶界铁素体定量分析的方法。80C钢丝中晶界铁素体弱化了晶界,在扭转过程中,协同变形能力差,恶化了钢丝的塑性。为了满足钢丝强度提高的需求,结合单丝扭转测试的晶界铁素体的定量分析,对生产高强度的钢丝十分重要。数字图像处理技术和机器学习提取组织特征参数并建立大量数据库,实现了晶界铁素体的定量分析。这为以后智能识别材料性能提供强有力的基础。本论文研究了80C钢丝热处理过程中影响晶界铁素体形成的关键工艺因素。数字图像处理技术和机器学习对晶界铁素体进行定量分析,建立了晶界铁素体与单丝扭转结果的关系。结论如下:80C钢丝中不同含量的晶界铁素体取决于在相同生产速度下炉温的设定以及冷却淬火工艺中组织开始转变的温度。在本论文的工艺条件下,当晶界铁素体长度大于20±0.5um,面积率大于0.02%时,钢丝的扭转分层次数下降幅度超过20%,导致了钢丝在最后一道工序成型过程中分层的发生。

关键词： 深度学习   对抗样本   对抗训练   结构稀疏   模型剪枝  

摘要： 近年来,深度学习技术的飞速发展,越来越多的人工智能产品也能落地了。伴随着深度学习技术在安防监控,银行金融,自动驾驶等安全敏感任务上的应用,深度学习模型作为一个黑盒的端到端模型,其安全性和隐私性也越来越受到人们的关注。对抗样本技术更是成为了深度学习研究的热门领域。虽然基于极大极小值优化的对抗训练方式成为了防御对抗样本攻击的最有效方法,但是对抗训练中存在两个问题:对抗训练比正常训练需要更大的模型容量,导致鲁棒模型中存在很多的冗余参数;对抗训练内部极大值通常需要大量的时间去求解优化,导致模型的训练过程比正常训练消耗非常多的计算资源。本文从模型结构稀疏的角度去解决这两个问题:(1)对于过参数化的鲁棒神经网络,从模型压缩的剪枝角度展开去直接裁剪掉冗余的模型参数。本文首先对鲁棒网络进行了彩票假设实验,通过一定的实验论证了在鲁棒网络中彩票假设并不成立。然后为了有效的压缩鲁棒网络,本文对鲁棒网络的权重分布进行可视化展开并发现了模型的鲁棒性,模型精度和稀疏性之间存在Trade-off的关系,而且鲁棒模型中间的参数对稀疏敏感度较高,根据这一稀疏特征本文提出一种基于稀疏敏感度分层剪枝算法对鲁棒网络进行压缩。最后将本文的压缩策略与经典的网络压缩算法结合进行实验。实验结果表明本文的方法不仅可以实现在保证鲁棒精度的前提下有效压缩鲁棒模型,而且在黑盒攻击下本文算法得到的稀疏子网络的精度甚至可以超过原始网络。(2)为了缓解基于优化的对抗训练的耗时问题,本文同样从模型的结构稀疏角度出发。通过对比单步对抗训练和多步对抗训练的之间的差异,发现在单步对抗训练中存在着严重的过拟合问题。本文模型大小角度缓解这个过拟合问题,通过结构稀疏来限制模型训练过程中模型的大小,本文提出一种基于结构稀疏的随机单步对抗训练,通过把模型结构的稀疏性和随机单步对抗攻击结合起来,实现提升单步对抗训练的模型鲁棒性的效果。在Mnist和Cifar-10公共数据集上的实验结果表明了本文方法的有效性,对比其他的快速对抗训练的方法本文的方法也有一定的精度优势。

关键词： 距离度量学习   机器学习   深度学习   行人重识别   图像检索  

摘要： 距离度量学习是机器学习中的一个重要分支。近些年来,随着机器学习的飞速发展,距离度量学习受到了研究者们广泛的关注,并被使用到各式各样的现实应用中,例如图像分类、图像检索、聚类、人脸识别以及行人重识别等。距离度量学习通过探索训练数据内在的统计特征来学习得到一个鲁棒的距离度量,将数据映射到一个特征空间,使得相似的样本互相接近,不相似的样本互相远离,进而有利于提升相应任务的效果。作为一个基础的研究方向,距离度量学习的发展推动了各个研究领域的发展。传统的距离度量学习可以直接得到一个显式的度量矩阵或是线性变换。该方法比较直观而且便于加入对于度量矩阵和线性变换的限制,但是其非线性性需要通过核方法等方式来实现,涉及较多复杂的数学推导。随着近年来深度卷积神经网络的发展,传统的距离度量学习与深度学习相结合,深度度量学习应运而生。深度度量学习将约束集成到损失函数上,利用深度神经网络作为一个非线性映射函数来学习得到一个特征空间。得力于神经网络强大的学习能力,一般而言深度度量学习的效果优于传统距离度量学习,但是深度度量学习需要较为庞大的训练数据和计算资源来训练神经网络以达到预期目标。因此两种方法都有各自的优势和缺点,非常值得深入研究,合理利用其优势同时规避其缺陷。随着各种电脑和手机应用的发展,应用数据量逐年增长。由于人们对于应用性能以及实时性要求提高,诸如在线应用这种实时性应用的需求量在不断提升。因此如何提高距离度量学习的效率,设计出兼具低复杂度和高性能的距离度量学习方法至关重要,研究低复杂度的距离度量学习方法是一个具有深远意义和光明未来的研究方向。本论文主要针对低复杂度的距离度量学习算法研究,希望能够在低复杂度的情况下获得学习性能的提升。目前已有的传统距离度量学习算法主要是直接学习得到一个马氏矩阵或是学习一个线性变化。已有的深度度量学习算法可以大致分为三类:学习实例-类别相似度约束的深度度量学习方法、学习实例-代理相似度约束的深度度量学习方法以及学习实例-实例相似度约束的深度度量学习方法。这些距离度量学习方法挖掘训练数据中的有用信息,在许多任务中验证了其性能,但是仍然存在着许多缺陷。(1)直接学习马氏矩阵或线性变化的算法复杂度是平方量级的,与输入数据维度有关,难以扩展到高维数据情况。(2)不能够充分利用训练数据的信息,在训练中引入随机性或需要利用其它域的训练数据进行辅助。(3)基于实例-类别相似度约束以及实例-代理相似度约束的深度度量学习方法经常受到监督信息不足的影响进而导致性能退化;而基于实例-实例相似度约束的深度度量学习方法则因为算法复杂度至少是平方量级的而造成训练效率低的问题,且需要依赖较为复杂的采样和加权机制。(4)目前的深度度量学习方法没有很好地探索数据类别的结构信息,容易造成“监督崩塌”的现象,即学习到的信息只是有利于提升训练集上的表现,不能很好地迁移到测试集上,这一现象在行人重识别和细粒度图像检索这类训练集和测试集类别完全不重叠的任务中体现的尤为明显。本论文针对上述问题,设计了低复杂度的距离度量学习方法,用于解决现有算法存在的缺陷。本论文介绍的工作主要分为三个部分:基于组合系数的半监督距离度量学习,基于特征向量的距离度量学习以及利用原型分布指导的深度度量学习。基于组合系数的半监督距离度量学习针对直接学习马氏矩阵或线性变化计算复杂度高的问题,通过将半正定的距离度量矩阵拆分成基向量线性组合的形式,通过随机向量和学习线性组合系数来对目标距离度量矩阵进行近似,将变量和计算复杂度由平方量级降低到常数量级。另外还提出了一种新颖的半监督学习方法将算法扩展到了半监督学习框架下,利用了无标记数据中潜在的数据特征。针对非平滑目标函数的优化问题,本文提出了一种基于交替方向乘子法的优化算法,在每一步都直接求得闭式解,进一步地提升了训练速度降低训练代价。特别地,在人脸检索数据集上相较于凸优化包提速将近30倍。针对基于组合系数的半监督距离度量学习使用随机向量而引入的随机性且不能反映数据信息这一问题,之前的算法利用其它域数据学习特征向量,这需要额外的训练数据和开销。基于特征向量的距离度量学习引入了由训练数据明确学习得到的特征向量,仅需要利用特征值最大的几个特征向量即可获得绝大部分训练数据中的信息,进一步提高了运算效率和实验性能,并且在人脸检索的大数据集上得到验证。利用原型分布指导的深度度量学习,针对目前最先进的深度度量学习算法依赖于大量的成对相似度监督信息,而且不能很好地探索数据结构的信息而容易造成“监督崩塌”这两个问题,提出利用原型级别的数据结构来对距离度量学习进行额外的监督,降低了对于大量监督信息的依赖,将计算复杂度由平方量级降低到了线性量级。此外,本文提出的原型分布能够反映原型级别的数据结构,增强了在测试集上的泛化能力,进而提升了算法性能,并在行人重识别和细粒

关键词： 文本分类   数据增强   层次学习   类别不均衡  

摘要： 文本分类是自然语言处理领域中当前学术界和工业界最受关注的前沿问题之一。通用的文本分类算法极大依赖数量充足且类别均衡的数据集,而在实际任务中面对新闻文本数量有限且类别不均衡的情形,文本分类算法效果不佳,鲁棒性较差。此外,由于新闻具有文本风格跨度大、长文本语义丰富且表达方式多样的特点,针对新闻领域的文本分类已成为重大挑战。基于以上问题,提出了层次数据增强和学习方法框架HDAL,并应用于新闻文本分类任务中。层次数据增强模型实现“文本—特征”双层数据增强。在文本层层次数据增强模型中,将文本抽取算法用于数据增强领域,融合基于统计、图和潜在语义的方法,结合新闻标题信息和信息熵算法改进后,通过设置冗余约束条件采用线性规划方法得到数据增强文本。在特征层层次数据增强模型中采用Mixup方法,通过对文本映射在特征空间中的点进行线性插值构造的方式,生成小样本类点邻域附近的新样本。层次学习方法通过对大样本类和其它小样本类进行层次分隔的方式,保证了每层学习过程中不同类别之间的数量均衡。应用在文本分类算法上时,层次学习方法借助重加权设置比例系数的方式优化了二分类任务下的交叉熵损失函数,降低算法在学习过程中大样本类对其它类造成的混淆和干扰。在NSDC和20News Group两种新闻数据集上,对层次数据增强和学习方法框架HDAL进行了文本分类测试,实验结果表明HDAL框架对文本分类算法的F1提升2%至5%。相较于数据增强算法EDA,HDAL框架对文本分类算法的F1提升程度均超过1%,且耗时更短。

关键词： 复杂网络   网络表示学习   深度学习   自编码器   多标签分类  

摘要： 网络数据是用来描述物体与物体之间联系关系的一种表示。在现实世界中,各式各样的系统都可以通过网络数据来表示,例如物流网络系统,生物信息网络系统,等。然而,这些网络往往具有数据庞大、结构复杂等特点。因此,复杂网络往往不能被人们全面认识和理解。网络表示学习的研究是复杂网络分析的重要内容之一,它有助于人们对复杂网络内部机制的认识和理解,从而实现对复杂网络的应用和发展,例如生物网络中的传染病预防,社交媒体网络中的社会舆论监控等。因此,网络表示学习在复杂网络中的研究至关重要,具有十分重要的意义。网络中的节点信息一般呈现高维的数据特征,然而往往会给网络分析任务造成困难。网络表示学习主要是将网络中节点信息转化为低维向量表示,从而更好地分析网络结构以及节点间相互关系。但是,随着网络规模的逐渐扩大,传统的网络表示学习方法并不能很好地解决大规模网络所带来的问题时,因此如何学习复杂网络中的低维向量节点表示显得十分重要。为了解决以上问题,本文将深度学习方法引入到网络表示学习研究中,目的是提高网络表示学习能力。基于深度学习与网络表示学习,论文提出了两种网络表示学习算法,即:基于louvain算法的快速网络折叠方法和一种基于深度自编码器的网络表示学习方法。第一种方法主要以解决现有网络表示学习方法难以应用于大型复杂规模网络的难题;然而第二种方法主要为网络中的每一个节点提取低维特征向量表示。通过在不同的数据集上的实验结果证明了本文提出的方法较一些经典的网络表示学习方法更具有高效性和可扩展性。综上所述,本文的主要研究工作包括:(一)日常生活中随着数据量不断增幅,使得网络规模也越来越复杂,结构更庞大,因此迫切需要设计针对复杂网络的表示学习。本文提出了一种基于louvain算法的快速网络折叠方法,该方法主要利用了网络中的节点具有社团性的特点,将大型复杂的网络通过节点与节点之间社团关系进行聚合成一个超节点,并且将聚合后一系列的超节点重构新的网络,重构的网络规模远远小于原始网络规模。这样不仅保留了网络局部层次性,同时也保留了网络结构的全局性。在重构的小规模网络上运用经典的网络表示学习方法学习节点的低维特征向量表示,这在一定程度上解决了目前网络表示学习无法应用于大规模复杂网络的难题。(二)在实际应用中,网络通常包含大量的非线性特性,传统的网络表示学习方法在实际网络中可受到限制。针对以上问题,本文提出了一种基于深度自编码器的网络表示学习方法。采用了一种有效的网络邻接矩阵变换的方法来描述网络节点的相似性;在对其进行深度自编码器进行低维特征的提取操作,从而得到有效的低维特征表示;得到的低维特征表示用于下游任务中,如节点分类,重要节点发现等。此外,该方法还可以作为基于louvain算法的快速网络折叠方法中每一层网络节点嵌入方法,从而实现对复杂网络中节点更有效、更准确地表示。

关键词： 人工智能   特征选择   集成学习   梯度提升   搜索策略  

摘要： 特征选择作为人工智能领域内对数据的预处理手段之一,具有十分广泛和重要的应用背景。目前,将集成学习算法作启发式的方法来进行求解特征选择问题,得到了学者们的关注。本文将集成学习算法融入特征选择的过程,构建了基于集成学习的特征选择模型。集成学习算法中Cat Boost与XGBoost内部的建树过程定义了一些评分标准,将这些标准应用于特征选择领域作为评价待选特征质量的标准,在特征选择中对特征进行了预评分过程,以便对后续的特征子集搜索行为做出指导。基于Cat Boost算法,提出了CABFS特征选择算法,首先使用Cat Boost中提供的度量单个特征的两种指标,分别从两个维度测量特征的重要性程度,然后结合提出的搜索策略对特征子集进行搜索。使用Catboost提供的度量指标先对特征进行预评分,能够加快特征的整体评价速度,更有利于后续特征子集的搜索。算法与近年来提出的5个算法在7个不同维度的数据集上进行了实验验证,实验表明,CABFS特征选择算法在5个数据集上的准确率都能达到最高。基于XGBoost算法,提出了BSXGBFS特征选择算法,首先使用XGBoost中提供的针对特征的三种度量指标,分别从三个维度测量特征的重要性程度,然后结合提出的双向搜索策略对特征子集进行搜索。使用XGBoost提供的三个度量指标进行两两组合,不仅加快了特征的评价与搜索过程,更丰富了特征子集的多样性。算法与近年来提出的6个算法在11个不同维度的数据集上进行了实验验证,实验表明,BSXGBFS特征选择算法不仅在中低维数据集上能保证很高的准确率和维度缩减率,在十万维和百万维的数据集上也满足了可计算性。

关键词： 学习方法   三步练   三回演   三贯通   三对策  

摘要： 学习方法,这里指学生对学习方式方法选择与学习进程评估调控这两方面的习惯性行为或学习模式。"三字诀",指学习过程的三个步骤、学习内容的三个要点、学习目标的三个维度、学习行动的三个策略等。学习方法,相对所有课程而言,它既蕴含着共性的思想内涵,又具有学科个性化的行动方式。其主要的共性内涵为:课外作业"三步练";巩固记忆"三回演";知识梳理"三贯通";复习备考"三对策"。

关键词： 强化学习   自适应动态规划   博弈理论   输出调节   纳什均衡   多人游戏  

摘要： 优化控制广泛应用于生产生活中的各个领域,有很重要的研究意义和很高的研究价值。随着实际应用中被控系统的规模的扩大以及复杂程度的提升,系统的精确辨识存在的困难也随之增加,并且也会带来较高的成本。因此,数据驱动的优化控制方法开始成为人们关注的焦点。而强化学习的发展,为此方向的研究提供了全新的思路,以及实际可行的方法。而本文的主要工作概述如下:1.针对线性离散时间系统的多人非零和博弈问题,在强化学习的框架下,通过融合博弈理论和自适应动态规划,首次提出一种非策略博弈Q学习算法。该算法不要求系统模型参数已知,完全利用系统可测数据就可以学习出多人非零和博弈的纳什均衡解。而且,本文还分别给出在系统添加探测噪声保证持续激励条件下,所提出的策略博弈Q学习算法和非策略博弈Q学习算法学习出的多人非零和博弈的纳什均衡解的有偏性和无偏性证明,以及算法收敛性的证明。仿真结果验证了所提方法的有效性。2.针对存在外部干扰的线性离散时间多人游戏系统的H∞控制问题,通过引入零和博弈理念,在自适应动态规划和强化学习的架构下首次提出了一种针对多人零和博弈的非策略博弈Q学习算法。鉴于非策略学习方法相对于策略学习方法具有明显的优点,所以本文将非策略学习与Q学习进行结合,进而在系统动态模型完全未知的情况下学习出多人零和博弈的纳什均衡解,并满足干扰衰减条件。此外,所提算法的收敛性和学习结果的无偏性均得到了严格证明。仿真结果验证了所提方法的有效性。3.针对存在外源系统动态干扰的线性离散时间多人游戏系统,提出了一种新颖的非策略合作博弈Q学习算法来实现系统对外部信号发生器产生的参考信号的鲁棒最优追踪控制。最关键的一点是本文首次将强化学习、合作博弈以及输出调节技术在多人博弈的离散时间采样系统下进行融合,实现数据驱动鲁棒最优追踪控制和对干扰的抑制。通过无模型的学习方式学习出系统的协调均衡解和稳态控制率,使得鲁棒最优追踪控制策略可以容忍干扰存在并以最优的方式实现对参考信号的追踪。所提出的算法的收敛性和在探测噪声存在情况下的学习结果的无偏性均得到严格证明。仿真结果验证了所提方法的有效性。

关键词： 数学   学生   学习方法  

摘要： 在中学时期,要想学习好数学,学生除了对数学有浓厚的兴趣以及良好的学习习惯外,同时还要掌握科学的学习方法,学习方法的掌握和运用不是一朝一夕能实现的,而是一个十分庞大的系统,需要学生在日常学习中通过教师的引导和自己的摸索,逐渐构建科学的学习体系。

关键词： 小学数学   研究性学习   学习方法  

摘要： 小学数学这门学科作为学生日常所学基础科目,在教学过程中自然而然受到重视。但是,目前我国小学数学教育只强调重视理论结果,而轻视甚至忽视理论过程和实践应用的现象较为普遍,导致部分学生失去学习数学的兴趣。因为小学数学,是我们学好其他科目的基础,所以我们必须明确在小学数学教学中开展研究性学习的必要性。本文对在小学数学教学过程中开展研究性学习的必要性以及方法策略加以阐述。