关键词： 暂态稳定评估   电力系统稳定性   机器学习   原始数据  

摘要： 随着可再生能源一体化程度的提高,电力系统安全稳定运行迎来了全新的挑战,特别是系统惯性减小所带来的运行挑战,将对评估电力系统暂态稳定产生重大影响。随着新一代技术的发展,暂态稳定性评估这一传统问题变得更加复杂,其重要性也日益凸显,已经成为电力系统技术研究的焦点。与此同时,电力系统“大数据”的兴起,以及广域监测系统的发展,将为应对这些挑战引入了新的范式。传统的电力暂态稳定评估方法,如直接法和时域仿真法,已经不能满足当今快速变化的技术需求,其缺陷也日益凸显。伴随着人工智能技术的发展,新的方法和手段不断涌现,为深入研究暂态稳定性问题提供了崭新的视野和思维。因此,如何充分利用这种优势,将其应用于暂态稳定性评估,成为本文探讨的核心。本文旨在从数据挖掘和机器学习的角度解决电力系统暂态稳定评估问题,具体内容如下:(1)基于IEEE-39节点测试用例电力系统的动态模拟,构建了一个新的时域相量测量信号开放数据集,通过采用分层抽样来获取原始数据的特征,同时提出了几种用于暂态稳定评估的模型评价指标。(2)采用了两种特殊的循环神经网络结构,即门控循环单元和长短期记忆网络分类器,建立电力系统TSA的网络模型,然后研究门控循环单元和长短期记忆网络两种模型在电力系统TSA的性能表现,以及网络输入特征的选择对模型的影响。(3)考虑到门控循环单元和长短期记忆网络获取原始时间序列信号的主要缺点是无法在不同的电力系统架构之间传输学习到的信息,故提出了一个用于电力系统暂态稳定评估的完整机器学习模型,该模型由欠完全降噪堆叠自编码器和投票集成分类器构建,论文研究并讨论了该分类器在电力系统测试用例中的应用结果。经过测试,用于电力系统暂态评估问题的机器学习方法是有前途的,因为它能够吸收大量的数据,同时具有保留泛化和支持实时决策的能力。该评估方法表现出色,其评估速度快、准确度高,而且具有良好的容错能力。

关键词： 迁移学习   零样本学习   广义零样本学习   语义嵌入  

摘要： 零样本学习能解决传统机器学习中标记数据缺失等问题,在现实中具有重要的意义,吸引了学术界广泛的关注。在零样本学习中,其训练集与测试集数据之间不存在相同的类别,因此传统的图像分类方法在该场景下并不适用。在不可见类训练数据缺失的情况下,零样本学习需要借助语义知识建立训练集(可见类)与测试集(不可见类)之间的关系,通过将语义知识从可见类迁移到不可见类上去识别出新的类别。但是,由于视觉特征空间和语义特征空间的流形分布不同,某些算法过于依赖语义特征空间和视觉特征空间之间的跨模态映射,这个过程缺乏有效约束;从高维的视觉特征空间嵌入到语义空间时会产生高度重叠的语义特征,导致枢纽点问题;此外在广义零样本学习任务中存在严重的域偏移问题。本文提出了两种基于语义嵌入的零样本学习方法,主要研究内容如下: (1)针对语义间隔和枢纽点问题,设计了一种语义空间映射到视觉空间的方法:语义枢轴正则化的嵌入式零样本学习方法(SPR-ZSL)。首先将低维的语义知识嵌入到视觉空间以缓解枢纽点问题,然后设计语义枢轴正则化损失指导嵌入网络学习语义嵌入特征,让学习到的语义嵌入特征更具有判别性,最后用关系分类网络自适应的学习语义嵌入特征与视觉特征的相似性,完成图像分类任务。 (2)针对域偏移和枢纽点问题,提出了判别语义合作的零样本学习方法(DSC)。该方法主要三个模块组成:语义合作学习模块、语义间隔损失和关系模块。在语义合作学习模块中,设计加权属性学习网络提取原始语义知识的稀疏特征,由于原始语义包含大量的冗余信息,因此构建语义表征网络学习原始语义知识之间的差异信息特征,这可以获得不同类别之间的判别性信息;接着设计了语义间隔损失,以获得更加对称和统一的嵌入空间,监督语义合作学习模块的训练,有效缓解域偏移问题;最后在关系分类网络模块,我们运用关系网络,自适应地学习视觉特征与语义嵌入特征之间的联系,以此完成零样本学习任务。 (3)最后,将SPR-ZSL和DSC这两种方法在AWA1、AWA2、APY、SUN和CUB五个数据集上进行了传统零样本学习任务和广义零样本学习任务的相关验证实验,并通过对比其他方法以及结果分析等方式充分验证了本文所提方法的有效性。

关键词： 异构数据   度量学习   多视角学习   深度度量学习   半监督学习  

摘要： 在大数据时代,随着信息采集手段和技术的不断增强,人们得以从各个渠道来收集海量且结构复杂的异构数据。如何衡量这些异构数据之间的相似性,精确地为异构数据分类成为机器学习领域的研究热点。作为机器学习领域中的最为基础的研究课题之一,度量学习能够从数据中学习反映出样本自身属性的距离函数,合适的度量函数能够为后续的任务提供巨大的支持和增益。尽管现有的度量学习算法在许多领域中取得了令人瞩目的成功,但它们在处理复杂的异构数据场景时面临挑战。具体而言,这些挑战包括局部度量学习中近邻关系挖掘、如何从单(多)视角标记信息稀缺的场景下学习合适的度量函数、多视角信息难以融合以及挖掘有训练价值的样本点时的高时间复杂度。为应对这些挑战,本文基于局部度量学习、半监督度量学习、多视角度量学习及深度多视角半监督度量学习等方法,展开了以下创新性研究: (1)精确地挖掘样本之间的近邻关系是局部度量学习能够取得成功的关键。本文在动态挖掘近邻关系策略的基础上,提出了两个局部度量学习算法,分别是多分布感知的弱监督度量学习和最优实例划分多度量学习。前者旨在为每个三元组约束分配适当的权重,从而专注于优化那些具有真正近邻关系的约束。后者将基于聚类的多度量学习算法的两阶段过程合并为一个整体,以挖掘关联对象潜在的丰富语义。通过更新样本间的近邻关系,这些算法能够为局部度量矩阵的学习提供更具信息量的样本;反过来,更新的度量矩阵则有助于精炼近邻关系识别过程。实验结果表明,本文提出的方法能够准确地挖掘出样本之间的近邻关系,相较于已有的局部度量学习方法,学习到更具判别力的局部度量矩阵。 (2)为了解决从标记稀缺的异构数据中学习合适的度量函数的问题,本文提出了一个基于最大熵正则化的度量学习框架,该框架通过自适应的拉普拉斯图来动态地挖掘无标签数据的相似信息和不相似信息。此外,所提出的框架通过引入基于度量矩阵特征值的最大熵正则化项,成功避免了平凡解问题。为了进一步应对异构数据中的非线性特征,本文还将该框架推广到核空间下。值得注意的是,本文提出的框架可以通过不同的配置实例化成多种度量学习算法,并且这些算法都可以利用交替方向更新的策略,来高效地求解。在监督和半监督设定下,本文提出的算法在多个标准数据集上进行了广泛实验评估。实验结果表明,动态地挖掘无标签数据中的相似和不相似样本信息有助于构建更具信息量的拉普拉斯图,从而提高了算法在半监督场景下的性能。这为解决从标记稀缺的异构数据中学习合适的度量函数提供了有效的解决方案。 (3)为了融合不同视角下的特征,本文提出了一种新的多视角度量学习算法,即基于希尔伯特-斯密特独立性准则的层次多视角度量学习,旨在最大化视角内部和视角之间的判别性,同时惩罚不同视角的特征在公共子空间中分布差异过大的问题。本文利用了交替方向更新的策略来寻求该算法的可行解,并且将子问题视作黎曼流形上的无约束优化问题,最终采用黎曼梯度下降法来对子问题进行高效地求解。实验结果表明,该方法能有效地融合多视角异构数据中有价值的信息。同时,合理地利用待优化变量的真实几何结构并应用黎曼流形上的优化技术,可降低陷入糟糕局部极小值点的风险。在人脸验证、亲属关系验证和行人重识别等任务中,相较于现有的度量学习方法,本文提出的方法表现更为优越。 (4)为了解决在挖掘异构数据中有训练价值的样本点时的高时间复杂度问题,本文首先提出了通过熵优化实现高效的基于代理的深度半监督度量学习算法。该算法通过同时学习网络参数和多个代理向量,将半监督度量学习问题转化为一个基于样本-代理向量距离构建的概率模型的优化问题。该算法通过最大化有标签数据输出概率的熵,同时最小化无标签数据上的熵,从而合理融合了有标签数据和无标签数据。所提出的算法的时间复杂度与样本数量呈线性关系,能够高效地进行训练。接着,本文将该算法推广到多视角设定下,提出通过熵优化实现高效的基于代理的深度多视角半监督度量学习算法。该算法引入了基于视角之间相似性的项,旨在最大化多个视角之间的一致性信息。实验结果表明,本文提出的算法在提升半监督场景下的性能的同时,还能保持较低的时间复杂度。这为从大规模、多视角、标记稀缺数据场景下学习有效度量函数提供了有力支持。

关键词： 有意义学习   高中思想政治课   综合贯通策略  

摘要： 思想政治新课程标准强调要“构建学科逻辑和实践逻辑相结合、理论知识与生活关切相结合的活动型学科课程”。有意义学习理论的核心是关注学生的认知结构,培养学生对知识的迁移能力和应用能力,这与思想政治新课程标准的理念不谋而合。本文以有意义学习理论为指导,以高中思想政治课为研究对象,旨在探究有意义学习在高中思想政治课中应用的教学策略,提高思想政治课的教学实效。本文首先阐述了有意义学习的相关基础理论,在此基础上通过观察法和问卷调查法分析了有意义学习应用于高中思想政治课中取得的成效及存在的问题。针对高中思想政治课教学现状中存在的问题,本文将有意义学习结合高中思想政治课特点,分别从课前、课中和课后三个维度出发,提出有意义学习应用于高中思想政治课的教学策略:课前运用先行者策略激活学生已知;课中运用渐进分化和综合贯通策略提高学生知识的迁移能力和应用能力;课后运用巩固策略保证能够有效促进学生发展。以期为高中思想政治课教学提供一些有价值的参考建议。

关键词： 表达学习   医学图像分析   对比学习   聚类   领域自适应  

摘要： 基于深度神经网络的图像认知模型凭借其强大的特征表达提取能力和泛化能力,已经被广泛地应用于各个领域,并取得了巨大成功。如何准确高效地提取具有可分性的表达是图像识别、图像分割等图像认知相关任务的核心问题。表达学习方法利用数据本身含有的丰富信息提取具有可分性的表达,在无监督、半监督、全监督等领域都取得了显著的成果。然而,日益多样的任务和更加实际的应用对表达学习提出了很多严峻的挑战。其中,如何进一步放宽表达学习的适用条件、降低学习成本和提升学习效率都是表达学习在方法和应用上亟待解决的问题。特别在面向医学图像的应用上,医学图像的特殊性以及临床的复杂情况给表达学习提出了特有的挑战。本文针对表达学习的机理、算法和应用中面临的关键问题,基于传统机器学习理论探究可分性表达的学习机理;从两个关键点(即表达空间优化和特征去相关)出发,研究提取具有可分性表达的算法;以医学图像应用中的典型挑战为例,设计面向实际应用的可分性表达提取模型。首先在机理层面,从传统机器学习的理论方法出发研究表达学习方法获取具有可分性表达的作用机理,并基于此机理探讨学习可分性表达的关键因素。其次在算法层面,针对学习可分性表达时需要依赖数据先验知识的问题,提出基于概率分布的可分性表达学习方法;针对可分性表达的学习效率不高和需要庞大计算资源的问题,提出基于间接特征去相关的可分性表达学习方法。最后在应用层面,立足于医学牙科图像应用,针对难以从语义特征模糊的样本中学习具有可分性表达的问题,提出基于局部可分性的龋坏分割方法;针对难以利用少量数据进行模型迁移的问题,提出基于特征空间的领域自适应的方法。本文的创新点和主要贡献包括以下几个方面:1.提出一种对可分性表达学习机理的解释。以表达学习中经典的对比学习为例,通过探讨对比学习和谱聚类的相关性研究学习可分性表达的机理,并基于此探讨学习可分性表达的关键因素。基于对比思想的表达学习方法在众多任务中都取得了良好的效果,验证了对比思想的有效性。这类方法成功的本质原因可视为实现了可分性表达的提取。然而,当前少有工作解释基于对比思想的方法可以提取可分性表达的原因。针对该问题,本文研究对比学习提取可分性表达的作用机理,从对比学习和谱聚类都是基于相似矩阵进行优化的共同特点出发,通过讨论对比学习和谱聚类的关系,分析可分性表达的学习机理。为了证明对比学习和谱聚类的联系,首先证明了优化对比学习的损失函数可以间接优化谱聚类的目标函数,同时证明了对比学习可以自然地促进特征去相关,由此指出在一定的条件下,对比学习本质上类似于谱聚类,因此可以学到类内距离小、类间距离大的可分性表达。此外,讨论了优化对比学习损失函数和特征去相关这两个关键因素对可分性表达学习的影响。最后,通过实验验证了对比学习和谱聚类的关系和提出的两个关键因素对学习可分性表达的影响。2.提出基于概率分布的对比学习方法,实现了在不依靠先验知识的情况下学习易于聚类的可分性表达。通过去除表达学习对先验知识的依赖,放宽了学习可分性表达的条件,提高了可分性表达在多粒度环境中的适用性。无监督表达学习的核心目标之一是在没有人类监督的情况下学习具有可分性的表达。但是,现有方法大多需要利用数据的先验知识(如类别数目,类的分布等)才能学到易于聚类的可分性表达。然而,这些先验知识在真实场景中可能难以获得。此外,当先验知识发生变化时,表达提取模型需要重新训练才能用于新的场景。因此,如何在不利用数据集先验知识的情况下学习可分性表达是亟待解决的问题。针对该问题,本文展开基于对可分性表达学习机理的研究,提出一种基于概率分布的对比学习方法,旨在通过强化表达空间的约束,促使模型在不需利用先验知识的条件下学习易于聚类的可分性表达。本方法将样本编码为多元高斯分布并从分布中随机采样,从而可以同时以概率分布和随机采样两种不同的角度进行对比学习。此外,提出了一个基于多用途向量的对比学习约束,用以更加高效地实现上述两种约束。提出的方法在不利用先验知识的情况下就可以学到利于聚类的表达,并在CIFAR-10数据集上取得比先进方法高9%的准确率。最后,通过实验验证了该方法的有效性,并以多粒度聚类为例展示了该方法在数据先验知识改变时的稳定性。3.提出基于间接特征去相关的可分性表达学习方法,简化了损失函数的优化目标,提高了学习可分性表达的效率;并提出基于双向量的对比学习方法,实现了基于小批量的对比学习,降低了对计算资源的需求。为了获取可分性高的表达,将特征去相关的技术融入表达学习框架是一种实证有效的思路。但是,现有方法通常在一个附加的特征空间中对特征进行去相关,这使得优化过程需要在表达空间和特征空间中同时进行,降低了表达学习的效率。此外,基于对比思想的表达学习方法通常需要大批量来进行优化,使得模型的训练需要大量的计算资源。因此,如何提高可分表达的学习效率并降低对

关键词： 交通标志检测   深度学习   特征提取   注意力机制  

摘要： 交通标志作为交通系统的基本组成部分,通过向行人、驾驶员等提供关于道路状况的必要信息来降低事故的风险。随着计算机视觉和人工智能的快速发展,交通标志检测对于自动驾驶系统来说是一项具有挑战性的任务。为了帮助驾驶员和自动驾驶车辆准确地获取重要的道路信息,在真实的场景应用中,交通标志检测面临着诸多的挑战,比如大多标志形状相似、容易受背景图像干扰等,尤其是交通标志在道路视图图像中显示较小,大多数情况仅覆盖整个图像区域的0.1%-5%。当前,不少学者利用深度学习技术进行交通标志检测系统研究取得了不错的效果,但是很难在精确性和实时性等多方面都满足实际应用要求。因此,在分析交通标志的图像特征与检测难点之后,本文开展了以下研究,提出了两种解决方案。 第一种方案是为了保证在无人驾驶系统中交通标志检测的实时性和鲁棒性,本文提出一种单级交通标志检测算法。我们的方法主要包括三个核心组件,第一是为了保证系统的实时性,提出一种新型残差网络结构,主要利用低层特征加强小目标特征信息的表示,能够更多的得到小目标的相关特征。第二是我们使用膨胀卷积残差块增强感受野来检测多尺度目标,只需要用到单级特征。第三是针对小交通标志的锚框选择问题,本文提出一种动态的、自适应的匹配方法,目的是得到尽可能多的训练正样本。 第二种方案是本文提出一种基于Anchor Free的交通标志检测算法,在特征提取网络阶段加入注意力机制,此模块能够帮助网络筛选出更有效的交通标志特征信息。同时,我们进行了相关网络结构参数的优化,最后,我们将原本的基于锚框的算法优化为无锚算法,并采用半解耦的检测头进行分类和回归任务,能够在精确度提升的同时提升检测速度。 在相关交通标志开源数据集基准上的实验表明了本文提出的两种解决方案在交通标志检测任务中拥有良好的准确性和鲁棒性。

关键词： 辅助学习   辅助训练   在线知识蒸馏   动态神经网络  

摘要： 辅助学习作为一种有效的模型训练方式,以其只在训练阶段使用辅助模块,而不增加测试阶段参数量和计算量的特点,已经被广泛用于深度学习的模型训练之中。然而,当前流行的辅助学习方法中,辅助模块所学到的知识不能很好地传递给被训练网络,同时不同模块间的知识利用仍然不够充分。如多尺度密集连接网络(MSDNet)虽然在训练中使用了辅助模块,但是模块之间没有紧密地连接起来,所学到的知识不能很好地在模块间传递。而深度互学习(DML)虽然在模块间使用了KL散度进行相互模仿,但仍然忽略了更深层次的辅助信息,不同模块所学的知识仍然没有得到充分利用。 针对上述问题,本文提出了一种全新的辅助学习方法——孪生标签辅助学习(Siamese Labels Auxiliary Learning,Si LA)。其中,本文设计了一种简单、易用的孪生标签辅助模块,使得辅助信息能更直接地在模块间传递。在此基础上,本文将孪生标签辅助模块与包括DML在内的在线知识蒸馏方法相结合,搭建了对应的孪生标签辅助网络,使得不同模块所学的知识能更加充分地被利用。实验结果表明,本文提出的孪生标签辅助学习是一种简单、高效、易于与其他方法相结合的辅助学习方法,它能更加充分地利用辅助信息,有效提升模型在训练过程中的泛化性,从而提升模型的性能。 接下来,本文将孪生标签辅助学习扩展到动态神经网络领域,提出了动态孪生标签辅助学习(Dynamic Siamese Labels Auxiliary Learning,DSi LA)。其中,本文设计了动态孪生标签辅助模块,并将其应用到以MSDNet为代表的早停止动态神经网络中,搭建了对应的动态孪生标签辅助网络。实验结果表明,本文提出的动态孪生标签辅助学习能很好地应用于动态神经网络的训练过程中,充分挖掘和利用辅助信息,最后提升模型在随时预测任务和预算批次分类任务上的性能。 综上所述,本文提出了一种全新的孪生标签辅助学习,并将其扩展到动态神经网络领域,进一步提出了动态孪生标签辅助学习。本文的研究表明,使用孪生标签辅助学习能有效提升模型的性能,这为辅助学习提供了新的研究思路。

关键词： 降水临近预报   雷达回波序列预测   时空序列预测   EnTG-ST-LSTM单元   SA-ST-LSTM单元,编码-注意力-解码网络  

摘要： 降水临近预报在日常生活中有着至关重要的作用,从农业灌溉到人们的生产与服务都有降水临近预报的影子,近年来,随着深度学习的兴起,降水临近预报的方法从之前的数值天气预报方法逐渐过渡到了深度学习方法中,而在众多深度学习方法中,时空序列预测来进行短期临近降水预报是重要研究方向之一,这种方式相较于数值天气预报更加准确,在进行时空序列预测降水任务时,时空单元和其搭建的结构网络影响着降水临近预测结果的准确性,时空单元在进行雷达回波预测时通常会因为序列的短时突变现象和自身的灾难性遗忘导致预测结果模糊,而时空预测网络在进行信息传输过程中重要信息会大量损失导致预测结果变形和模糊,因此,本文针对在当前时空序列预测过程中的时空单元和时空网络进行了改进,优化了时空单元和时空网络对时空信息的捕获能力,旨在提高降水临近预报的准确性,本文的主要工作如下:(1)本文提出了一种通用的增强型变换门机制,采用了变换门机制对时空预测任务中常用的ST-LSTM单元进行了改进,首先,将变换门机制扩展到了雷达回波预测序列图像中,有效的延缓了 ST-LSTM单元中的过饱和现象,提高了预测精度,其次,针对时空领域的特有短时信息突变问题,进一步提出了增强型变换门机制,提高了 ST-LSTM单元对短时突变信息的捕获能力,加强了对雷达回波序列的重要信息提取能力,将加入增强型变换门的时空单元命名为增强型时空LSTM(EnTG-ST-LSTM)单元,而后通过该单元搭建传统的预测结构实现了雷达回波序列的多步预测,提高了对短临降水的预测效果。(2)在时空预测单元ST-LSTM的遗忘门上通常会出现灾难性遗忘的情况导致长期记忆信息的丢失,从而导致时空序列结果难以预测,基于此种情况,在ST-LSTM单元的基础上提出了基于自注意力机制的时空单元,并将其命名为自注意力时空LSTM(SA-ST-LSTM)单元,替换了单元模块中的ST-LSTM遗忘门机制,解决了灾难性遗忘问题,提高了网络预测能力,其次,在进行预测过程中,一般采用了编码-解码结构来进行多步预测,引入了自注意力机制,采用了新的编码-自注意力-码机制来进行预测,不仅使得长期记忆在传输过程中信息得到有效保留,而且还加强了图像中的重要信息提取能力,在堆叠过程中,采用了新的CNN和RNN互相堆叠的方式来对信息进行了双层的编解码来更近一步的提出信息,得到了更好的预测结果。本文采用了 MovingMNIST仿真数据集、KTH行人数据集、CKIM雷达回波数据集来验证改进算法的时空序列预测的效果,在实验过程中,本文设计的两个算法在三个数据集上都获得了较好的预测效果,将ST-LSTM单元构建的PredRNN网络作为基线网络进行对比,在雷达回波预测实现降水临近预报任务中,第一个算法相较于基线网络在阈值为30时的HSS指标提高了 4%,在第二个算法相较于基线网络在阈值为30的HSS指标提高7.9%,这表明了两个算法都有效提升了雷达回波序列预测结果,更加准确的判断出了降水临近预报的强度和区域。

关键词： 图像分类   深度学习   小标签样本   知识迁移   联邦学习  

摘要： 深度学习在图像分类领域应用广泛并展现出优异的性能,但实际生活中数据丰富知识匮乏的问题影响了依赖大量标注样本的深度学习模型强大泛化能力的发挥,为此本文基于少量标签样本建立专家系统作为打标器为大量无标签图像样本赋值打标,在少量标签样本与生成满足深度学习需要的大量带标签样本之间架起了桥梁。本文围绕迁移/联邦学习改进小标签样本模型训练方法具体研究内容如下:(1)基于知识迁移的深度CNN混杂图像分类方法。首先,构建支持向量机专家标注系统,利用其实现对大量无标签图像样本标签的自动标注;然后,将少量带标签样本与自动标注的图像样本组合形成增强训练集,进而进行对深度卷积神经网络模型训练的图像分类方法,以实现人工知识标注的少量图像样本集训练出的支持向量机到深度神经网络分类器的知识迁移。(2)多分类器知识融合迁移的深度CNN图像分类方法。首先,对神经网络进行预训练,迁移成熟神经网络的特征提取部分;然后,借助支持向量机、随机森林、K近邻等方法,融合多分类器在深度模型中构建融合打标系统对大量无标签样本融合打标;最后,将小标签样本与赋值的无标签样本组合形成增强训练集,用于集中训练神经网络的全连接层。(3)各客户端小样本的联邦学习深度CNN图像分类方法。首先,各个客户端从联邦云中心下载全局模型,并对全局模型的参数进行解码;其次,每个客户端利用私有图像数据和解码的模型参数,通过卡尔曼滤波实现对本地模型局部参数的实时更新,将私有的本地数据编码成具有隐私保护能力的共享模型参数;最后,在联邦中心采用先到先融合的序贯式滤波方法进行异步融合。