关键词： 密度泛函理论   哈特利-福克方法   统计机器学习   自动微分技术  

摘要： 哈特利-福克方法和密度泛函理论是量子化学和凝聚态物理中最为常用的两种计算方法。因为它们都是从量子力学的基本理论出发,并且方法中很少使用经验参数,所以也被称为第一性原理计算方法。第一性原理计算方法可以帮助我们从微观层面定量计算材料的各种物理性质,这种方式极大地加速了我们对奇异材料物理性质的探索。近些年来拓扑绝缘体和外尔半金属方法的研究进展,很大程度上依赖于第一性原理计算与实验的结合。密度泛函理论是我们研究电子结构的重要工具,现在大规模使用的一种密度泛函理论方法主要是基于1965年的Kohn-Sham方法发展而来,不过这种方法在研究原子数较多的体系时存在计算复杂度过高的问题。密度泛函理论的另外一种高效的实现方法是从1964年Hohenberg-Kohn定理发展出来的无轨道密度泛函方法,虽然经过半个世纪的发展,无轨道密度泛函理论中仍然存在一些开放性的问题,关于动能泛函表达式的研究是其中最重要的一个。在这篇文章的第二章中,我们介绍了使用机器学习方法拟合一维周期性系统动能泛函的思路。机器学习方法能够有效地从复杂的高维数据中提取出潜在的规律,被广泛应用于推荐系统、计算机视觉和自然语言处理的研究之中。我们设计的算法基于高斯过程,并且利用系统的周期性对数据进行了降维。我们经过训练得到的动能泛函不仅能够完成预测动能和动能关于电子密度的泛函导数的任务,还能够结合变分原理计算系统的基态电子密度。哈特利-福克方法是研究量子多体物理的最基本的方法,它将多体系统的量子态表示为一系列单粒子轨道的斯莱特行列式,并通过自洽迭代的方法求解这些单粒子轨道。自洽迭代方法的收敛速度较慢,虽然可以通过合适的初始化进行加速,但我们还是希望能够设计出一种具有更快收敛速度的算法。本文的第三章中,我们基于Thouless定理推导出一种参数化哈特利-福克近似下单体密度矩阵的方法。在我们设计的密度矩阵哈特利-福克算法中,我们用拟牛顿法替代了传统的自洽方法。我们设计的算法可以将一些基函数中包含的参数与单体密度矩阵一起进行优化,优化过程中需要的导数则可以通过自动微分方法由程序直接求出。

关键词： 复杂过程   流量调节   pH值   自适应学习  

摘要： 在生产过程控制中,被控对象常常具有非线性、时滞、时变、环境扰动、多变量耦合等特性,对于具有非线性、时滞等特性的复杂系统,如何实现系统的最优控制,一直是控制领域的研究热点。非线性、时滞等特性的复杂过程有一个共同特点,都是难以对其建立精准的数学模型,一些基于经典控制理论和现代控制理论的控制策略和方法难以适用,系统在稳定性方面存在的问题也无法通过控制理论中的稳定性判据来进行分析和解决,控制品质因此受到严重影响。针对复杂过程中流量调节的控制需求,本文以pH值过程控制为研究对象,分析pH值过程控制中的关键参数阀门开度经验值的变化特点,同时,对自适应增量学习(Ada Boost)方法的基本原理进行了深入研究。在此基础上,通过对人工控制pH值的决策思维过程进行归纳、分析和总结,将自适应增量学习方法的基本思想与人工控制pH值的专家经验结合起来,创新性地提出了一种阀门开度经验值的自适应学习方法。有效解决了同类系统中采用固定不变的阀门开度经验值带来的适应性差、控制波动大以及缺乏学习能力等问题。本文通过设计的系统硬件平台,实时采集pH值及阀门开度运行轨迹,对阀门开度运行轨迹数据进行滤波预处理,在此基础上,完成自适应学习方法的设计,其中包括基于权值相同的数据驱动学习算法和基于权值变化的数据驱动学习算法,通过设计的自适应学习方法对阀门开度运行轨迹进行跟踪和学习,从而有效预测出下一个控制阶段阀门的开度经验值。最后在软硬件平台上进行模拟测试,将具有阀门开度经验值学习功能的自适应系统与同类pH值控制系统进行实验对比,实验结果表明,具有阀门开度经验值学习功能的自适应系统在稳态误差和控制效果上均优于同类pH值控制系统,验证了自适应学习方法的有效性和可行性。自适应学习方法设计和调整直观,减小了系统的稳态误差,动态响应好,有效提高了pH值控制系统性能和自动化水平,具有较好的稳定性和可移植性。

关键词： 知识表示   知识图谱   不确定知识   卷积神经网络  

摘要： 随着知识数量的指数增长,知识图谱成为了组织知识的有效工具,其已被广泛应用于各行各业。近年来,为了应对知识缺失问题,以机器学习为基础的知识表示学习方法备受关注,该方法将知识表示为向量,使计算机能够理解和使用。目前,平移模型和基于神经网络的模型是知识表示的两大研究热点。平移模型虽然可以有效地捕获知识的结构信息,但该类模型设计简单,学习能力常常受到限制。基于神经网络的模型虽然表现出强大的学习能力,但其忽略了实体和关系间的信息交互。此外,在不确定知识图谱中,传统模型没有考虑到知识不确定度所蕴含的丰富语义信息,从而导致模型补全性能不佳。因此,本文基于现有模型的优势和不足,构建了新的知识表示模型,具体工作内容包括以下三个方面。 其一,在确定性知识图谱中,本文基于平移机制和卷积神经网络构建了CTKE(Convolution and Translation Knowledge Embedding)模型。CTKE将平移机制与卷积神经网络相结合,一方面保留了平移机制捕获知识结构信息的有效性,另一方面利用卷积神经网络提升了模型的学习能力。构建CTKE主要包括三个步骤,分别是关系特征融合、平移变换和局部特征提取。关系特征融合使用前馈神经网络增强了关系与实体的信息交互;平移变换依据平移机制增强了知识的内部信息交互;局部特征提取阶段使用卷积神经网络增强了模型捕获知识结构信息的能力。实验结果表明,CTKE可以获得更好的向量表示并支持知识推理。 其二,针对不确定知识,本文构建了不确定知识图谱嵌入模型SUKE(Structural and Uncertain Knowledge Embedding)。SUKE内部包含了评估器和置信度生成器两个组件。评估器为每一个知识定义了结构得分和不确定得分,用于评估三元组的合理性。置信度生成器通过学习现有置信度的分布特征,得到映射函数,进而完成知识补全。实验结果表明,SUKE通过融合知识的结构信息和不确定信息,增强了知识表示能力,实现了更准确的知识推理。 其三,针对风险知识零散复杂和风险评估工作难以开展等问题,本文先后构建了两个风险知识图谱,分别是风险管控知识图谱和风险因素知识图谱,目的在于帮助风险评估人员更好地把控风险。风险管控知识图谱涵盖了企业知识、风险管控措施等确定性知识;风险因素知识图谱包括了风险因素与风险的相关度等不确定知识。然而,构建出的风险知识图谱是不完备的。因此,本文使用CTKE模型和SUKE模型完成了知识图谱补全。最后,本文基于风险知识图谱,结合图查询技术和知识推理技术,在《城市安全风险系统》中实现了风险知识问答。

关键词： 标记分布学习   弱监督标记分布学习   样本相关性   标记相关性   局部序关系   人脸表情识别  

摘要： 标记分布学习是一个新颖的机器学习范式,用来学习从特定实例到标记分布的映射。不同于单标记和多标记学习,它赋予每个标记特定的描述度,从而保留了更多的语义信息,缓解标记歧义性问题。现有的标记分布学习方法都是基于具有完整监督信息的数据而设计的,忽略了现实任务中,标记的注释信息常常是不完整的问题。标记分布学习所需要的注释信息,是为每个特定实例关联一组标记的描述程度,完整地注释所有数据将导致大量的人力成本和时间成本。此外,由于标记歧义性的存在,对于某些标记,注释者很难确切地给出它们对给定实例的的描述程度。因此,面对上述原因可能导致的监督信息不完整问题,设计相应的弱监督标记分布学习算法有着迫切的意义。本文深入研究了现有的弱监督标记分布学习算法,从样本相关性、标记相关性和标记序关系的角度出发,提出了两种弱监督标记分布学习算法来完善相关工作。同时,为了更好地结合实际应用,基于两种新算法设计了一个人脸表情识别系统。第一,本文提出了一种基于全局样本相关性的弱监督标记分布学习方法。在弱监督标记分布学习中,已有工作在考虑样本相关性时大多从局部的角度出发,用k NN方法来挖掘标记的局部相关性。通过这种方法获取的样本相关性,在很大程度上会使得弱监督标记分布学习的性能随着超参数k的变化而下降。从而,导致算法鲁棒性较差。因此,本文设计了一种从全局角度来挖掘样本相关性的算法来解决弱监督标记分布学习任务。实验结果表明了所提出的算法的有效性。第二,本文提出了一种基于局部标记序关系的弱监督标记分布学习方法。现有的弱监督标记分布学习方法专注于恢复和预测标记分布值的数值大小,而忽略了这些标记之间的相对序关系。标记的相对序关系在现实应用中有着重要意义,基于此,本文提出一种基于局部序关系的弱监督标记分布学习的方法,它既可以提升弱监督标记分布学习的学习和预测性能,同时,也保留了已有的标记分布中暗含的相对序关系。除此之外,我们还注意到,现有的弱监督标记分布学习方法在考虑标记相关性时,多使用低秩约束。但是,我们通过大量的实验发现,这种方法会导致恢复和预测出来的标记分布矩阵趋于一个相同的值(即,均值),从而造成标记之间的相对序关系的缺失和标记歧义性的增加。最后,我们设计的模型,不单单只考虑那些尚未缺失的标记分布值,还关注了缺失值在回归中的相对误差损失。结合上述三点,本文在进一步提高弱监督标记分布学习的性能的基础上也保留了标记的相对序关系。最后,我们引入标记排序的评价指标对这种序关系进行数值刻画。第三,本文实现了基于弱监督标记分布学习的表情识别系统。在人脸表情识别中,人的面部表情通常是多种基础情感混合而成的结果,如快乐,悲伤,惊讶,愤怒,厌恶和恐惧。而这些基础情感在一个具体的表情中常常表达出不同的强度,从而呈现出纷繁复杂的情感。由于标注时间成本、人工成本的高昂以及标注者的水平受限,无法给出准确且完备的人脸表情分布数据集。利用弱监督标记分布学习算法来进行人脸表情识别,可以为每个对象同时给出多种情感描述度,更全面地保留面部情绪信息。因此,我们将开发一个基于弱监督标记分布学习算法进行人脸表情识别的系统。

关键词： 城市功能区   集成学习   多模态数据   遥感影像   用户行为  

摘要： 城市功能区是指为居住在其中的人们提供特定功能的区域(或地区)。城市功能区分类对人类活动监测、城市管理及政策制定中发挥着关键作用。对城市功能区进行分类不仅能了解城市功能区分布现状及内部空间结构,还可以为优化城市空间格局及疏导城市中心区域服务压力提供决策依据。传统上,采用遥感影像数据来区分不同的功能区,这类划分研究方法具有较强的主观性。由于卫星过境存在时间差,进一步导致数据更新慢、研究粒度粗泛等问题。近年来,光学技术的进步以及大数据技术的兴起为城市功能区划分研究提供了不同模态、不同角度的影像、文本类型数据;而机器学习和深度学习技术的长足发展为基于结构化数据的分类任务提供了强有力的技术分析手段。本文研究面向用户访问数据和高分辨率遥感影像两种不同模态的数据,实现基于集成学习的城市功能区细粒度分类。针对用户访问记录结构化数据,提出一种数据模态转换方法,用于将结构化数据转换为非结构化数据以便送入卷积神经网络。同时,基于该数据还提出一种全局特征提取方法,去除城市功能区分类过程中对兴趣点的依赖。此外,针对机器学习分类结果和深度学习分类结果,提出一种融合二者的集成学习网络结构,将基于遥感影像的中间结果与基于用户访问频率数据的中间结果融合在一起,得出最终分类预测结果。最终实验结果表明,本文提出的方法应用于高分遥感影像和用户访问频率数据集上取得了更优的性能表现,城市功能区细粒度分类总体准确率为82.65%。

关键词： 高中数学   数学学习   教学改革  

摘要： 随着我国课程改革工作的深入,对高中各学科提出了新的要求。对数学而言,需要教师重视对学生综合素质的培养,应将重点放在学习方法上。高中数学在实际的开展中,需要教师不断深化革新,改变原来的教育弊端,推动学生学习数学热情的提高,增强学生的创新性学习,进而提高学生的学习能力,推动学生综合发展。

关键词： 抗主瓣干扰   抗干扰策略学习   深度强化学习   博弈论   主动对抗   动态对抗  

摘要： 作为战场上的“千里眼,顺风耳”,雷达在现代战争中扮演着决定战争成败的重要角色。为了对抗雷达,电子对抗(Electronic Countermeasures,ECM)技术应运而生,给雷达有效探测带来了很大的挑战。根据信号的到达方向,可将干扰分为主瓣干扰和副瓣干扰。相较于副瓣干扰,主瓣干扰在接收处理中会获得与目标回波相同的天线增益,难以在空域进行有效抑制。同时,随着认知电子战技术的发展,干扰的智能化水平不断提高,未来的电子战装备将具备学习、适应环境的能力,给雷达抗干扰技术研究提出了更高的要求。为应对主瓣干扰以及智能化干扰带来的挑战,本文从主动和动态对抗的角度出发,研究了基于深度强化学习(Deep Reinforcement Learning,DRL)和博弈论的雷达智能抗干扰策略学习方法。本文的主要工作总结如下:1.针对频率捷变雷达和主瓣压制干扰对抗的问题,提出一种基于DRL的抗主瓣干扰策略学习方法。在电磁博弈过程中,干扰通常采用某种策略并基于截获的雷达信息针对性地采取行动。由于干扰策略的复杂性,基于特定数学模型求解抗干扰策略较为困难。为此,本文将雷达干扰对抗过程建模为马尔可夫决策过程(Markov Decision Process,MDP),并针对性地设计了 MDP中的状态、回报、行动。本文提出基于DRL算法近端策略优化(Proximal Policy Optimization,PPO)求解上述MDP问题。仿真表明,该方法可针对不同干扰策略,通过雷达与干扰交互,自主学习有效的抗干扰策略。此外,针对干扰可能采取多种不同干扰策略的问题,本文在上述方法的基础上提出了一种基于策略蒸馏的统一抗干扰策略学习方法。该方法利用策略蒸馏技术将多种抗干扰策略迁移到一个深度网络中,使得雷达可以同时对抗多种不同的干扰策略。2.针对电磁博弈过程中雷达和干扰感知对手时存在不确定性的问题,提出一种基于模仿学习和 WR2L(Wasserstein Robust Reinforcement Learning,WR2L)的鲁棒抗主瓣干扰策略学习方法。在雷达和干扰交互过程中,雷达需要感知电磁频谱并推断干扰行动,同样,干扰也需要截获雷达信息并测量雷达参数,而这一过程往往存在一定不确定性。如果在训练过程中不考虑不确定性,直接将得到的抗干扰策略应用到电磁博弈中,会导致抗干扰策略的训练环境和测试环境失配,从而引起抗干扰策略性能的下降。本文首先在给定干扰策略的条件下基于模仿学习将该策略转换为由深度网络参数表示的数学形式,并将其作为参考环境动态参数;然后通过摄动参考环境动态参数得到环境动态参数;最后基于WR2L求解以雷达策略参数和环境动态参数为优化变量的maxmin问题,得到针对该干扰策略的鲁棒抗干扰策略。该方法可以提高雷达抗干扰策略的鲁棒性,降低电磁博弈过程中因不理想观测和截获而带来的影响。3.针对雷达和智能化干扰的对抗问题,提出一种基于博弈论的雷达抗干扰策略设计方法。认知电子战的发展使得干扰的智能化水平不断提高。针对这一问题,本文基于博弈论对二者进行建模。具体而言,雷达和干扰为博弈中的玩家,雷达的频域波形和干扰的功率谱密度分别为它们的行动,雷达接收信号和目标随机脉冲响应之间的互信息为效用函数。斯塔柯尔伯格博弈是一种特殊的完美信息扩展形式博弈,在该博弈中,雷达和干扰均可以完美获取关于对手的行动信息,而且行动顺序存在先后关系。针对该博弈,本文分别推导了雷达为leader和干扰为leader时的斯塔柯尔伯格均衡(Stackelberg Equilibrium,SE)策略。在雷达干扰斯塔柯尔伯格博弈基础上,本文分析了对等博弈中纳什均衡存在的条件并指出了此时SE策略的物理意义。4.针对频率捷变雷达和干扰在对抗时存在多轮交互以及不完美信息的问题,提出一种基于神经虚拟自我对局(Neural Fictitious Self-Play,NFSP)的抗干扰策略学习方法。在电磁博弈过程中,雷达和干扰往往存在多轮交互。此外,由于载机平台空间有限,干扰机工作在收发分时模式以实现良好的收发隔离。因此,干扰机不能完全截获雷达信息,雷达和干扰之间的博弈存在不完美信息的问题。为了解决上述问题,本文提出以不完美信息扩展形式博弈为框架对雷达和干扰建模,并以博弈树的形式对雷达和干扰的博弈过程进行描述。在该框架下,本文提出基于NFSP求解雷达和干扰的策略。仿真实验以利用度为评估标准,其结果显示随着训练的进行,雷达和干扰的策略逐渐收敛并达到近似纳什均衡。

关键词： 小样本学习   先验知识   语义对齐度量   多模态融合  

摘要： 当前,深度学习技术迅速发展,在计算机视觉、自然语言处理、语音识别等领域取得了举世瞩目的成果,但是大多数深度学习模型的训练依赖于大量标注样本。在现实情景中,某些样本的标注非常困难,而较少的样本也不足以表达某个类别的特征分布。然而,人类可以在见过极少的样本后快速地识别出属于该类别的新样本,研究者们从人类这种快速学习的能力中受到启发提出了小样本学习问题,其目的就是要学习一个具有良好泛化性能的模型,能够在仅给出少数样本的情况下快速地识别出各个新类别。目前,小样本学习有许多优秀方法,其中度量学习方法由于其稳定性和有效性而被广泛使用。本文将从度量学习方法入手,针对现有小样本学习方法尚未充分挖掘先验知识的问题,进一步改进特征网络和度量方式。本文设计了相应的网络模型来挖掘先验知识,并将先验知识迁移到小样本图像分类任务中,以提高模型的泛化性能。本文的主要研究内容如下:1.阐述了小样本学习的研究背景及意义,介绍了小样本学习的基本方法和理论,详细分析了各类小样本学习方法的设计思想和优劣,总结了小样本学习模型的训练优化方法和评估标准。2.在小样本图像分类中,图像中的目标位置和姿态各不相同,目标之间存在潜在的语义关联,这种潜在语义关联作为一种先验知识并没有被充分挖掘。过去的小样本学习方法直接使用全局特征来表示样本,忽略了样本间存在的潜在语义关联,导致了目标匹配歧义的问题。针对这一问题,本文设计了一种基于局部特征表示的语义对齐度量小样本学习方法,能够充分地挖掘样本间的潜在语义关联,消除样本匹配时的歧义。实验结果表明,该方法相较于现有的全局特征表示的小样本学习方法具有一定的优势。3.图像样本的语义标签特征和包含类别关系的知识图被认为是高层抽象特征,它概括了图像中的目标属性和图像所属类别之间的关系。此外,语义特征空间和图像视觉特征空间具有较强的互补性。因此,为了充分利用这类有效的先验知识,本文设计了一种基于语义标签特征迁移的小样本学习网络,它能够将语义特征映射到视觉特征空间中,并与视觉特征进行融合后用于小样本图像分类。实验结果显示,该方法大幅度提高了小样本图像分类的准确率,证明了采用语义视觉多模态特征相较于过去单模态特征的优越性。

关键词： 缺陷检测   深度学习   复杂背景   小缺陷   Faster-RCNN   蒸馏  

摘要： 随着工业智能化的不断推进和换向器产能需求的不断提高,过去非常低效率的人工检测传统方法和存在各种局限性的传统数字特征处理检测方法将逐步退出工业缺陷检测界的主要舞台。近些年来,卷积神经网络经过长足的发展,分类、检测、分割的各个领域上都有了突破性进展。越来越多的神经网络框架被应用到各类物品的表面缺陷检测任务中。应用在表面缺陷检测的目标检测框架常常可以划分为一阶检测器和二阶检测器。二阶检测器中经典的网络框架是Faster-RCNN算法。本文对换向器上端面的图像进行缺陷检测,其遇到复杂背景上弱小的缺陷难以检测和目前目标检测框架参数量巨大的问题,本文在Faster-RCNN的算法框架上进行研究与改进,主要的工作内容如下:（1）研究了神经网络的发展历史、缺陷检测现状和目标检测算法相关基础理论。首先,通过大量查阅文献和期刊,调研神经网络的发展历程并总结经典的网络,接着对缺陷检测的检测任务、难点和各类技术手段的分析,最后简单介绍常用经典的目标检测算法。（2）换向器缺陷表面出现的小面积形状不定的弱小缺陷是目前换向器行业缺陷检测的难题。针对换向器的弱小缺陷检测问题,本文基于Faster-RCNN目标检测算法提出改进的方法。首先融合了特征金字塔,增强对多个尺度特征的提取,然后对特征金字塔的低层引入多感受野,提高对小缺陷的检测能力。最后使用引导锚框生成方式替换原RPN按照固定比例、大小生成Proposal框的方式,这与原有固定产生大小的Proposal框相比更加精确,从而让网络学习更加精确的缺陷区域,从而使得提升网络的检测精度。（3）尽管Faster-RCNN系列的检测框架的精度较高,但其网络模型复杂、参数量大,而且训练和检测的速度慢,耗时相对较长。这常常达不到工业实际检测的速度要求。为了兼顾模型检测的高精度和使用的效率的要求,本文采用的技术方法是使用知识蒸馏的方法,对精确度较高、模型较复杂的教师网络进行蒸馏,指导网络规模相对小的学生网络学习提取特征的能力,使其在尽可能保持高精度的同时减轻网络和加速网络的训练。

关键词： 合作学习方法   小学数学教学   应用  

摘要： 近年来,随着新课改的日益深入,很多小学数学教师都纷纷改变传统的教学方法,采用合作学习方法,这对提高学生学习效率以及实现既定的教学目标都有着重要的作用。基于此,本文详细介绍了合作学习方法在小学数学教学中应用的有效措施。