关键词： 解耦   表示学习   度量学习   可解释性   变分自编码器  

摘要： 数据的表示方法是机器学习领域的核心问题之一。尽管基于深度学习的表示学习方法在各类领域都取得了重大突破,并广泛地应用在日常生活以及工业场景。然而,随着研究的深入,人们发现这种端到端的学习方法也带来了不可解释的难题。缺乏解释机制以及对抗样本等技术的出现,让人们对神经网络的安全性和可靠性愈发的担忧。如何提高机器学习系统的可解释性,正成为当下人工智能领域最为迫切的问题之一。针对表示学习的可解释性,本文从表征的角度提出了新的可解释理念。该理论认为学习与解释是一个过程的两个方面,机器模型通过标签学习表征的过程等同于人类向机器解释样本。因此,人类学习机器的表征的难易程度可以作为可解释的标准。对于分类任务,本文提出了一种通过角梯度来扩大类间距的方法。该方法可以使得不同类别的表征具有明显的决策边界,从而使得人们可以更好地理解表征中的含义。本文深入地探讨了从欧式空间转换到超球面空间的必要性,并给出了详细的推导过程。相比于之前的工作,本文理论上证明边距与缩放系数成反比的关系,从而减少了模型的超参数。同时本文所提出的方法在多个任务上均优于其他方法,具有更好的泛化性能以及更快的收敛速率。对于无监督任务,通过解耦学习可以得到一组可解释的表征。针对解耦学习的理论缺陷,本文提出了不确定差来衡量数据中因子能降低模型的不确定程度。该理论解释了数据中存在的归纳偏置。并且通过大量实验发现,当模型优先解耦出不确定性差较大的因子时,往往能取得更好的解耦效果。这意味着解耦的顺序对解耦的性能存在一定的影响。针对目前解耦方法的性能不稳定的问题,本文提出了一个多阶段的解耦方法。该方法探究了信息凝固点的分布情况,发现不同的因子往往具有不同的分布特征。通过设置适当的压力值,可以过滤掉数据中不显著因子的信息。因此,本文所提出的方法根据信息凝固点的分布在每个阶段设置适当的压力值来学习一组特定因子,以此达到更加稳定的解耦效果。本文所提出的方法在多个任务上取得了最佳（state-of-the-art）的效果。

关键词： 高中   语文教学   研究性学习方法   策略探究  

摘要： 在新高考教育改革背景下,对学生进行能力的考核更加注重学生知识应用能力和创新能力的培育,这也意味着在针对高中阶段的学生开展复习备考活动时,教师需要增强学生的知识探究能力和分析能力。因此,改变传统由教师单方面进行知识输出的教育模式,让学生在知识学习的过程中,更多地通过探究方法来进行知识的吸收和消化。通过这种形式能够更好地促进学生知识分析能力和独立学习能力的培育,促进学生更好地适应未来的高考改革形势。基于这样的现实情况,本文立足于高中语文教学活动,分析在高中语文教学活动当中如何采用研究性的学习方法,促进学生语文学科核心素质的培育。

关键词： 复杂操作技能学习   模仿学习   DMP   行为树   SAC   分层强化学习  

摘要： 随着服务机器人在家庭环境中的广泛使用,如何让机器人有效地学习复杂操作技能是机器人操作技能学习领域的研究重点。本文基于行为树和强化学习针对家庭环境中的开门放置药瓶复杂操作技能,从模仿学习和强化学习两种角度开展研究。论文主要研究内容如下:（1）结合软硬件建立了服务机械臂操作实验系统和技能学习框架。操作实验系统通过ROS将系统软硬件进行连接,完成了Kinecct V2相机与Kinova Jaco2机械臂之间的眼在手外标定工作与视觉识别系统的建立。操作技能学习框架主要由上下层次结构组成,低层对子技能进行表征学习,上层则对子技能组织顺序进行学习,最终结合软硬件系统实现服务机械臂操作技能再现与泛化。（2）从模仿学习角度提出了一种基于行为树和动态运动基元的复杂操作技能学习方法。该方法将复杂操作技能学习分为上下层次结构,底层是对复杂操作技能的分割和学习表征,上层是基于行为树框架的任务规划和行为校正。首先低层采用BP-AR-HMM算法对示教数据进行分割得到子技能;之后利用DMP算法对分割得到的子技能进行学习表征,建立操作基元库;然后上层根据任务执行逻辑建立任务规划行为树,行为树动作节点为低层DMP表征得到的操作基元,条件节点则根据任务进行设置;并增加了行为校正模块以解决药瓶倾倒情况。实验结果表明,针对开门放置药瓶任务,所提出的方法能够成功再现和泛化该操作技能。验证了所提出方法的有效性和实用性。（3）从强化学习角度提出了一种基于分层强化学习的复杂操作技能学习方法。该方法在BP-AR-HMM算法对任务自动分割结果的基础上,针对传统强化学习训练整个复杂操作技能困难,奖励稀疏,状态空间庞大的问题,提出一种基于子目标的分层强化学习方法。该方法同样包含低层和高层两个层次结构,低层采用SAC算法学习各子任务策略,对子任务进行学习表征,高层则基于最大熵目标算法学习元策略,从而对整个复杂任务进行规划。实验结果表明,与其他算法相比,所提出方法在策略收敛以及学习性能上均表现出更为优异的效果。最后通过虚实转换将高层元策略部署至真实场景中进行了操作技能再现和泛化实验,实验结果验证所提出方法的可行性和泛化性。

关键词： 库岸滑坡   成因机制   机器学习   点预测   区间预测  

摘要： 我国三峡库区山地丘陵广布,地质条件复杂,加之雨季降雨量较为丰富,是典型的库岸滑坡高发区。受库水位高程变动及周期性强降雨的影响,该地区存在大量具有“阶跃”变形特征的新老滑坡,即在一个周期内长时间保持平稳变形,某一时刻变形突然加剧,而后又恢复稳定。对滑坡进行预测预报作为灾害防治的有效手段之一具有十分重大的工程意义,机器学习是一种使计算机模仿人类大脑进行运算的智能模型,将其与工程实际进行结合是目前各个领域的研究热点,已被成功应用于滑坡位移的预测方向。模型输入与输出数据间的相关性程度决定着其预测性能的优劣。因此,本文以白家包滑坡为例,对其变形机制和诱发因素进行了详细分析,并提出一种基于机器学习方法的位移点预测模型,随后又在此基础上提出了两种分别适用于不同规模样本的区间预测模型,以此量化点预测过程中存在的不确定性。本文重点做了以下工作: (1)结合现场工程地质资料及相关监测数据对白家包滑坡成因机制进行分析,重点分析了影响滑坡变形的内部控制因素和外部诱发因素。结合位移监测资料对滑坡的变形特征进行阐述,并深入探讨变形特征与影响因素间的响应关系。 (2)基于白家包滑坡ZG326监测点历史监测变形数据,采用变分模态分解法(VMD)将具有“阶跃”变形特征的位移进行分解,得到多个具有不同变形特征的位移分项。然后利用模糊C均值聚类法(FCM)将多个分项进行聚类得到具有实际物理意义的随机项、波动项和趋势项位移。在三组位移分项与初设影响因子间建立灰色关联度模型,根据相关性系数为每个位移分项选择有效影响因子。将有效影响因子作为输入数据,相应的位移分项作为输出数据建立贝叶斯优化的最小二乘支持向量机(Bayes-LSSVM)进行训练及预测。叠加位移分项预测值得到总累积位移的预测值。将上述模型应用于ZG323、ZG324和ZG325监测点的位移预测中,根据预测结果对所提方法的适用性进行验证。随后将上述模型与六种不同模型的预测结果进行对比,体现了所提模型的优越性。 (3)为解决传统点预测方法无法对滑坡位移预测过程中的不确定性进行量化的问题,提出一种适用于小样本数据的区间预测方法。首先采用不同的Bootstrap抽样方法对各位移分项数据集进行抽样,得到多组伪数据集,分别针对每组伪数据集建立相应的预测模型,计算得到预测区间。将基于不同抽样方法得到的预测区间进行对比,由此为每个位移分项选择最优抽样方法。利用各个位移分项的最优抽样法进行抽样预测,得到位移回归均值及系统误差方差。然后将所有的有效影响因子作为输入,模型的平方残差序列作为输出,建立蝙蝠算法优化的核极限学习机(BA-KELM)进行训练预测得到随机误差方差。将点预测值与上述两种误差的方差结合得到位移的预测区间。同样将所提方法应用于其他三个监测点,得到的预测区间表现均较好,表明模型适用性较高。然后将所建模型与其他两种不同模型的预测结果进行对比,从而验证所提模型的优越性。 (4)上述Bootstrap法对小样本数据适用性较强,预测结果的可靠度较高。但当样本规模变大时,该方法计算成本大幅增加,明显不再适用。因此提出一种适用于大样本数据的区间预测方法。将原始数据集划分为训练集、误差生成集和预测集,采用训练集对上述点预测模型进行训练,并根据训练后的模型对误差生成集进行预测,计算得到各点预测误差。由于单个监测点生成的误差数量较小,本文采用同样的方法对与ZG326具有工程相似性的ZG323、ZG324和ZG325监测点进行点预测,并将得到的预测误差作为原始预测误差集的补充数据,以此满足大样本条件。分别利用参数法和非参数法对误差分布的概率密度函数进行估计,计算得到不同的预测区间。通过差分进化算法将基于两种方法得到的预测区间进行加权组合,获得同时满足较高覆盖率和较窄宽度的高性能区间。同样地,利用该方法构建其余三个监测点的组合预测区间,根据预测结果验证本文模型的适用性。

关键词： 字典学习   随机奇异值分解(RSVD)   Nystr（？）m方法   数值低秩  

摘要： 字典学习(DL)是稀疏表示算法中的重要内容,目前已被广泛应用于图像稀疏表示、图像去噪、人脸识别等诸多领域。随着大数据时代的到来,由于计算量很大,经典的字典学习算法不再适用于大规模数据。为了克服这一困难,在本文中我们基于随机算法提出了新的字典学习方法来提高字典学习的效率。首先,我们提出了随机线性字典学习(RALDL)算法,该算法包含了“过完备”字典和“欠完备”字典两种情况,从字典具有数值低秩的性质出发,将随机奇异值分解算法与字典的更新相结合,同时为了降低更多的计算成本使用了“不精确”求解技术,并进行了理论分析。其次,为了解决核字典学习算法计算成本高等问题,我们提出了随机核字典学习(RAKDL)算法,该算法利用核矩阵具有数值低秩的性质,与随机奇异值分解算法相结合得到字典的低秩近似,其中核矩阵采用了Nystr（？）m近似以节约内存,并对算法进行了理论分析。最后,为了解决核字典学习算法在识别任务中的测试阶段耗时较长的问题,我们对核矩阵进行了近似,使RAKDL算法不管是在训练阶段还是测试阶段都不显式生成和存储核矩阵。数值实验表明了我们的新算法的合理性和有效性。

关键词： 贝叶斯网   结构学习   变量序   推理效率   树宽  

摘要： 贝叶斯网是一种代表性的基于概率的智能信息处理模型,它能够揭示变量间的因果关系,具有一定的可解释性。当前针对包含较少变量的贝叶斯网的结构学习方法的研究已经较为成熟,但将这些方法应用于包含成百上千个变量的大型网络的结构学习时,往往无法在短时间内给出结果。另外,现实世界中的数据集往往不是完备的,部分变量由于各种原因无法取得观测值,利用已经学习出的网络对存在缺失值的变量进行推理也是一项常见的任务,因此在结构学习过程中限制网络的推理复杂度也是至关重要的。围绕大型网络的结构学习和在结构学习过程中限制推理复杂度以提升推理效率的主题,本文主要进行了以下工作:(1)提出了一种结合父集识别和变量序的贝叶斯网结构学习方法。利用父集识别算法得出的变量间的依赖关系作为启发式信息,为存在强依赖关系的变量在无向图中首先确立关系,并将无向图有向化得到的变量拓扑排序序列作为OBS(ordering-based search)算法的输入,后续利用OBS的局部搜索算子继续优化变量序,并学习出与该变量序相一致的贝叶斯网结构。该算法是一种随时停止算法,可以在预先设定的时间内学习出当前评分最高的网络结构。本文在包含不同变量数的贝叶斯网上对该算法进行了实验,实验结果显示新算法相对于传统OBS算法在大部分中大型网络上能够更快地学习出评分更高的结构。另外,本文还进行了对不同最大入度约束下学习出的网络执行推理任务的实验,结果显示入度越大的网络推理精度相对较高,但同时所需的推理时间也更多。(2)提出了一种改进的限树宽贝叶斯网结构学习方法。在结构学习方法的结构优化步骤中,每一次为当前变量选择父变量集时除了考虑父集的评分之外,更新k-tree时考虑选择包含了选定父集且团中变量维度乘积最小的k-clique,有利于后序变量能够选择到维度乘积较小的父集,从而减少推理时独立参数的个数,提升推理效率。本文将新算法学习出的贝叶斯网结构在不同缺失率水平的数据集上执行推理任务,实验结果显示与改进前的算法相比,本文的算法在不降低推理精度的情况下,将推理时间缩短了约10%,一定程度上提升了推理效率。

关键词： 机器学习   深度学习   小样本学习   元学习   度量学习  

摘要： 近年来,随着深度学习研究与技术的迅猛发展,有标签分类任务在很多领域已经取得了巨大成功,例如在图像分类、目标检测、文本识别、语音识别、视频识别等领域。性能优异的分类模型的训练往往需要借助大量有标签数据来完成。然而,在一些领域,获取有标签数据是极其困难甚至不可能的任务,比如医疗影像、军工数据等。这种训练样本稀缺的机器学习场景就是小样本学习,其目标是在当前任务中仅使用有限数量的训练数据来训练得到性能优异的模型。模型无关的元学习(Model-Agnostic Meta-Learning,MAML)是最具代表性的基于优化的元学习算法。其目的是学习到一组模型初始化参数,使其应用在新任务时,可以仅通过少量步骤的微调,即可获得较好的性能。然而,作为一种归纳式元学习方法,MAML不能充分利用到查询集的数据信息,这限制了其潜在的性能提升。为了解决这一问题,研究了伪标签查询集数据对于基于优化的元学习方法的影响,提出了基于模型自身分类器伪标签标注的元学习方法,并在此基础上进一步提出了基于标签推理和自适应挑选的元学习方法(Label Propagation and Adaptive Picking,LPAP),使得模型可以在未知任务中充分考虑查询集数据中的信息,以进一步提升模型的性能。具体来说,通过模型对查询集样本进行标签推理预测伪标签和自适应挑选,然后将挑选后的伪标签查询集样本与支持集数据一起用于模型的再训练。此外,提出的方法可以在元测试阶段使用查询集的伪标签数据对模型进行再训练,克服了很多直推式元学习方法的弱点。在有代表性的小样本数据集上,对提出的LPAP方法进行了大量的实验验证,并与现有的元学习方法进行了对比。实验结果表明,LPAP方法可以简单有效地应用在MAML及其变体上,体现出良好的通用性。且应用后的模型在小样本图像分类任务上的性能获得了显著提升,并超越了现有的基于MAML的元学习模型,与当前最先进的元学习方法相比,所提出的LPAP方法实现了极具竞争力的性能。

关键词： 元启发式算法   正弦余弦算法   贝叶斯网络结构学习   混沌映射  

摘要： 网络技术发展虽然带来了信息共享,但是也带领世界进入了信息爆炸阶段,机器学习主要研究可以从大量数据中生成计算模型的算法,贝叶斯分类器是机器学习方法中的一种,贝叶斯分类器已经在许多领域得到应用。贝叶斯网络结构是贝叶斯分类器的基础,研究表明贝叶斯网络结构学习是NP问题,因此探索有效的结构学习方法是贝叶斯理论研究的热点。本文首先介绍贝叶斯网络的发展历程和主要研究方向。其次介绍与贝叶斯网络相关的概率论知识、贝叶斯网的性质以及结构学习方法的分类。再次介绍元启发式算法发展与应用,详细介绍正弦余弦算法的流程,并进行仿真实验,验证正弦余弦算法的性能。最后提出了基于改进的正弦余弦算法的贝叶斯网络结构学习算法,实验结果表明,本文所提出的结构学习算法是有效的。本文的主要研究工作如下:(1)提出了改进的二进制正弦余弦算法。贝叶斯网络结构是一个有向无环图,本文使用邻接矩阵表示,矩阵中的值采用二进制表示,而正弦余弦算法是用于处理连续值的,本文采用Sigmoid函数完成二进制化。在使用正弦余弦公式之前,对邻接矩阵中的数值进行了对称处理。(2)改进了正弦余弦算法的转换参数与迭代公式。正弦余弦算法包含四个随机参数,本文改进了其中控制算法探索和开发过程的转换参数。转换参数采用非线性函数增强了算法的探索能力,但是也降低了对当前全局最优解附近区域的开发。而对正弦余弦迭代公式的改进,让当前全局最优解具有精英导向作用,加强了对当前全局最优解附近区域的开发,平衡了改进转换参数带来的影响。(3)使用了混沌函数。对转换参数和迭代公式改进后,在某些情况下,算法仍可能过早地陷入局部最优。本文增加了一个额外阶段,在探索阶段算法有几率接受一个非优解,使用Sine混沌函数得到随机分布,探索新的区域,使算法跳出局部最优。(4)引入了K2算法作为局部搜索方法。正弦余弦算法具有很强的探索能力,但局部开发能力相对较弱,本文在已改进的正弦余弦算法进入开发阶段后,额外增加一个阶段,采用K2算法作为局部开发方法,计算网络结构,得到局部最优解。(5)采用了三种算子处理结果。当迭代结束后,采用增加边、删除边、反转边三种操作方式,对得到的全局最优贝叶斯网络结构进行最终处理,得出其中评分最高的网络结构。本文将改进后的算法与改进前的算法进行了对比实验,验证公式改进的作用,并将提出的算法在6个经典的数据集上进行了实验,并与5种经典算法进行比较,实验结果显示大多数情况下本文提出的算法得到的网络结构的BIC评分最高,这表明该算法是有效的贝叶斯网络结构学习算法。同时也指出了该算法仍然存在的问题,明确了未来的研究方向。

关键词： 多标签学习   多视角学习   标签相关性  

摘要： 多标签学习处理的是将给定的样本同时与多个标签相关联的问题。近年来,多标签学习已成为机器学习文献中的一个热门话题,并引起了大量的研究。然而,如何准确地描述标签之间的真实关系,以及如何进一步增强标签之间的相关性依然是多标签学习所面临的挑战。另外,以往大多数的多标签学习方法只考虑了单个视角的信息,很少有与多视角学习结合起来。为此,为了解决多标签分类问题,本文提出了一种基于标签相关性的多视角多标签学习方法(简称:ELSMML)。基于高阶策略,ELSMML首先构造了一个精细化的标签关联矩阵来描述标签之间的关系。接着,ELSMML利用多视角学习和降维技术挖掘高级潜在语义标签信息和潜在特征信息,进而在低维空间中构建分类器。此外,我们采用流形学习正则化使低维空间中的数据点与原始空间中的数据点保持相同的内在结构。然后,我们采用了加速近端梯度法(the accelerated proximal gradient method)对ELSMML方法进行优化,得到了预测分类器。此外,我们还对ELSMML方法进行了收敛性分析和复杂度分析。最后,为了验证性能,我们选取了几个典型的多标签学习算法和多视角多标签学习算法作为基准线在一些常用的数据集上进行了实验。实验结果表明:与基准线相比,ELSMML方法在评价指标上具有更好的性能。总体而言,本文总结了以下三点贡献:(1)本文提出了一种新的多视角多标签学习方法(ELSMML),该方法基于标签相关性和多视角学习来提高学习性能。在多视角多标签学习中,我们的模型首先依赖于一个精细化的标签相关性矩阵来清晰地描述标签之间的高阶关系,然后我们利用多视角学习和降维进一步挖掘高级潜在语义标签信息和潜在特征信息。因此,该方法可以很好地利用多个视角和多个标签之间的信息,提高多标签分类器的性能。(2)本文采用了加速近端梯度方法来优化所提出的目标模型,并获得了预测分类器。接着,我们给出了ELSMML算法的收敛性分析。收敛性分析从理论上证明了ELSMML算法的可行性。此外,我们还对ELSMML算法进行了复杂度分析。(3)本文设置并实施了实验。基于十一个常用的数据集,我们从六个评价指标对ELSMML和基线方法进行性能评估。接着,为了进一步验证ELSMML的有效性,我们还进行了统计检验和参数敏感性分析。结果表明:与基线方法相比,ELSMML方法能实现更好的性能。

关键词： 小学信息技术   课堂教学   项目式学习   运行分析  

摘要： 素质教育的落实需要教师改变课堂教学方式,以学生为主体,开展自主与合作学习活动,发挥学生主动性,在实践探索中获得知识与能力。在小学信息技术学科课堂教学中尝试运行项目式学习方法,让学生在任务驱动下进行问题探究,可以培养其自主学习意识,提高对信息技术具体教学内容的认识、理解和掌握,提升收集、处理和运用信息的能力,促成信息技术学习能力与素养的提升。本文就小学信息技术课堂项目式学习含义、使用价值以及运行的方法等进行探讨。