关键词： 个性化联邦学习   元学习   自动编码器   非独立同分布  

摘要： 联邦学习是一种能够让多个客户端在不共享数据的情况下协同训练机器学习模型的分布式机器学习技术。然而,已有的研究表明,当客户端之间的数据分布是异构的时候,联邦学习会出现明显的性能下降。为了解决这一具有挑战性的问题,研究人员提出了个性化联邦元学习,其中每个客户端通过在联合训练的全局元模型上进行微调获得个性化模型。尽管个性化联邦元学习在这一问题上取得了不错的成果,但是由于这类方法隐式地假设了不同客户端中采样的任务是来自同一任务分布的,当面临数据异构程度较大的场景时,其依旧会出现性能下降问题。针对上述不足,本文分别研究了基于单模型和基于多模型的个性化联邦元学习。在数据高度异构的情况下,单一的全局模型不能够很好的泛化到所有的数据分布中。为此,本文研究了基于单模型的个性化联邦元学习。相比于传统做法中将所有客户端的本地模型初始化为全局模型进行本地更新,本文提出了p Fed Init,一种通过逐层变换操作将全局模型适应到不同本地数据分布的算法。实验结果表明,所提出的p Fed Init算法在模型精度和通信消耗上均优于已有的基于单模型的联邦元学习算法。然而,当数据分布呈现出多个明显不相交的集群时,单一的全局模型在训练中可能会受到多个差异较大的更新方向的影响,导致其难以收敛到一个稳定点。为此,本文提出了G-FML,一种基于多模型的个性化联邦元学习训练框架。在训练过程中,G-FML框架能够自适应地将具有相似数据分布的客户端划分到同一个分组中,并为每个分组设置独立的元模型以适应不同的任务分布。通过在合成数据集以及真实数据集上的实验表明,相比于最先进的联邦元学习,我们所提出的训练框架最高提高了13.15%的准确率。

关键词： 少样本学习   元学习   对抗训练   半监督学习   对抗鲁棒性  

摘要： 计算机技术迅速发展的今天,机器学习在许多领域已经取得了非常优秀的性能表现。虽然新的机器学习算法层出不穷,性能也逐步提升,但是机器学习的成功更多地是依赖大量的高质量标注数据。可是在许多专业的领域,数据或标注样本数据稀少,而数据标注不仅枯燥乏味、消耗时间,还需要大量具有专业领域知识的人力资源,如何在少样本场景下进行深度学习通常不是一项容易的任务。元学习的出现为上述问题的解决寻找新的突破口。元学习希望训练得到的元模型在学习到的“元知识”基础上,利用来自新任务的少量标注样本,仅通过少量梯度下降步骤微调模型,就能够在该任务上快速适应,这与人工智能的观点十分契合。模型无关元学习（MAML）已成为少样本学习中最成功的元学习技术之一。但由于训练样本的缺乏,MAML元学习器更难适应数据分布。当MAML在元训练期间对现有任务过度训练时,得到的分类器决策边界不够准确。不合理的决策边界使得元模型更容易受到微小对抗扰动的欺骗,这导致MAML在新任务上的鲁棒性能变差。论文提出半监督对抗鲁棒模型无关元学习方法semi-ARMAML与基于动态焦点损失的半监督对抗鲁棒模型无关元学习方法semi-ARMAMLDFL。semi-ARMAML在目标函数中分别引入半监督的对抗鲁棒正则化项和基于信息熵的任务无偏正则化项以优化决策边界。特别地,对抗鲁棒正则化项的计算允许未标注样本包含未见过类样本。semi-ARMAMLDFL重写焦点损失,在目标函数中引入基于信息熵的任务无偏正则化项和半监督动态焦点损失正则化项,以改善模型的鲁棒性,并在元训练过程中,动态更新调制因子,以调整模型对易受对抗样本攻击的难分类任务与易分类任务的关注度。最后,在Mini Image Net和CIFAR-FS两个基准数据集上进行对比实验,证明了semi-ARMAML对输入扰动的敏感性大大降低,能较好地适应于真实应用场景,具有较强的对抗鲁棒性和通用性;而semi-ARMAMLDFL相比semi-ARMAML,牺牲了一定的干净样本鲁棒性能,但其对抗鲁棒性能提升明显,从而获得了更优的整体鲁棒性。

关键词： 多标记学习   特征空间   标记相关性   相关性嵌入   降维  

摘要： 在多标记学习中,任意对象通常用一个实例代表,且包含多个类标记,类标记之间可能相互联系。多标记学习的主要目的是利用已有的带有标记的训练数据建立一个分类器,为新实例预测相关的标记集。众所周知,利用标记之间的相关性构建分类模型,能显著提高分类的性能。现有的多标记学习方法主要以间接的方式建模标记相关性,即对分类模型的系数或输出添加额外的约束,然而不同标记之间固有的相关性并没有得到很好的保持。同时,特征空间的高维性不可避免地产生冗余特征,会增加计算的压力和内存成本,给多标记学习带来了巨大的挑战。通过探索标记相关性以及针对特征空间维度大的问题,本文提出了一种基于标记相关性嵌入的多标记学习方法,即MLLCE(Multi-label Learning Method Based On Label Correlation Embedding),将特征提取和标记相关性集成到一个整体的模型中。该方法首先基于映射矩阵实现特征提取,获得维度约简后的特征空间。然后,通过图嵌入的方式从预先学习的相关性矩阵中获得一个嵌入矩阵,并将嵌入矩阵作为分类模型的权重矩阵。最后,学习一个能够将维度约简后的特征空间映射到原始标记空间的映射关系,即分类器,应用该分类器能够为新数据预测相关的类别标记。考虑到当数据不能线性分离时,会降低模型的分类性能。所以本文还提出了一个基于标记相关性嵌入的非线性多标记学习方法,即NL-MLLCE。该方法通过一个非线性特征映射去处理原始的特征空间,同时,该方法也是通过图嵌入的方式,获得了模型的权重矩阵,最后,构造了一个多标记分类器,有效地实现多标记数据的分类。基于15个数据集和7种常用的评价指标,本文将提出的方法MLLCE和NL-MLLCE与多种多标记学习方法比较。实验结果表明所提出的方法在多标记学习方面具有比较好的分类性能。

关键词： 中职学校   电子商务   实训课程   自主学习   学习方法  

摘要： 我国目前推进教育改革,其中的重要战略目标之一就是要培养学生进行自主学习,这一点体现在《国家中长期教育改革和发展规划纲要2010-2020》中。在此文件中,对自主学习的本质要求和本然目的进行了释义,培养学生的自主学习在教育过程中要做到尊重教育规律和学生的身心发展状况,考虑学生的个体差异,进行有针对性教育。自主学习的内涵一般包括以下几个方面,确定学习目标、制定学习计划、选择学习方法、监控学习过程以及评价学习结果。自主学习的特征可以概括为三点,能动性、有效性和相对独立性。职业教育是以就业为导向的教育,专业相关的操作技能是中职学校重要的学习内容,而实训课是实现中职学校培养学生实际操作能力的重要途径。对于中职电商专业的学生来说,毕业之后有两条路径可以选择,分别是走向工作岗位和升学,但无论是哪一条路,都需要学生拥有持续更新知识和技能的能力。而在中职电商专业实训课中培养学生进行自主学习,即意味着学生可以随着社会环境和专业的发展变化更新自身的技术,能够极大的促进中职学校电商专业学生的可持续发展。但目前来看,中职教育在我国的教育体系中处于发展阶段,中职学生存在自主学习意识较差,自主学习能力待提高等问题。因此,本论文将调查中职学校中电子商务专业学生在实训课中的自主学习现状,发现其中存在的问题,找出影响学生自主学习的因素,提出相对应的提升建议,充分调动学生在实训课学习中的主观能动性,改善学生在实训课中自主学习的表现情况,对促进学生发展,改进教学质量具有重要意义。本研究以终身教育、元认知理论、建构主义思想为理论基础,选取H市两所中等职业学校中电子商务专业的学生和教师作为调查对象,通过问卷调查、访谈、观察等调查方法,综合分析后总结出影响中职电商专业学生在实训课中自主学习表现情况的因素主要有学习动机、学习方法、学习过程、学习时间、学习结果、学习环境、教师教学与评价。发现学生在自主学习中存在以下几个方面的问题:学生的学习动机有待提高;缺少适合实训课的高效学习方法;实训课学习过程中自身控制力不足;在实训课程中不能合理计划学习时间;看待实训课学习结果的角度单一;实训教师教学环节缺失,教学方式与评价方式单一;学生的自主学习受环境影响较大。造成以上问题的原因复杂多样,总结出了以下四点:学生没有养成良好的学习习惯;实训学习目标不明确,缺乏职业规划;实训教师对自主学习认识模糊;学校对学生在实训课程中自主学习的重要性认识不足。针对上述问题,从教师和学校角度提出了以下几点提升建议:教师方面包括激发学习动机,引导学生掌握和使用合适的学习方法;关注学生的个性特点,培养学生的自控能力;明确实训学习时间与学习目标,多元主体多角度评价实训学习结果;丰富实训课学习资源,完善教学环节,采用灵活的教学模式。学校方面包括开展自主学习讲座,深化教师和学生的认识;构建家校沟通渠道,维护促进学生自主学习;积极开展“课赛融合”教学模式改革;建设良好的学习氛围,端正学生学习态度。提升建议的提出以教师和学校方面为主,希望通过教师的引导与要求,学校的重视与改进,切实提高中职电商专业学生在实训课中的自主学习表现情况,实现中职学校培养服务于社会的应用型技能人才的目标。

关键词： 高光谱图像   变化检测   跨场景   多尺度注意力增强金字塔   自训练  

摘要： 高光谱遥感技术是综合对地观测的重要组成部分,也是遥感技术发展以来最重大的科技突破之一。高光谱图像具有光谱分辨率高、图谱合一的独特优势,能够实现对地物目标的精细化解译。利用高光谱图像进行变化检测能够通过对不同时间拍摄的同一场景进行处理,分析变化区域,实现对更为复杂、微弱的地表变化情况的大规模监测。因此,高光谱图像变化检测已经成为遥感图像处理领域研究的热点问题,目前已经被广泛的应用于环境监测、军事侦察、灾害评估等领域。然而,目前高光谱图像变化检测仍然面临许多挑战:其一,面对蕴含丰富信息的高光谱数据,如何充分挖掘有效的空谱信息并对多时相数据的时序信息进行建模,以应对地表复杂多样的变化区域是提高变化检测精度的关键;其二,面对海量高光谱数据,由于人工标注耗时费力,且受到环境因素的限制,很难获得足够的标记样本,而训练样本的匮乏导致模型效果严重受限,算法性能下降。为了克服以上问题,本文深入分析了多时相高光谱图像的数据特性,围绕适用于高光谱图像变化检测及其跨场景情况下的网络框架展开研究,本论文的主要研究工作如下:1.针对现有方法难以充分挖掘高光谱图像中丰富的空谱信息,无法应对多尺度复杂多样的变化区域的问题,本文提出了基于多尺度注意力增强金字塔网络的高光谱图像变化检测方法。该方法引入多尺度注意力增强金字塔卷积提取多尺度空谱特征,并将提取的特征逐级聚合,得到多级特征并分别对时序关系建模,学习了多层次、多尺度空-谱-时序特征表示,提高了对复杂变化的检测性能。通过在三个公开数据集上的定性和定量分析,证明了该方法能够有效减少边缘和离散区域的漏检和误检,尤其是在变化复杂离散的数据集上获得了显著超越其他对比算法的检测精度。2.高光谱数据的样本标注存在困难,如果利用有标签场景的数据训练的模型,直接对无标签数据进行变化检测,则由于数据分布差异会产生域偏移现象,导致模型的性能下降,因此本文提出了基于自训练域自适应学习的跨场景高光谱图像变化检测方法。该方法通过多级差异空谱特征对齐,减小源域和目标域之间的差异,有效提取多级域不变空谱特征,并利用自适应决策级融合策略对注重细节和语义信息的检测结果进行优势联合,提高跨场景变化检测的准确性。本文采用自训练优化策略,将目标域的可靠伪标签作为训练样本,提高目标域中边缘区域的检测精度。实验结果表明,该方法充分利用源域信息,有效对齐源域和目标域的数据分布,提取了目标域不同地物的变化信息,实现了精确地跨场景变化检测。

关键词： 复杂网络   边表示学习   深度强化学习   关键边识别  

摘要： 复杂网络普遍存在于现实世界中,通过深入研究复杂网络有助于了解人类社会中的各种复杂系统。其中,边是网络的重要组成部分,但由于网络异质性,网络中仅有少数关键边对保证网络结构与功能起到决定性作用,通过识别复杂网络中的关键边能够以较低代价防御对有益网络的攻击或者打击有害网络以获得较大收益。然而,传统的网络中关键边识别方法从网络拓扑结构或信息传播角度出发手动设计单一度量指标或综合多个指标对边重要性进行评估,网络结构复杂性会导致同一网络的边重要性排序在不同的评估标准下有所不同,传统方法无法综合考虑网络特征而存在局限性与片面性,且针对不同的网络结构可迁移性差。为解决以上问题,本文研究了边表示学习算法,根据输入的高维网络数据,自动抽取和利用网络结构信息,将连边表示为低维稠密的向量,减少了通过聚合节点表示间接得到边表示造成的信息损失,最大程度地保留原网络中边的结构特征。然后,通过强化学习将网络中关键边识别问题建模成一个马尔可夫决策过程,并结合边表示学习感知网络特征及状态,为关键边识别问题提出了一个通用的解决方法。本文的主要研究内容如下: (1)提出了一种保持全局和局部信息的边表示学习方法。该方法首先根据所有节点与边的相关度初始化边的全局信息表示,然后通过图自编码器中的图卷积网络提取边的局部邻接关系,并采用深度自编码器捕获边全局信息中隐含的高阶结构特征。最后,结合两个模块生成统一的边表示向量。本文在三个公开数据集上进行边分类任务来验证边表示向量的质量。实验表明,该方法生成的边表示向量能有效保留初始网络的结构特征。 (2)提出了一种融合边表示和深度强化学习的关键边识别方法。该方法首先根据网络生成模型得到大量的合成网络,然后采用边表示学习方法构建Q值网络来近似量化边重要性的值函数。在合成网络上,强化学习中的智能体根据Q值网络计算的边重要性数值执行关键边删除动作从而收集经验,依据经验进行多次迭代训练并更新Q值网络参数,直至学习到最优的关键边识别策略。本文在多个真实网络上的实验结果验证了该方法能够准确识别出网络中的关键边。

关键词： 机器学习   密度泛函理论   非平衡格林函数   过渡金属硫化物   钙钛矿材料  

摘要： 由于高性能、环境友好型材料能够缓解当今社会面临的环境污染和能源短缺问题,因此受到各国研究人员的广泛关注。目前探寻新材料的途径主要是实验和理论计算,但这两者都属于试错型方法,很大程度上依赖于研究人员的经验,因此存在实验周期长、试错成本高的问题。而最近兴起的机器学习方法对快速探索材料性质表现出了巨大的潜力。它能够利用已知的材料数据集,通过各种算法快速地对未知材料进行预测和分析,并提供不依赖于直觉和经验的数据结果。鉴于此,机器学习方法已逐渐成为材料开发中一种强有力的辅助手段。本论文借助机器学习结合第一性原理计算的方法探索了新材料的物理性质。论文的研究内容如下: （1）带隙是材料非常重要的属性,如今大量材料的带隙值已通过密度泛函理论计算并收录进材料数据库中。然而在这类计算中往往采用Perdew-BurkeErnzerhof（PBE）方法处理其中的交换关联函数,因此带隙常常被低估。相比于PBE方法,杂化泛函方法（HSE）是一种更加准确的方法,但需要大量的计算资源。为了克服这一问题,本章节借助机器学习方法精确预测了材料的带隙值。首先构建一个分类模型挑选出数据集中的非金属材料,接着基于不同的描述符矢量,建立三种机器学习模型来预测非金属材料的带隙值。对于模型I,描述符只包含了材料的组份信息;对于模型II,只使用了PBE计算的带隙值作为输入变量;而在模型III中,输入变量同时包括材料的PBE带隙和组份信息,预测精度可与HSE方法对标。最后,利用这一模型,成功预测了Materials Project数据库中126 324个无机材料的带隙值,并建立了相应的数据库。 （2）二维过渡金属硫族化合物异质结的电子性质和它们的层数有着密切的关系。我们基于密度泛函理论与机器学习技术相结合的方法,有效地预测了由单层或多层Mo S2、WS2、Mo Se2、WSe2、Mo Te2、WTe2两两组成的N层原子层构成的异质结的电子特性（其中N=2～10）。结果显示,组成元素种类对异质结的电子性质有着决定性的影响。在层数较少的情况下,层数对电子性质的影响较大,特别是当异质结的层数从双层增加到三层时,其带隙值和能带排列类型会发生较大的改变。而当层数增加到一定厚度时,层数对异质结电子性质的影响逐渐降低,材料的电子性质变化逐渐减小,趋于三维块体性质。 （3）构建了Janus-Mo SO单层及Janus-MoSO/MoS2异质结,并系统地研究了它们的光学性质和接触电阻。当Mo S2单层转变成Janus-Mo SO单层时,由于S和O原子之间的电负性差异,产生了一个本征电场。当氧化发生在双层Mo S2表面时,则构成了一个非对称的Janus-Mo SO/Mo S2异质结。结果表明它具有一个Type-II型的能带排列,并且激子结合能很小,这些都有利于提升材料中电子和空穴的分离效率。接着,进一步研究了双层Mo S2和Janus-Mo SO/Mo S2异质结的接触性质。当金电极与双层Mo S2接触时会产生一个肖特基势垒,而当Janus-Mo SO/Mo S2异质结与金电极接触时,表现出了欧姆接触的性质。这一特性有利于器件中的电荷注入。 （4）通过掺杂对材料进行改性,是材料领域常用的研究手段。本章节使用基于高通量计算和机器学习的方法来探索杂化A3B2X9的光催化性能,首先通过等价替换A3B2X9钙钛矿材料中的原子,构造了340万个掺杂结构。接着构建了机器学习模型来预测340万个钙钛矿结构的带隙值,并经过高通量筛选将光催化候选材料的数量减少到30万种,最后对这些候选材料进行能量转换效率的计算。计算结果表明,掺杂原子的种类和掺杂位点对催化性能有着重要的影响。为了获得更高的催化性能,对于X位原子来说,Br和I原子共存是一个比较好的选择;而对于B位原子来说,更倾向于选择大周期的重原子。此工作也为探索掺杂系统提供了一个有效的研究途径。

关键词： 数学文化   小学数学教学   转化方法  

摘要： 数学是小学课程体系的重要组成部分，数学学科核心素养是小学生应该具备的基本素养。教学活动中，小学数学教师应该有意识地选择能体现数学文化的教学素材，将数学文化渗透在日常教学中，使学生感悟数学价值，理解数学思想，培养数学学科核心素养。以“三角形的面积”这部分内容的教学为例，引导学生利用合拼、剪拼、比较、延伸等转化方法学习数学知识，拓展学生的思维，使学生在获取数学知识的同时体验数学文化的魅力，提升学习质量。

关键词： 室内定位   深度强化学习   多智能体系统   设备异构   指纹定位  

摘要： 无线电RSS指纹凭借其易获取、低成本等多种优势被广泛地应用于基于指纹的室内定位方法中。但是,信号采集设备的异构性带来的指纹差异可能会导致指纹误匹配,并最终影响定位性能。近年来,强化学习在解决如AlphaGo等复杂决策问题上表现出了强有力的竞争优势,并在室内定位领域中也得到了广泛的关注。但现有一些基于强化学习的室内定位方法没有充分利用环境中的观测和智能体自身的历史动态信息,并且忽略了多智能体系统中多个不同设备之间的异构性。针对上述问题,本文开展了异构室内定位环境下的强化学习方法研究,主要工作内容如下:本文提出了一种基于深度强化学习的轨迹定位方法,以RSS测量、智能体自身的估计位置和其历史动作为状态,利用环境中的少量先验知识设计一个合理的奖赏函数,奖励强RSS值且靠近选定AP的位置估计并惩罚远离选定AP的位置。通过对一个位置计算两次奖赏值并选择高奖赏值的方式,来处理RSS数据存在设备异构性的问题。实验结果证明该算法可以以较高精度预测轨迹的走向,并对异构RSS数据也具有一定的鲁棒性。本文提出了一种基于最小二乘与多智能体深度强化学习的无人机辅助轨迹定位方法,该算法使用两组不同的RSS数据,首先利用最小二乘预测目标的位置,再基于强化学习方法估计无人机位置,并同时评估对目标的估计。在深度强化学习的多智能体系统中,以异构RSS测量数据、智能体的位置、其越界标志及其自身历史动作向量为状态。在多个智能体与目标的平均定位误差在可接受范围内时,奖励靠近目标的定位状态而惩罚远离目标的定位状态。实验结果证明该算法定位性能较稳定,对处理异构RSS数据也具有一定的健壮性。

关键词： 卷积神经网络   对比学习   EMD距离   人脸表情识别  

摘要： 近几年随着人工智能技术的高速发展,人脸表情识别在智能安防、测谎、智慧医疗、互联网教育等领域出现了广泛的应用场景。由于人们通过面部表达情感的方式不同,很难通过人工设计和选择特征的方法高效的获取人脸面部表情的特征分布,因此目前基于深度卷积神经网络自动提取面部表情特征的方法在人脸表情识别中发挥出越来越大的优势。由于缺乏大规模的高质量数据、人脸图像中存在部分遮挡以及表情标签的不确定性,自然场景下的人脸表情识别面临着一些挑战。尽管现有的研究已经提出了许多基于度量学习方法尝试解决这些问题,但它们通常仅仅利用有监督的信息进行学习,由于在自然场景条件下标签存在的不确定性问题,错误的标签可能会导致在指导特征学习时引入错误信息,效果并不好。与以往的工作不同,本文提出了一种新颖的表情特征学习方法,结构相似度对比学习(SSCL)方法,将监督分类损失与无监督结构相似度对比损失相结合。其中,结构相似度对比损失项通过减少同一面部图像转换而来的两个图像特征的结构相似度差异,以自监督的方式提取与表情相关的特征。其中结构相似度差异由特征图的EMD距离作为度量。由于无监督结构损失项不依赖于数据的标签,因此可以减少错误标签的负面影响。此外,本文在结构相似度对比学习方法的基础上引入负样本自适应加权方法,挖掘难负样本,进一步提高了网络模型的性能。实验结果表明,所提出方法在Affect Net、FERPlus和RAF-DB等大规模数据集上优于先前最先进的方法。特别是,特征的鲁棒性也通过遮挡和姿势变量数据集以及交叉数据集的实验得到了验证。