关键词： 联邦学习   联邦多任务学习   数据异构   设备异构  

摘要： 联邦学习是一种机器学习范式,它使各客户端共同学习一个共享的全局模型,同时将它们的训练数据保存在本地而不是上传到中心服务器,从而实现在保护数据隐私的条件下完成全局模型的训练。然而,目前联邦学习还存在一些影响其性能的挑战。首先,各客户端的数据分布是不一致的,单一的全局模型无法满足不同数据分布的客户端的需求,进而影响全局模型的性能。其次,各客户端之间存在设备性能的差异,它们具备不同的计算能力,这导致了训练时间延长,进而影响联邦学习的训练性能。以上两个问题往往会同时出现,但目前很多研究都只针对其中一个挑战进行解决,几乎没有研究将以上两个挑战同时考虑并解决。因此研究如何同时缓解数据异构性和设备异构性是值得研究的问题。针对上述问题,本文提出一种基于簇异步的联邦多任务学习方法,该方法主要分为四个步骤。首先,基于数据分布和设备性能的客户端聚类方法,将数据分布和设备性能都相似的客户端划分到同一簇中;第二步,数据特征计算和提取方法,计算和提取全局重要特征;第三步,基于特征遮蔽的全局联邦学习方法,所有客户端遮蔽数据中的非重要特征并执行全局联邦学习,更新和共享与重要特征相关的模型权重;第四步,簇异步联邦学习方法,客户端在各自簇内执行联邦学习,其中簇内训练是同步的,而簇之间互不干扰,其更新的异步的。实验结果表明,与现有算法相比,我们的算法在基准数据集上获得了更好的模型性能和训练性能。进一步,本文设计与实现了基于簇异步的联邦多任务学习系统。该系统分为三大模块。首席是信息展示模块,其主要负责任务信息和模型结果信息的展示,能够让用户查看相关的任务和模型结果信息。第二是任务收发模块,其主要负责任务发布,任务接受以及任务启动功能,能够让用户发布和参与联邦学习任务。第三是联邦学习模块,其主要负责导入任务训练数据,执行本文提出的方法,模型准确度评估以及客户端和服务器端的通信交互。

关键词： 输入加工教学   意义型输出教学   定语从句   高中生  

摘要： 输入加工教学是一种聚焦形式的教学,是一种强调输入的质与输入-学习者之间互动的语法教学模式。基于意义的输出型教学则侧重让学生通过大量的有意义的输出达到在现实中真正会使用目标语法进行交际。许多研究者对输入加工教学和意义型输出教学给予了高度关注。然而,相关研究的结果并不一致。因此,输入加工教学和意义型输出教学是否会促进语法的成功习得是一个值得研究的问题。基于此,本研究设置的问题是:输入加工教学和意义输出型教学对学生定语从句理解有什么作用?输入加工教学和意义输出型教学对学生定语从句输出有什么作用?输入加工教学和意义输出型教学对学生定语从句延时学习效果有什么作用?太原市某高一年级三个班级的120名学生在前测筛选后参与了本研究,根据不同的教学干预,将被试分为两个实验班,输入加工教学班,意义型输出教学班和一个控制班。本研究的目标语法是定语从句。输入加工教学班接受的教学有三个步骤:呈现关于定语从句的明确信息;呈现关于加工策略的明确信息;结构化输入活动。意义型输出教学班接受的教学有三个步骤:呈现关于定语从句的明确信息;呈现关于加工策略的明确信息;结构化输出活动。而控制班则接受了PPP教学。此外,还采用了前/后测来判断这些教学干预的效果,测试类型分为理解类和产出类两个类别。前测和后测的题目来自于对大学入学考试题目的改编。三个测试的分数被用作本文的研究数据,数据被录入到SPSS 24.0进行描述性分析和方差事后检验。实验结果显示,输入加工教学班和意义型输出教学班受试对定语从句的理解和输出都优于控制班。两个实验班的对比结果如下:首先,在促进外语学习者对定语从句的理解层面,尽管没有显著差异,但输入加工教学班受试的表现要优于意义型输出教学班,这得益于输入加工教学重视正确的加工输入而不是单纯强调意义理解。其次,在促进外语学习者对定语从句的输出层面,意义型输出教学班受试表现显著优于输入加工教学班,意义型输出教学侧重通过输出练习让学生真正掌握语法的使用从而加强了输出的准确率。最后,在促进外语学习者对定语从句的延时整体学习效果层面,意义型输出教学班受试表现显著优于输入加工教学班,说明了意义型输出教学中的输出练习让学生也同时注意到了形式和意义,加深了记忆。因此,教师应该尝试让学生在有意义的语境中关注形式和意义,实现学得到习得的转变。

摘要： 维吾尔语作为新疆地区少数民族语言之一，是我国民族文化中具有代表性的文化语言，目前有超过1000万人口使用维吾尔语进行交流，此种语言不仅是新疆民族的代表语言，也是我国语言的重要组成，其中不仅蕴含了深厚的文化内涵，也贯穿了我国语言的发展历程。在进行维吾尔语语言教学的过程中，应注重融入中华文化的相关内涵，从而使学生具备对我国传统文化的认同感，同时有助于增强中华民族的凝聚力，培养民族精神，在维吾尔语语言教学中还要重视与我国传统文化的融合。在文化传承背景下，文化润疆理论被提出。中国各个民族不仅要相互包容、相互尊重，也要相互学习、

关键词： 高光谱遥感图像分类   迁移学习   自适应学习   连续迁移学习  

摘要： 遥感领域中,获取地物信息的一种重要方式是对高光谱遥感图像进行分类。鉴于高光谱遥感数据的高维性以及复杂的空间结构,如何提取出具有鲁棒性的特征是高光谱遥感图像分类任务需要解决的核心问题。传统方法中通过人工设计的特征提取方法存在表达能力受限、只针对特定场景等问题,而基于深度学习的一类具有深层网络结构的模型,可以从数据中学习到更深层次的鲁棒特征。但是,深层模型往往需要大量的标记样本进行训练,这与高光谱遥感图像获取监督信息困难的实际情况产生了矛盾。因此,研究在有标记训练样本数量受限的情况下,合理且有效地应用深层网络模型提升高光谱遥感图像的分类精度具有较大的实际意义。 针对上述问题,本文研究了在迁移学习的理论框架下,结合深层网络结构,完成高光谱遥感图像分类任务。本文设计并提出了基于模型迁移以及基于自适应迁移学习的高光谱遥感图像分类方法,并提出了在域间差异较大情况下更为合理的连续迁移学习方法,利用多源遥感信息提升分类精度。本文主要研究内容如下: 首先,研究了基于模型迁移的高光谱遥感图像分类方法,利用模型迁移的方式将源域自然图像的知识迁移到高光谱遥感图像分类领域,以此减少深层网络对训练样本数目的需求。此外,论文还设计了基于傅里叶变换的混合样本数据增强技术,根据原有不同的两个高光谱遥感图像训练样本产生新的训练样本,从数据层面缓解了有限标记样本的问题,在模型迁移的基础上进一步改善分类效果。 其次,研究了基于自适应迁移学习的高光谱遥感图像分类方法,包括了异构模型之间的自适应迁移学习以及标签的自适应学习两部分。模型层面,本文提出的异构自适应迁移学习方法,可以在迁移过程中根据高光谱遥感图像分类任务自主选择合适的特征参数进行迁移。标签层面,本文设计的自适应标签技术可以在训练过程中根据模型判断标签正确与否,自适应地更新监督标签信息,以此充分利用单标签样本中的多目标信息,在多个高光谱遥感数据集上得到较好的结果。 最后,研究了连续迁移学习理论并探索了该理论方法的可行性。该理论主要研究了在源域和目标域的域间差异较大的情况下,引入一个与源域和目标域同时具有相似性的中间源,完成知识从源域到中间源,再从中间源到目标域的连续迁移。根据该理论,本文设计了两种基于深层网络结构的方案,分别从模型复杂度以及多源遥感信息利用的充分性两个角度,提升了高光谱遥感图像分类精度。

关键词： 考古   探地雷达   GPRSIM   目标检测   Faster R-CNN  

摘要： 传统的遗址探测方法是众多的工作人员使用洛阳铲等工具对选定区域进行等间隔的地毯式探测,需要耗费大量的人力、物力、财力,并且无法在短时间内对大面积区域进行探测,存在着一定的局限性。内蒙古大学宁夏姚河塬项目开展以探地雷达(Ground Penetrating Radar,GPR)为主的科技考古手段系统地勾勒出姚河塬遗址的分布范围和文物埋藏深度,以此来推动姚河塬考古的进程。在内蒙古大学姚河塬项目的基础上,本文针对传统探地雷达数据处理过度依赖专业人员的知识储备和专业人员对雷达数据解析过程缓慢等问题提出了基于深度学习的探地雷达B-scan数据双曲线检测方法。论文主要工作如下:1.针对遗址区域数据采集困难,难以获得深度学习训练网络的大量数据集问题,本文基于FDTD理论使用GPRSIM软件设计了GPR正演仿真模型,探究了地下埋放目标的成像特征规律,获得了大量的正演仿真数据集。并根据地下遗址区域小目标物体的特征设计了改进的Faster R-CNN特征提取模型,构建了基于仿真数据集的目标检测网络。2.针对遗址现场数据采集时需要合适频率以及探测深度的天线选取问题,本文设计了四个具体钢管埋放实验,分别使用四种频率的天线对四组钢管进行了实际的探测,结果表明在遗址区域的土壤环境下,200MHz、400MHz、900MHz的天线对地下小目标物体的探测深度大致相同,均在1米左右,对比分析得出了400MHz天线采集的图像分辨率最优的结果。3.针对遗址区域地下目标环境土壤介质分布不均匀,以及地下杂波噪声等对探地雷达采集的图像质量产生干扰的问题,使用了基于GPRSLICE对采集的图像进行了滤波、增益等一系列的处理。基于处理后的实测数据构建目标检测模型,通过在主干网络加入注意力机制,设计了三种主干网络S-Res Net50、C-Res Net50、E-Res Net50,并且引入了迁移学习,使用仿真数据集建立模型的训练权重作为预训练权重,测试集的精确度分别达到了96.53%、97.19%、98.01%。

关键词： 自我导向学习倾向   家庭功能   生命意义感   未来取向   初中生  

摘要： 随着“双减”政策的实施,需要中学生摆脱对校外培训的依赖,因此家庭功能对于自主学习的作用凸显,良好的家庭环境能够对学生起到积极的示范与反馈作用,从而帮助学生更主动地学习。自我导向学习倾向是反映中学生自主学习水平的重要指标。已有研究表明,家庭功能、生命意义感和未来取向能够预测自我导向学习倾向,但是较少同时考虑影响自我导向学习倾向中多个中介变量的综合作用。本研究在已有研究基础上,探究初中生家庭功能与自我导向学习倾向的关系及其内在作用机制,并提出相应的教育建议。本研究采用《家庭亲密度和适应性量表中文版》、《中文人生意义问卷》、《青少年未来取向量表》、《中学生自我导向学习倾向量表》作为研究工具,对山东省济南市、江苏省镇江市和广东省广州市某四所学校的1029名学生进行心理测量。数据采用SPSS23.0进行处理分析,得到的研究结果主要如下:1.初中生家庭功能、自我导向学习倾向、生命意义感以及未来取向在生源地、年级、是否担任班干部方面存在显著差异。2.初中生家庭功能、自我导向学习倾向、生命意义感以及未来取向,两两之间均存在显著正相关。3.初中生生命意义感在家庭功能与自我导向学习倾向关系中具有中介作用;初中生未来取向在家庭功能与自我导向学习倾向具有中介作用。4.初中生的生命意义感和未来取向在家庭功能与自我导向学习倾向之间具有链式中介作用。

关键词： 电力系统暂态稳定评估   深度学习   CNN   注意力机制   特征融合  

摘要： 近些年来,计算机水平的快速发展更新,使得深度学习在各行各业的应用逐渐崭露头角,机器翻译、图像识别、目标检测等已在人们的生活中随处可见。与此同时,随着社会的快速发展,电力的应用也逐渐普及并走向日常,同时伴随着大量风电光伏器件的接入,其电力网络的规模,产生的数据种类,以及数据量都在以指数级的形式增长。维持安全稳定是电力系统运行的一个基本要求,因此为了避免电力系统发生扰动时出现破坏性事故的发生,有必要运用电力系统稳定评估的方法,在发生事故时能够快速准确地判断系统的暂态稳定性并为进一步的预防控制提供参照信息。本文基于电力系统的暂态稳定时域分析,结合深度学习,主要的研究工作如下: (1)以一个10机39节点系统为研究对象,通过仿真获得描述系统状态的多维特征向量数据,并在不同的负荷水平以及不同的故障切除时间下验证数据集的正确性。 (2)将卷积神经网络(Convolutional Neural Network,CNN)与注意力机制(Attention Mechanism)融合后的网络模型进行电力系统的暂态稳定评估。卷积神经网络能够较好地处理高维数据,提取数据之间的隐藏特征,因而在深度学习领域内最常用表现相对较好。注意力机制是基于人工视觉发展而来,能够关注更加重要的信息忽略相对次要的信息。通过设立多组对比实验分析了一些超参数对于网络的影响,同时将设计的网络与传统的机器学习算法之间进行对比测试,验证所提模型在进行暂态稳定分类时的优越性。并通过设置不同的数据采样周波、不同的数据采样噪声对网络的影响,进一步验证所提模型在面对系统发生干扰时的鲁棒性。 (3)通过对于注意力机制的原理进行分析,提出改进注意力机制的深度网络模型,使其减少注意力机制的计算复杂度,以此来减少在进行电力系统暂态稳定分类过程中的计算时间。同时考虑到随着卷积的使用会导致特征之间的联系相对较弱,通过采用特征之间的融合来增强前后数据之间的联系,对注意力机制的Query作进一步的改进,提高在进行暂态稳定分类过程中的准确率。通过多组对比试验筛选出减少计算复杂度注意机制最优的添加位置,并通过采用不同的特征融合方法来验证该方法的有效性以及适用性,最后通过在CEPRI36节点系统下对模型的泛化性以及鲁棒性进行进一步的验证。

关键词： 谱聚类   深度学习   排序损失   股票预测  

摘要： 随着我国金融市场的快速发展和不断完善,居民的投资理念逐步发生转变,越来越多的市民开始选择投资股票作为货币升值的一种方式。众所周知,股票价格变动由于受到诸多因素的影响具有很强的不确定性,如果预测误差过大将会给投资者带来巨大损失。近些年来随着信息科学技术的发展成熟,有许多学者开始研究如何运用深度学习方法来建立股票预测模型,这些研究中大多将股票视为相互独立的个体基于横截面数据建立模型。但是,股价的变动并不是相互独立的,一只股票价格的变动可能会引起其它股票价格也发生变动,现有的研究中很少考虑股票价格之间的联动效应。认识到股票关系中蕴含着有助于更准确地预测股票的高价值信息以及最终选股时实际采用的是预测收益率排名这一选股标准,现有方法大多都没有将股票关系数据考虑进来,且将均方误差或者是交叉熵等作为目标函数,不贴合量化投资的实际场景。针对这些问题,本文提出了一种基于社区发现和排序学习的深度学习模型用来预测股票未来的收益率。主要有三个创新点:第一,通过谱聚类算法挖掘股票之间的社区特征;第二,标签Y为每只股票在对应社区中的收益率排名,这样可以起到分散投资风险的作用;第三,使用排序损失函数去优化模型,更看重每只股票排名的预测准确性。应用上述方法,本文选取了我国A股市场的801只股票在2015年1月1日到2019年12月31日总共1219个交易日的数据进行了实证研究。首先基于历史收益率数据通过谱聚类算法对股票进行社区发现进而去捕获股票之间的互相影响关系,然后考虑到量化选股的实质是选取收益率的预测分数排名靠前的股票,在建立基于深度学习的股票预测模型时融合了社区发现的结果和排序学习方法,根据是否用到了谱聚类的结果,使用了MSERankLoss、ListMLELoss和pListMLELoss损失中的哪一种总共建立了6个模型。在没有利用分组结果的模型中,标签值为股票的收益率,在利用分组结果的模型中,标签值为每只股票的收益率在所属社区中的排名,在特征变量中也加入了股票的社区信息,以期望在加入股票关系数据后能够在低风险下获得更高的回报。社区发现结果表明谱聚类通过数据直接挖掘股票之间的内在联系,除了行业关系以外,还提取到了无法直观解释但是在数据中切实表现出来的其它隐含关系。然后将谱聚类的结果加入到基于深度学习方法的股票预测模型中进行模型训练,最后从累计收益率、最大回撤率、夏普比率和平均年化收益方面对不同模型的回测效果进行了评估,结果表明本文中提出的模型在绝大多数情况下具有非常好的表现,在同等风险的条件下基于社区发现和排序方法的深度学习模型能够获得更高的回报。本研究说明分析股票关系、并将股票预测视为排序学习问题可有利于提高投资回报,这为我国现有的以深度学习为基础的股票预测模型提供了新思路,同时证实了新方法的有效性。

摘要： 中华优秀传统文化是我们党创新理论的“根”,“两个结合”是推进马克思主义中国化时代化的根本途径。习近平总书记在文化传承发展座谈会上发表重要讲话,深入阐释“两个结合”的重大意义,对于我们更好担负起新的文化使命,不断推进马克思主义中国化时代化,在新的历史起点上继续推动文化繁荣、建设文化强国、建设中华民族现代文明,意义重大,影响深远。

关键词： 分类   集成学习   特征处理   多目标模型优化   前列腺疾病辅助诊断  

摘要： 随着人类社会数字化程度的提高,各个领域需要应对的分类问题越来越复杂,样本识别难度越来越大。由于多样化的信息无法得到有效利用、信息之间的非线性关系无法得到充分挖掘,传统的基于人类知识经验积累的决策方式与新时期对决策效率和精度的需求之间的矛盾日益明显,不少基于数据分析的新技术和新方法在解决现实管理决策问题中发挥着越来越重要的作用。集成学习,作为机器学习的重要分支,通过训练并结合多个学习器来应对同一个问题,能够显著提高模型的预测性能,已被广泛用于解决生产管理、运营管理、医疗健康管理等各种领域的分类问题。然而,现实分类问题的复杂性以及数据驱动决策对模型性能产生的多元化需求给集成分类建模带来了很大的挑战,对此,当前集成分类模型学习方法尚存在如下问题有待解决:(1)现实分类问题可利用的决策信息通常存在不完全性,现有方法采取常规特征选择手段通常致力于以更低的特征维度取得好的预测效果,未考虑如何将有限的决策信息在集成建模中发挥最大效用,尚缺少专门针对改善集成模型性能的特征处理方法;(2)现有集成分类方法多面向二分类问题情景设计,对复杂的不均衡多分类决策场景适用性差,且模型分类性能优化以模型准确性为主,无法确保模型取得最佳的泛化性能;(3)现有集成分类方法虽然预测性能好但模型复杂度高,无法应对一些对模型可解释性要求高的现实问题,且当前集成模型可解释性的研究尚未实现模型分类性能和可解释性的均衡以及模型决策过程的可视化。 为应对现实分类问题对模型性能的多元化需求,本文从集成分类模型的特征空间优化、集成分类性能导向的多目标模型优化、集成模型可解释性导向的多目标模型优化三方面展开,研究面向多维性能优化的集成分类模型学习方法。在分析已有研究不足的基础上,基于数据驱动决策理论、集成学习理论和多目标优化理论等提出三种方法,并将其应用于解决实际的分类决策问题。具体来说,本文研究工作主要包括以下几个方面: 第一,面向集成分类模型的特征空间优化方法研究。考虑到现实分类问题所获取数据通常存在的特征空间局限性,为满足集成建模在特征准备层面的需求,本文提出了一种面向集成分类模型的特征空间优化方法。该方法首先通过特定的特征生成机制进行弹性的特征空间扩展,然后以提升集成模型预测性能为目标进行特征组合寻优。为提高计算效率,先通过模拟CART决策树生成过程来对扩展后的特征空间根据特征重要性进行初筛,接下来引入基于特征维度聚类的集成学习算法评估特征组合,并利用一种贪婪优化算法确定最优特征数量。其中,特征组合评估算法通过在样本和特征层面创建多样性来模拟集成模型的构建,特别在特征层面,通过对特征维度进行聚类并提出特征均匀抽取法,以确保每个基学习器所利用的特征空间的差异性和完整性。实验基于多个标准数据集对方法性能进行测试,验证所提出的特征空间优化方法对提升集成模型预测性能的有效性。 第二,考虑多分类情景的多目标动态集成分类方法研究。为了得到准确性和泛化性能好且能应对复杂分类问题的集成模型,本文提出了一种考虑多分类情景的多目标动态集成分类方法。该方法将多个类别的分类视为多个样本识别任务,设计了一个基于前馈神经网络拓扑结构的集成学习框架。所提出的集成学习框架以特征层、基学习器层、集成模型层为骨架,以层之间的加权连接为框架中数据传输的基础,将动态集成模型学习过程视为一个以基学习器预测精度、基学习器多样性和模型的综合复杂度为优化目标的三目标优化问题,并结合对集成模型多目标优化理论的分析和扩展研究,提出了改进NSGA-Ⅲ的智能优化算法,通过多目标迭代优化过程同时为多个分类任务计算最优的集成模型。实验基于多个标准数据集对方法性能进行测试,通过引入几种经典的机器学习算法作为基学习算法进行集成模型构建,验证了所提方法应对复杂不均衡多分类的有效性,以及所提特征空间优化方法与该方法联合使用的建模效果。 第三,基于Stacking的可解释多目标集成分类方法研究。为了得到准确且可解释的集成分类模型以更好地辅助现实决策,本文提出了基于Stacking的可解释多目标集成分类方法。该方法首先利用多目标优化对集成模型准确性和集成复杂度进行同时优化得到精简且准确的集成分类模型,然后利用所设计的预测规则提取方法对最优子集成进行规则提取。为了使低复杂度的集成模型取得好的预测效果,在模型结合阶段引入了基于Stacking的模型集成方法,此处首次将机器学习算法随机森林引入Stacking模型中用作元学习器。实验基于多个标准数据集对方法性能进行测试,通过与其他经典机器学习算法比较验证所提方法的准确性和可解释性,证明了该可解释集成学习方法不仅能够得到好的预测结果,还能通过可解释规则的提取将预测过程可视化;同时验证了所提特征空间优化方法与该方法联合使用的建模效果。 最后,选用医疗领域疾病管理决策中的分类问题作为应用实例,结