关键词： 极限传输容量(TTC)   迁移学习   主动学习   深度神经网络   变化场景  

摘要： 深度学习由于其强大的非线性建模能力，在输电断面极限传输容量(total transfer capability,TTC)评估问题中具有良好的应用前景。然而，由于电力系统的时变性和不确定性，需要快速更新数据和模型以满足在线应用需求。为充分利用历史场景数据并减少在线更新的计算代价，提出一种基于主动迁移深度学习的输电断面TTC评估方法。该方法包括两个阶段：第一阶段引入迁移学习预训练，推导了迁移泛化误差界以及最优经验误差组合权重，用于指导预训练阶段得到具有最小泛化误差的新场景模型；第二阶段引入主动学习和模型微调，基于TTC评估网络灵敏度进行重要样本主动查询，显著降低了模型更新所需的新样本标注时间，并利用模型微调进一步提升了新场景模型的性能。算例分析表明，所提方法与传统的深度模型训练方法相比，大幅降低了将模型应用于新场景的标注样本需求与时间成本，提升了模型迁移的效率。

关键词： 机器学习   物理信息机器学习   奇异摄动微分方程   边界层理论   数据增强  

摘要： 许多科学和工程领域例如流体力学、材料力学等,都可以通过数学建模表示为偏微分方程(PDE),传统的PDE数值离散求解算法虽然已经取得了很大进展,但人们仍然无法将噪声数据无缝地整合到现有算法中。除此之外,网格生成仍然很复杂,并且无法解决参数化PDE所引发的高维问题,于是使用机器学习方法已成为一种有前途的替代方案,这被称作基于物理信息的机器学习(PIML)。然而,某些复杂的科学和工程领域中频繁包括了一些难以求解的奇异问题,奇异摄动微分方程就是其中一种,其解图像可以描述为某处扭曲、震荡,会严重影响机器学习方法的求解精度,甚至可能让其失效。本文主要从奇异摄动微分方程的解函数出发,研究其特有的层结构特性,融合到现有的一些PIML模型中。我们通过大量对比实验,证明了本文提出的模型结构可以较大提升对奇异摄动微分方程的求解精度和速度。本文主要的工作列举如下 ·提出了指导性的物理信息神经网络(TPINN)模型,我们将奇异摄动微分方程解函数的边界层结构添加到PINN模型结构内部:边界层函数主要通过两个或多个子网络进行拟合,使主干网络拟合解函数的平滑部分,极大的降低了主干网络的训练压力。子网络的输出通过指数函数扭曲,可以使模型提前知晓解函数的大部分特性,降低了整体的训练时长。实验证明,新模型可以大幅提升迭代速度,并且在解函数边界处的拟合精度更高。在一些情况下,能够解决PINN模型的失效问题。 ·我们提出层结构通用模型,此模型灵活性较高,可以添加多个分支网络,也可以更改分支网络结构为其他层:例如内部层、抛物型边界层等。为了证明其可用性,我们将基模型更换为算子网络,提出了奇异摄动神经算子(SPNO)方法。我们主要使用两个或多个子算子网络拟合边界层函数的指数部分,子算子网络设置地比主干算子网络更小,目的是尽可能地缩小模型的复杂度,降低迭代压力。实验中同时设置了一维和二维的情况,SPNO能够显著提升边界处的拟合精度。另外,本文也测试了SPNO在混合输入分布的情况下的拟合情况,实验结果显示SPNO泛化性能十分优越。本文同时还测试了类似少样本学习的情况:利用非常少量的训练样本,SPNO依旧可以保持较高水平。 ·除解函数分析外,本文还提出了从数据层面提升模型泛化性能的物理引导数据增强方法(PGDA)。对于线性微分方程,可以根据其解的线性特征来增强训练数据,实验表明此方法能够显著提升PIML模型的泛化性能,降低对某一类数据分布的过拟合现象。

关键词： 小学科学   实验教学   探究式学习  

摘要： 在新课改背景下，小学科学实验教学要积极开展素质教育，提高学生的核心素养，探究能力是核心素养的重要组成部分，因此，在实际教学过程中，教师要有效应用探究式教学方法，让学生在做实验的过程中形成良好的探究能力，以提升其发现问题和解决问题的能力。本文对探究式学习方法的重要性进行了简要分析后，重点阐述了其具体的应用方式，其中涵盖了优化课前导入、创设问题情境以及合理设置探究主题等，旨在提升小学科学实验教学的质量和效率，以期为相关人员提供参考和借鉴。

关键词： 碳交易价格   互补集成经验模态分解   二次分解算法   排列熵   长短期记忆神经网络  

摘要： 温室气体的过度排放不仅导致全球气温的升高,也导致海平面的上升和海洋酸化的加剧,这使得生态系统和可持续发展面临着严重威胁。世界各国为了有效减排纷纷建立碳排放权交易体系,中国更是始终致力于全国碳排放权交易体系的建立。碳排放权交易价格是一个十分关键的信号,它能够及时映射出市场的供求关系,同时也为有效构建环境资源分配机制提供了条件。因此对碳排放权产品价格的准确预测,对于完备交易体系的建立、碳交易市场的可持续发展以及政府部门对碳交易市场的监管和防范制度的制定都具有重要意义。针对碳交易价格的复杂特性,本文提出了基于二次分解策略和“分解-重构-预测-集成”框架的混合学习方法,运用两种方法分别进行单变量预测、多因素预测以及混合预测。首先利用样本熵对互补集成经验模态分解算法(CEEMD)进行改进,得到改进的CEEMD算法(MCEEMD);对于单变量预测,首先运用MCEEMD算法将碳交易价格数据进行分解,然后通过排列熵筛选出复杂度较高的模态分量进行二次分解,两次分解得到的模态分量为拟预测序列,对各拟预测序列进行滞后和移动平均处理,用以反映序列的历史波动情况,并将其作为单变量预测模型的特征输入;对于单变量和多因素的混合预测,首先利用综合贡献度指标将由MCEEMD算法分解得到的多个碳交易价格分量进行重构,得到能够反映原始碳价序列“趋势变动”和“周期波动”的两个重构分量IMFH和IMFL,从国内外宏观经济形式、国际碳价、国内外能源价格三个方面选择了17个影响因素,将通过距离相关系数进行特征筛选后的各变量作为模型特征输入对IMFH运用“分解-重构-预测-集成”框架进行预测,对IMFL进行单变量预测,最终将两个重构分量的预测结果集成即为最终预测结果;预测模型选择运用遗传算法、网格搜索及交叉验证寻优的长短期记忆(LSTM)神经网络和反向传播神经网络(BPNN),通过评估指标对模型的精确性和鲁棒性进行比较分析。本文主要贡献在于:(1)对于传统分解算法所确定的分量数目不能确保是最优解的问题,结合样本熵可以对序列的可预测性进行度量的特性,通过比较每次分解的残差序列的样本熵值,科学的确定最佳模态分量数,分解后得到的模态分量在进行重构时,通过综合贡献度指标引入“精确度”指标得到两个重构分量,有效降低预测难度;(2)在二次分解策略中,对于需要进一步处理的分量,运用排列熵进行量化而非主观的判断,构建了更科学的二次分解策略,有效提高了预测精度;(3)不仅利用了碳交易价格自身历史信息进行单变量预测,而且利用碳交易价格的多方面影响因素变量进行多因素预测,并将两者结合构建了混合学习框架进行预测,对三种预测框架进行比较分析得到的最佳预测方法可以对碳交易价格进行更加准确且稳健的预测。

关键词： 深度学习   联邦学习   知识蒸馏   高效通信   非独立同分布数据  

摘要： 随着互联网的蓬勃发展与移动设备的广泛普及,文字、图像、音频等数据呈指数型增长,在数据隐私保护的前提下进行设备间协同工作的需求日益增长。为满足这一需求,联邦学习于2016年被提出。联邦学习通过设备间模型参数,如模型权重或者梯度,的分享代替设备本地数据的传输,整合了分散的计算资源与非中心化的数据,大幅度提高了分布式网络结构的可扩展性,为人工智能数据隐私安全问题提供了有效的解决方案。联邦学习作为颇有前景的分布式机器学习范式,但其部署面临了双重问题。受限的带宽资源成为实施联邦学习的瓶颈。神经网络参数量随设备计算能力的提高而巨幅增长,受限的网络带宽难以支持分布式设备与服务器间海量参数的频繁传输。传输瓶颈导致联邦学习面临了高延时的模型协同训练以及模型参数同步困难的难题。设备间非独立同分布数据环境导致联邦学习性能难以满足需求。分布式设备由于使用环境的不同与用户数据收集偏好的不同,设备间的数据分布差异较大,并在统计学上表现为非独立同分布。该数据特性导致了模型收敛困难,模型泛化能力不足等问题。本文从数据分布的角度出发,在隐私保护的前提下对非独立同分布数据场景特点进行深入分析,针对四种典型数据场景,利用知识蒸馏相关技术原理,设计了基于模型知识传输的新型分布式神经网络训练框架,并提出了通信高效的联邦生成与联邦分类算法,具体研究内容如下。(1)本文针对概念偏移、特征分布偏移、标签分布偏移、数量偏移的非独立同分布数据场景下的分布式数据生成问题进行了分析与建模,设计了高效联邦生成算法CvaeFD。为解决通信瓶颈问题,CvaeFD算法基于知识蒸馏技术,使用自注意力机制提取隐层特征中的知识,用于代替传统联邦学习中模型权重或者梯度的传输,减少了设备与服务器间传输资源的占用。为解决非独立同分布数据场景下分布式生成模型训练困难问题,CvaeFD算法将易收敛的条件变分自动编码器(CVAE)作为生成器网络。为进一步提升模型的泛化能力,该算法利用条件变分自动编码器的网络结构优势,约束了隐变量的采样过程,使不同类别数据之间的平均距离增大,为分类模型提供优质的数据基础。(2)本文针对标签分布偏移、数量偏移的非独立同分布数据场景下的分布式分类问题进行了分析与建模,设计了高效联邦分类算法IceFD。为解决通信瓶颈问题,IceFD算法基于知识蒸馏技术,实现了分布式设备与服务器间的高效传输。IceFD算法通过提取基于数据类间关联性的知识,捕捉了类别之间的相似性与差异性,解决了模型泛化能力不足的问题。同时,该算法分享了分类器网络的浅层权重,加快了模型的收敛速度,提升了模型在该数据场景下的泛化能力。为进一步提升模型在该数据场景下的精度,该算法通过设计“设备贡献度”,优化了本地知识、本地浅层网络权重的聚合过程。通过分析IceFD算法的梯度更新模式,证明了该算法的有效性。(3)本文针对概念偏移、特征分布偏移的非独立同分布数据场景下的分布式分类问题进行了分析与建模,设计了高效联邦分类算法SparkFD。为解决通信瓶颈问题,SparkFD算法基于知识蒸馏技术,降低了设备与服务器间的传输开销。为解决此数据场景下分布式分类模型训练困难问题,SparkFD算法利用类别信息,通过有监督的联邦对比学习,捕捉了设备间知识的类内与类间关系,提取了与分类最相关的知识,从而提高了分类器对于非独立同分布数据的泛化能力。同时,该算法通过对抗学习,逐类别对比了来自所有设备的知识,提取了针对每个类别的设备间通用知识。以上知识的提取提高了分类器对于非独立同分布数据的泛化能力。(4)本文对复杂非独立同分布数据场景下的分布式模型训练问题进行分析,整合上述研究,设计了一种高效联邦分类框架Fed2KD。为解决通信瓶颈问题,Fed2KD框架基于知识蒸馏技术,减少了设备与服务器间传输资源的占用。为解决非独立同分布数据场景下分布式模型训练困难问题,Fed2KD框架首先通过数据增强算法将本地非独立同分布数据纠正为独立同分布数据,随后该数据集被用于分类器网络的联邦训练。该框架作为一种通用两步走框架,第一步联邦生成算法与第二步联邦分类算法可以根据任务要求进行调整。复杂非独立同分布数据环境下,该框架提供了灵活解决目标任务的方法,提高了目标模型对于该数据环境的泛化能力。通过分析Fed2KD框架的收敛性,证明了该框架的有效性。综上,本文针对不同的非独立同分布数据特性,提出了相应的数据生成算法CvaeFD与数据分类算法IceFD、SparkFD,同时,本文通过整合以上算法,提出了更为通用的联邦学习框架Fed2KD。以上算法与框架均能在保证模型性能的前提下,实现了非独立同分布数据场景下的高效联邦学习。

关键词： 性格类型   内倾型   外倾型   学习方法  

摘要： 文章根据笔者多年的教学经验，详细分析了中学生的性格类型，并针对不同的性格类型提出了详细的解决办法及相适应的学习方法。中学阶段是人生学习知识的最重要的时期，一个人的绝大部分基础知识是在这个时期汲取的。因此，在中学阶段学习知识的多少，对知识掌握的好坏，就成为最令人关注的问题，而在这里起决定性作用的因素就是学习方法的选择。从心理学的角度讲，学生的性格类型造成了学生自身学习方法的千差万别，也是学生学习成绩高低不同的重要原因之一。作为教师，如果能根据学生的不同性格类型，引导他们选择适合自己的学习方法，就能最大限度地提高学生的学习效果，大大提高学生的学习成绩。

关键词： 目标检测   旋转锚框   位姿估计   机器人抓取  

摘要： 随着机器人技术的不断发展,机器人已被广泛用于社会的各个领域,小到儿童玩具,大到空间站上安装的多轴机械臂。抓取是机器人应用范围内需具备的基础和重要的功能,而要让机器人能够智能抓取,一个好的抓取检测结果是抓取任务顺利进行的前提。但在物体种类多样,物体摆放不固定存在倾斜,排列密集的非结构化环境下,会降低机器人目标识别与抓取能力。本课题对基于深度学习的目标检测与抓取位姿估计等方法进行了研究,实现了在物体种类多样,方向任意,摆放密集场景下机器人多目标识别与抓取方法,并在相关场景下开展了机器人抓取实验。主要研究工作如下:(1)设计了机器人视觉抓取系统整体框架。完成了视觉感知系统双目相机的内参标定以及机械臂与相机的手眼标定。(2)基于Retinanet目标检测网络,对其特征金子塔层进行了修改,使用PANet替换了原网络的FPN,并在网络中加入了注意力机制CBAM,使得网络能更好的对密集场景下的物体进行识别和定位。为了在物体长宽比大,存在倾斜和密集排列的情况下有效的将目标与背景分离,本文在预测部分加入了对角度的预测,使水平锚框变成了旋转锚框。通过引入KFIoU,解决了旋转框回归时带来的边界问题和类正方形问题,KFIoU也能够使度量和损失保持一致。基于自建的物体密集场景数据集开展了多目标识别和定位测试实验,测试精度达到了91.8%,优于原网络,验证了改进模型的有效性。(3)对机器人抓取检测方法进行了研究。通过引入有向箭头抓取模型(Oriented Arrow Representation Model,OAR)来表示对象的抓取配置,为了避免角度冲突和简化标记,将同一位置的OAR模型用自适应抓取位姿属性模型(Adaptive Grasping Attribute Model,AGA)进行建模。引入了AFFGA-Net像素级抓取位姿估计网络,在AFFGA-Net的基础上做了部分修改,我们用Resnet50网络替换了原网络的Resnet100,加快网络的运行速率,其次将混合空洞空间金字塔层的下金字塔层的空穴率设置为{3,4},避免大的空穴率导致信息利用率低,局部特征丢失。对康奈尔数据集也做了重新标注,并用重新标注的数据集对网络模型进行了训练和测试,取得了96.3%的抓取检测精度。(4)搭建机器人抓取实验平台,将目标检测网络和抓取检测网络结合,完成抓取算法设计。设计了单物体一次抓取实验和多物体整体抓取实验,对算法性能和机器人抓取可靠性进行了测试验证。本课题提出的目标检测和抓取检测方法,能够有效的在物体密集,倾角任意,姿态随意的场景下实现物体的识别定位和位姿估计,有助于提高基于视觉的机器人抓取的智能化水平,为机器人在装配,分拣和服务等相关领域的应用提供了一定的价值。

关键词： 城市生活垃圾   集成学习   超参数优化   预测  

摘要： 城市生活垃圾问题是人类面临的普遍性问题之一，事关人口、资源、环境能否协调发展。城市生活垃圾产生量是城市管理者处理生活垃圾相关问题的重要参考数据，对其进行准确预测可为城市管理规划提供决策依据。目前对于生活垃圾产生量预测问题的多数研究均采用数理统计方法，且采用的大多数模型仍存在准确性不足的问题，以及部分研究选取的影响因素不够全面。因此，本文将集成学习模型引入生活垃圾产生量预测研究中，旨在对未来生活垃圾产生量进行准确预测，给政府有关部门提供可靠的数据参考。 本文以云南省2010-2020年城市生活垃圾数据为例，从城区建设、经济建设、人口结构、交通能源以及环卫建设五个方面选取城市生活垃圾产生量影响因素。首先，通过描述性统计分析观察各变量的分布特征，了解数据的缺失值情况；其次，进行数据预处理，通过特征选择提取出重要变量；最后，按照训练集与测试集为8：2的比例划分数据集，分别构建GBDT、XGBoost、RF、AdaBoost和LightGBM五个集成模型，同时采用随机搜索、粒子群优化与贝叶斯优化三种方法对模型重要参数进行调整，并选取RMSE、MAE、R2作为模型评价指标。　　实验结果显示，在参数寻优方面，贝叶斯优化的调参效果显著优于随机搜索和粒子群优化。经贝叶斯优化调参后，GBDT、XGBoost、RF模型对训练数据具有极高的拟合能力，其中RF模型在测试数据中表现最优，其R2、MAE、RMSE分别为0.9950，1.7385，2.6233。同时，RF在面对新数据时具有较强的鲁棒性，其标准差为0.0098，R2为0.9835。综上所述，基于贝叶斯优化算法的随机森林模型对云南省城市生活垃圾产生量具有更好的预测效果。最后本文结合特征重要性和Tree SHAP方法对贝叶斯优化后的随机森林模型作出个性化解释，基于影响因素分析提出相关建议以供参考，这对云南省城市生活垃圾管理具有一定的参考价值。

摘要： 与象形文字的字形侧重表意不同，英文是表音文字，与发音联系非常紧密，字母及字母组合在英语单词中的发音方式较为固定，这一特点推动了单词自然拼读教学法的产生。时至今日，欧美国家基础阶段的英语教学已普遍采用自然拼读法，我国一些小学也开始了这方面的尝试。由于英语在我国属于外语的范畴，因此，应当对应用自然拼读法的利弊，以及如何更好地将这种方法应用于我国小学英语教学等问题展开深入研究。

关键词： 知识图谱   知识表示学习   图注意力网络   注意力机制  

摘要： 近年来,人工智能和互联网技术蓬勃发展,精准高效的从海量数据中抽取高价值的信息变得越来越重要。知识图谱作为一个将知识用结构化的方式存储的语义知识库,它使用图模型表示现实世界中的实体及实体间的相互关系,能够帮助人们快速的进行知识检索与知识推理。针对基于图神经网络的知识表示学习模型采用堆叠多层网络的方式间接聚合高阶邻域信息,造成高阶邻域信息的丢失和带来噪声的问题,本文提出一种在单层网络中直接聚合高阶邻域信息的知识表示学习模型KE-GAD,KE-GAD模型对GDC模型进行改进,在GDC模型中加入注意力机制,从而能够在单层网络中使用注意力机制直接聚合高阶邻居实体的信息,并对GDC网络增加上下文感知机制,学习融合高阶和低阶邻居实体信息的实体嵌入向量。针对GDC模型没有关系学习机制的问题,增加了关系学习机制使其适用于知识图谱表示学习。本论文在多个数据集上对KE-GAD模型进节点分类和链接预测实验,实验结果表明KE-GAD模型相比于只使用实体信息的模型可以取得更好的效果。针对KE-GAD模型与融合了其它信息的模型对比时,知识表示学习效果不理想的问题,本论文提出了基于注意力机制的多信息融合表示学习方法Multi-Info KE。首先,该方法基于注意力机制,对三元组的翻译特性信息、关系信息和三元组描述信息进行编码,得到融合了这三种信息的实体特征向量;然后,为了聚合高阶邻居信息,将经过编码后获得的三种实体特征向量和输入网络的实体特征向量分别输入KE-GAD模型,聚合高阶邻域信息并进行实体嵌入向量和关系嵌入向量的学习;最后,将KE-GAD模型输出的实体嵌入向量和关系嵌入向量送入知识表示学习解码器进行信息融合生成最终的实体和关系嵌入向量并计算三元组得分。本论文在WN18RR和FB15K-237数据集上验证了多元信息编码模块的信息编码能力,以及融合多元信息用于知识表示学习的效果。实验结果表明,融合多元信息能够有效提升知识表示学习的效果。