关键词： 人工智能   强化学习   模仿学习   经验回放   图像特征提取  

摘要： 近年来,AI在游戏领域展现出了惊人的能力,游戏为AI提供了模型检验的平台,同时AI的成功也反推动了游戏的进步,它们形成了一种互补互助的关系。强化学习可以基于对游戏环境的不断探索,持续性的提高自身策略表现,但是在很多非稠密奖励游戏环境中需要经过大量的随机探索才能学习到一个可行的策略,训练时间成本与算力资源消耗巨大。针对此问题,可以利用模仿学习方法使用专家轨迹数据,快速学习到一个基础策略,但无法持续优化自身策略达到超过专家策略的表现。本文针对因为奖励设计稀疏而难以训练的游戏环境,在收集了专家轨迹数据的基础之上,探讨了强化学习和模仿学习的结合运用和改进方法。并针对基于图像特征输入的强化学习游戏环境,提出了一种特征提取模块的改进方法。主要工作涵盖以下几个方面: 1.本文使用了SAC＿AE(Soft Actor-Critic with a regularized autoencoder)和GAIL(Generative Adversarial Imitation Learning)相结合的方式进行训练,在强化学习训练的同时,利用专家轨迹数据得到专家额外奖励的方式更高效的引导智能体进行探索,在加速智能体策略提升的同时,还可以很好的学习到专家轨迹数据中的风格化策略。并且可以在快速习得可行策略后,利用环境奖励对策略进行持续的优化提升,从而使得智能体表现可以超过专家策略表现。 2.在训练的过程中,采用了一种由专家轨迹指导的策略搜索方法,由于本文采用了基于离轨策略的强化学习算法,故可以在经验池中以较小的比例回放专家轨迹数据,使得智能体有一定机会直接接触到较优的状态-动作,以便更高效的学习价值网络的同时提高算法的稳定性。 3.提出了一种利用强化学习训练中产生的动作信息辅助特征提取模块进行训练的方法,可以使得智能体更加关注哪些对其做出决策有帮助的特征信息,使得智能体在基于图像输入的游戏环境下可以更高效的进行训练。 4.设计了一款基于坦克大战的强化学习仿真游戏环境,可根据不同强化学习算法,选择单智能体或多智能体任务、连续动作空间或离散动作空间设计、图像特征输入或内部单位特征输入等,定制不同的学习场景并进行强化学习算法验证。

摘要： 在这个充满机遇的时代，STEAM教育已成为幼儿教育的重要组成部分。通过观察甘肃省秦安县第三幼儿园幼儿在STEAM相关活动中的表现，我意识到在这些活动中，孩子拥有无限的潜能，往往能冒出许多令人感到惊奇的绝妙想法；但在面对有挑战性的项目时，孩子又容易出现既好奇又畏惧的复杂心理。如何更好地引导幼儿在STEAM教育中建立自信，勇于探索和尝试，成为我思考的重点。以下，

关键词： 意义   意义之教   跨学科主题学习   学习设计  

摘要： 自2022年基础教育课程方案颁布以来,一种为实现课程协同育人,落实学生核心素养培育,促进教师教学方式优化的新型学习方式——跨学科主题学习以鲜明的方式表达出来。然而,教师在教学实践中往往陷入理解误区,逐渐走向学习主题选取泛化、学习内容组织零散以及学习评估方式无效化等现实困境。深究其因,一来深受传统分科课程教学模式中“学科至上”的长期影响,二来基于跨学科主题学习的知识储备以及教学经验严重匮乏,致使教师将跨学科主题教学看作是分科教学的附庸,因而对待跨学科主题教学的实施与运用,长期处于意志不坚定、认同度不高的状态。这种意义感的缺失致使跨学科主题学习目标到学习评价的过程安排都对学生构不成意义,学生无法体会跨学科主题学习的价值所在。鉴于此,本研究以意义学习作为理论基础,通过寻求有意义的跨学科主题学习的内在属性,明晰跨学科主题学习辅助于分科学习的独特价值,探求意义之教的跨学科主题学习设计的可行路径,旨在彰显跨学科主题学习的综合育人理念。 基于以上分析,本研究主要有以下三个方面: 第一,本研究立足“学生”“教师”以及“跨学科素养”三个视角,明确跨学科主题学习走向意义之教的价值所在。首先,意义建构是学生实现跨学科知识理解的过程。学生存在于寻求意义的经验世界中,学科知识的内核指向意义,而知识的跨越得以实现,正是基于学生对意义的理解。其次,意义追及促进教师以生为本的人文关切。跨学科学习主题的选择离不开教师对学生生活意义的回归、问题的设定脱离不开对学生思维价值的关照、内容的选择与组织更是需要指向学生人生意义的关怀。最后,跨学科素养与意义学习互通互融,学生的跨学科素养在意义之教的跨学科主题学习中得以生成。 第二,分析当前跨学科主题学习的意义迷茫之境,围绕“意义主体”“意义环境”以及“意义建构过程”澄清有意义的跨学科主题学习的内在属性。当前的跨学科主题学习,学习目标缺乏对学生跨学科学习动机的唤醒,学习内容阻碍对学生跨学科思维的激活,学习过程缺失符号概念与意义体验之间的联系,学习评价遮蔽了学生对跨学科学习价值的反思超越。对此,需要通过意义追寻,澄清追求意义为本质特征的跨学科主题学习的内在属性。具体体现在:意义主体实现“聚合化”跨学科体验,意义环境营造“具身性”跨学科氛围,意义建构实现“系统化”跨学科过程。 第三,本研究尝试建构意义之教的跨学科主题学习设计路径,并围绕具象化的学习主题设计有意义的跨学科主题学习的应然路径。有意义的跨学科主题学习设计应当立足系统观对各学习要素进行整体规划。学习目标层面,通过挖掘多维育人价值的跨学科主题学习目标类型,以素养发展要求、课程标准、教材内容以及基本学情作为目标确定依据,构建有明确意义的跨学科主题学习目标;学习内容层面,以学习主题为核心、学习目标为指引作为内容选择依据,构建内外意义联动的跨学科主题学习内容体系;学习过程层面,总结实现跨学科主题学习活动的构成要素,构建具有深化意义的跨学科主题学习活动过程;学习评价层面,通过阐明有实效意义的学习评价价值指向,建构有实效意义的跨学科主题学习的评价机制与可能路径。 总之,走向意义之教的跨学科主题学习,是唤醒学生对于学科知识丰富性内涵的意义理解和探索过程。这一过程学生扮演着中心者身份,学习者在知识理解与思维迁移的运用中,不断体悟客观知识的育人价值,感知浩瀚知识的广阔性和认知的无边性。唯有将客观知识与个体真实的经验世界联系在一起,在解决真实性问题中不断发掘个体的个性化理解,才能使学习者不断追寻到属于自己的人生价值与存在意义。

关键词： 联邦学习   个性化联邦学习   非独立同分布   层次聚类  

摘要： 联邦学习(Federated Learning,FL)是一种新型的分布式框架,旨在保护用户数据隐私。它允许用户在不共享数据的前提下,完成全局模型的训练,有效地减轻了隐私数据泄露的问题。然而,联邦学习在处理现实世界中的非独立同分布(non-IID)数据时遇到了挑战,因为non-IID数据会导致模型性能显著下降。为了解决这一问题,研究者们提出了个性化联邦学习(Personalized Federated Learning,PFL),该方法为每个客户端分配一个适合其本地数据分布的个性化模型,以减少non-IID数据对全局模型的负面影响。然而,现有的一些个性化联邦学习方法并未充分考虑边缘端设备的计算能力或云端的存储容量。 鉴于此,本文在不显著增加服务器端存储压力和不过度消耗本地设备计算能力的前提下先提出了基于软预测聚类的个性化联邦学习(Personalized Federated Learning Based on Soft Predictive Clustering,SCPFL)算法。此算法旨在优化个性化联邦学习算法,从而更有效地处理non-IID数据。SCPFL算法通过对客户端的平均软预测进行层次聚类,并采用了更合适的度量方法来衡量概率分布间的差异,同时引入了一种新颖的一致性正则项以实现个性化。 然而,SCPFL算法具有潜在的隐私威胁,因为服务器接收到完整的模型参数和平均软预测值可能会被富有知识的攻击者通过成员推理攻击或逆向工程技术利用威胁用户隐私。此外,SCPFL中使用固定数量的层次聚类可能在适应不同数据分布时不灵活,导致聚类效果不理想。因此,本文进一步提出了基于软预测自适应聚类更为安全的个性化联邦学习(Safer Personalized Federated Learning Based on Soft Predictive Adaptive Clustering,SACPFL)算法,该算法采用模型分层架构和自适应聚类技术,并引入了差分隐私技术来增强框架的安全性。 最后本文在三个公共数据集:Fashion-MNIST、CIFAR-10和SVHN上的实验评估显示,本文提出的两种算法在性能上均优于现有主流方法。值得一提的是,SACPFL算法在实际的non-IID设置下的性能显著提高,高达29.35%,尤其在数据分布异质性较强的情况下表现更加突出。

关键词： 最简充分表示   信息瓶颈   变分推断   信息论   自监督  

摘要： 深度学习的发展离不开数据的支持,然而数据中无法避免的噪声和冗余信息导致模型在泛化能力和鲁棒性上的挑战日益突出。在这一背景下,“最简充分”理念提出在保留任务目标信息的同时,需要最小化数据中的噪声和冗余信息,从而提升模型在多种应用场景中的性能。作为实现“最简充分”理念的重要手段之一,信息瓶颈(Information Bottleneck,IB)方法应运而生。该方法通过压缩不相关特征,聚焦于任务相关特征,已被广泛应用于图像分类、自然语言处理和神经网络解释性等领域。 虽然信息瓶颈方法在理论上展现了其价值,但在实际应用中仍面临诸多挑战。首先,脱离简化数据集和简化模型时,信息瓶颈的核心目标难以被有效计算。同时,信息瓶颈及其变体在优化过程中需要在“最简”和“充分性”之间进行权衡,造成目标信息与噪声“一荣俱荣,一损俱损”的局面。这将导致信息瓶颈这一理想化模型难以突破理论范畴,无法部署在实际应用中。其次,信息瓶颈对于目标信息的提纯依赖于输入的标签,这意味着它在无监督环境下无法定义和量化“任务相关信息”与“冗余信息”,因此无法适用于无监督领域及当前主流的自监督预训练模式。最后,由于其所依赖的互信息目标无法有效捕捉几何或拓扑结构,信息瓶颈无法表示和建模非欧几里得空间的数据(如社交网络、基因组数据和交通网络等),这使得“最简充分”理念在数据类型和结构日益多样化的背景下愈发难以实现。 在此背景下,本文基于信息瓶颈理论进行深入探索,围绕真实场景下的分类和分割两大典型任务展开研究,旨在构建高效、通用的“最简充分”视觉模型与其理论基础。为此,我们引入变分推断、知识蒸馏和随机游走等技术,优化信息瓶颈的目标函数,在解耦“最简”与“充分性”之间权衡问题的同时,突破了信息瓶颈在无监督学习和复杂数据环境中的应用限制。此外,本文结合信息论中的编码原理,对图型数据的拓扑结构进行层次化编码,并通过最小熵原则对编码长度进行约束,实现了对非欧几里得空间数据的“最简充分”建模,克服了信息瓶颈在非欧空间建模中的局限性。取得的成果主要包括以下几个方面: (1)首先,本文首先利用变分推断将信息瓶颈目标函数转化为变分形式,并通过理论分析证明该目标等价于输入与输出的条件熵之差,一定程度上解决了信息瓶颈优化难题对实际应用的限制。并且,基于这一发现,本文将信息瓶颈的优化目标等效简化为相对熵,使得模型能够在不直接计算互信息的情况下进行优化,从而规避了高维数据中互信息估计的难题。在保证同构输入“最简充分性”的基础上,本研究进一步用信息熵定义了异构输入间的一致性,将信息瓶颈方法扩展至广义的多视图和多模态学习场景,充分释放了其在有监督模式下的潜力。 (2)其次,本文在前一项成果的理论指导下,提出了一种改进的自监督学习策略,解决了信息瓶颈在无监督场景下无法定义和量化“目标信息”与“冗余信息”的问题。这种将自监督学习目标重构为“最大化样本信息”和“消除扭曲转换带来的干扰”的策略,实现了无监督条件下对“最简充分”概念的重新诠释。同时,这一方法解除了“最简性”和“充分性”之间的耦合性,使模型能够自动提取和区分任务相关信息与冗余信息,有效扩展了信息瓶颈方法在无监督学习和复杂数据环境中的适用性。 (3)在解决欧氏空间中各场景下“最简充分”理论和实践难题后,本文从信息论的角度将这一理念推广至非欧空间数据,特别是针对复杂数据结构和大规模模型,解决了冗余邻接关系造成的低效、敏感等问题。具体来说,本文提出了一种针对图形数据的分层结构随机游走算法,通过压缩平均游走路径的长度来修剪冗余结构,在保留关键拓扑结构的同时实现其最简化。这不仅显著降低了计算复杂度,还增强了模型的泛化能力与可解释性,为构建非欧空间的最简充分视觉模型提供了新的思路。 (4)最后,基于上述研究对非欧空间数据实践的探索,本文结合信息论中的编码原理,提出了一种面向图数据的“最简充分”学习模式,显著提升了模型在面对多源异构,甚至不完整数据时鲁棒性。具体来说,本文首先对每个数据单元按对象和属性类别进行层次化编码,将节点间信息传递过程表示为编码序列。然后,根据信息论中的编码定理,通过熵量化所得编码序列的信息量,进而将离散的拓扑结构转化为连续的表示。最后,通过逼近无损压缩的最小熵获得对该拓扑结构的“最简充分”描述及各数据单元的最优压缩表示。由于该编码具有较强的适应性,此研究不仅为处理复杂和高维数据提供了理论支持,也为构建更为高效的“最简充分”模型奠定了坚实基础。

关键词： 小学生   数学自主学习能力   探究性   学习方法  

摘要： 为了承担起教书育人的责任重担，教师需要注重“简政放权”，不再“全权包办”和照本宣科，以发展的眼光看待学生，将课堂归还给学生，针对性地培养学生的自主学习能力。让学生能够对自己的行为负责，主动理顺思路，自觉完成学习任务，不再依赖于教师或家长。对于小学数学来说，学生自主学习能力的培养非常有必要，能够提升学生的逻辑思维，发展学生的自主独立意识。教师需要始终坚持创新导向，积极尝试多种探究性学习方法，深入浅出地讲解学习技巧，确保学生能够在大胆反思、自主试错和小组合作的过程中理顺数学学习思路，逐步形成自主学习的意识。

关键词： 智能技术   小学语文   课外阅读   学习方法  

摘要： 智能技术能为学生提供更高效的学习方式，扩宽学生的学习空间，给学生提供丰富的学习资源。在小学语文课外阅读教学中应用智能技术，不仅可以帮助学生更好地阅读理解，还能使学生在阅读过程中获得更广泛更全面的知识和方法。本文从智能技术赋能小学语文课外阅读的意义、现状入手，结合教学实践，提出智能技术赋能小学语文课外阅读的基本路径，以期为相关工作者提供有益参考。