关键词： 强化学习   深度学习   潜在空间   状态表示   动作表示  

摘要： 深度强化学习(DRL)是实现通用人工智能的一种有效学习范式,已在一系列实际应用中取得了显著成果。然而,DRL存在泛化性能差、样本效率低等问题。基于深度神经网络的表示学习通过学习环境的底层结构,能够有效缓解上述问题。因此,基于潜在空间的深度强化学习成为该领域的主流方法。系统地综述了基于潜在空间的表示学习在深度强化学习中的研究进展,分析并总结了现有基于潜在空间的深度强化学习的方法,将其分为潜在空间中的状态表示、动作表示以及动力学模型进行详细阐述。其中,潜在空间中的状态表示又被分为基于重构方式的状态表示方法、基于互模拟等价的状态表示方法及其他状态表示方法。最后,列举了现有基于潜在空间的强化学习在游戏领域、智能控制领域、推荐领域及其他领域的成功应用,并浅谈了该领域的未来发展趋势。

关键词： 特定辐射源识别   深度学习   小样本学习   电磁信号  

摘要： 随着第五代移动通信、物联网等技术的普及,辐射源数量与类型都呈现井喷式增长,这导致基于统计特征与机器学习的传统特定辐射源识别技术的识别性能难以达到实际应用水平。近年来,深度学习在计算机视觉、自然语言处理等领域表现出的高超性能启发了大量研究者将深度学习用于特定辐射源识别问题,并且取得了丰硕的研究成果,验证了基于深度学习的特定辐射源识别方法的有效性。数据是深度学习的三大支柱之一,这意味着基于深度学习的特定辐射源识别方法在训练阶段通常也需要海量、高质量电磁信号样本,但是在复杂多变的电磁环境中获取海量、高质量的电磁信号样本,并对其进行标注是十分困难并且成本高昂的。为此,部分研究者将目光聚焦在小样本特定辐射源识别问题上。为了揭示面向特定辐射源识别的小样本学习方法现有水平,推动小样本场景下的特定辐射源识别方法的研究与发展,文章系统地调研并综述了近年来国内外面向特定辐射源识别的小样本学习方法。首先,将已有的小样本特定辐射源识别方法根据有无辅助电磁信号样本对其进行分类,并进行问题描述;然后,分别综述已有的研究工作;最后,进行相关实验仿真并分析了存在的问题与未来的方向。

关键词： 知识蒸馏   相互学习   特征精炼   学生网络   辅助网络   自我蒸馏   视觉任务  

摘要： 为解决相互学习中两个小型学生网络在训练过程出现图像局部信息丢失,造成单个学生网络接收精炼特征图不完整的问题,提出基于知识蒸馏的特征精炼相互学习方法。通过对每个学生网络配备辅助网络,提供精炼特征映射和软标签,保留特征的局部信息,为学生网络之间相互学习传递精炼提取知识,提高视觉任务适用性。实验结果表明,在细粒度视觉分类任务公开数据集和基准数据集下的准确率与深度相互学习和自我知识蒸馏方法相比均有明显提升。

关键词： 多智能体系统   深度强化学习   深度多智能体强化学习   通信   意图共享   协作  

摘要： 近年来,强化学习技术在连续决策问题上展现出了强大的能力,成为机器学习领域的一个重要分支.通过强化学习技术在多智能体系统下的发展和研究,多智能体强化学习技术有望成为群体智能行为涌现的关键技术手段,但在现阶段仍有诸多科学问题亟待解决.在多智能体强化学习领域,如何提高智能体在协作场景下的合作能力一直是一个热门研究话题.通信被认为是实现多智能体高水平协作的重要元素,因此有不少研究尝试从通信的角度入手,让智能体通过交流来实现更好的协作.现有的大部分与通信有关的多智能体强化学习领域的工作关注于部分可观测问题,在这些工作中智能体通过通信信道共享了部分局部观测.最新的一些研究开始关注如何让智能体通过共享意图来实现更好的协作.然而,在不加限制的意图共享框架下,若智能体的最终行为与原先的意图不符,则可能会对其它智能体产生误导,此时引入通信反而产生了负作用.因此需要一个新的多智能体意图共享框架,在有效利用意图信息的同时避免出现智能体间的意图误导.针对上述问题,本文基于交流意图的思想,提出了一个新的多智能体强化学习意图通信框架2SIS.在2SIS框架下,智能体在决策前需要进行两次通信,第一次通信传播意图信息,第二次通信传播意图依赖关系.两次通信结束后每个智能体各自建立起意图依赖关系图,为了避免出现意图误导,对于意图依赖关系图上被依赖的智能体,2SIS禁止其基于其它智能体的意图进行重新决策,其最终决策即为其初始意图,仅有不被依赖的智能体被允许基于意图信息重新决策.2SIS可以与任意基于值函数的强化学习算法结合实现训练.在2SIS框架下训练的智能体能够学会如何正确地建立意图依赖关系从而实现单向的意图传播,并且不存在意图误导问题.我们选用较具代表性的Double DQN算法作为基算法,在两个多智能体场景下验证了所提出方法的有效性.有效性实验结果表明,相比于无通信以及广播式通信意图方式训练的智能体,2SIS框架下训练的智能体在收敛速度以及最终累积奖赏上有明显提升.为了验证性能的提升来自于本文提出的方法,我们额外组织了消融实验,对方法的关键部分进行了控制变量,消融实验的结果说明2SIS框架下训练的智能体能够正确选择依赖对象是性能提升的关键.最后我们组织了参数实验来说明本文引入的超参数会对训练过程产生怎样的影响以及如何为该参数选取一个合适的值.

关键词： 生产安全   皮带运输机   目标检测   计算机视觉  

摘要： 为了能够及时对煤矿运输皮带的故障进行检测,文章研究一种用于煤矿运输皮带机故障检测的机器学习方法。在对皮带故障检测图像特点分析的基础上,以基于ShuffleNet V2改进的YOLOv5网络建立了煤矿运输皮带的故障检测网络。针对因工作环境导致的图像质量问题,在网络前部加入了图像预处理模块。同时,为了减小模型体积,提高检测速度和效率,对加强特征提取模块和多尺度特征融合模块进行了改进。实验结果表明,煤矿运输皮带故障检测网络的mAP值达到0.896,实现了较高的检测精度;同时检测速度可达32.2帧/秒,满足工业现场对实时检测的需求。

关键词： 拍动翼型   实验流体力学   强化学习   机器学习   效率优化  

摘要： 将深度强化学习方法应用于水洞实验,实现了实验室内的自动闭环优化框架,并用该框架优化了雷诺数R_(e)=1.3×10^(4)下纯俯仰运动的NACA0012翼型模型的推进效率。现有的相关研究往往将运动模式限制为某种周期性函数,具有局限性。借助于强化学习方法,实现了在更广的非周期动作空间中的动作搜索。在实验中,模型自动地与水洞环境进行交互,最终学习到了高效推进的非周期运动策略。另外,通过修改奖励函数,实现了在给定推力阈值以上的效率优化。研究结果显示,强化学习模型可以在实验过程中通过不断调整拍动动作的幅度和频率来实现推进效率的持续提升,并且最终通过强化学习方法获得的最优拍动动作均与正弦拍动动作接近,得到的最优推进效率基本位于同等幅度正弦动作效率的上边界。研究展示了强化学习方法用于复杂流动控制问题的可行性。

关键词： 学科实践   探究虚假化   学习方式   知行一体   合作共进  

摘要： 作为核心素养时代育人新范式,学科实践不是替代而是超越了探究学习。这种超越主要集中在对探究虚假化的纠正上,具体表现为学科实践在活动目标层面以自身目的的明确性和学科具体性而纠正探究学习的盲动化,在活动内容层面以自身的知行一体性而纠正探究学习的形式化,在活动路径层面以自身的复调性、多维性和知行一体性而纠正探究学习的程式化,在活动客观性层面以自身可为实在存在提供最佳本体论证明和为符合真理论与客观理解论提供坚实价值依据而纠正探究学习的主观化,在活动社会性层面以自身突出的内在社会性而纠正探究学习的个人化。

关键词： 产品设计教学   材料体验   感官体验   学习方法  

摘要： 在产品设计教学中,为了提高学生对材料知识的理解,可以在教学中引入材料体验学习方法。该方法着眼于视觉、触觉和感性三个方面,旨在通过多维的体验帮助学生更全面地认识不同材料的特性和工艺。通过文献研究,文章探讨了材料体验在产品设计教学中的运用及价值,同时分析了视觉体验、触觉体验和感性体验三种具体方法,并用案例说明了如何应用这些方法。研究表明,材料体验教学可以提高学生的材料视觉识别能力、材料性能理解能力和材料创新应用能力。三种体验方法各有侧重点,共同培养了学生对材料的整体认识,以期能为产品设计教学提供有益的教学方法。

关键词： 语文学习   跨学科   意义   实施路径  

摘要： 跨学科学习已成为基础教育界越来越热门的话题,且已成为《义务教育语文课程标准(2022年版)》中的一个学习任务群。基于以语言为本位、教学评一体化、连接学生实际生活三大理念,要通过统整学习情境、基于学科情境两大方法,实现初中语文跨学科学习。为此,要明确跨学科学习的意义和面临的困境,进而探究语文跨学科学习的实施途径。

关键词： 噪声标记学习   长尾学习   噪声长尾学习   样本重加权   负学习  

摘要： 噪声标记学习方法能够有效利用含有标记噪声的数据来训练模型，显著降低大规模数据集的标注成本。现有的噪声标记学习方法通常假设数据集中各个类别的样本数目是平衡的。然而，在许多真实场景下，数据往往存在噪声标记，且数据的真实分布具有长尾现象，这导致现有方法难以设计有效的指标，如训练损失或置信度区分尾部类别中的干净样本和噪声样本。为了解决噪声长尾学习问题，提出一种基于负学习的样本重加权鲁棒学习算法。具体来说，根据模型对头部类别和尾部类别样本的输出分布，提出一种新的样本权重计算方法，能够使干净样本的权重接近1，噪声样本的权重接近0。为了保证模型对样本的输出准确，结合负学习和交叉熵损失使用样本加权的损失函数训练模型。实验结果表明，在多种不平衡率和噪声率的CIFAR-10以及CIFAR-100数据集上，所提出方法相较于噪声长尾分类的最优基线模型TBSS (Two Stage BiDimensional Sample Selection)，平均准确率分别提升4.79%和3.46%。