关键词： 图像混合   对比学习   开放世界半监督学习  

摘要： 随着深度学习的发展,计算机视觉模型如何从无标签图像数据中学习知识和如何识别来自未知类别的图像数据受到了广泛的研究。本文主要针对对比学习和开放世界半监督学习这两个研究方向提出了创新的方法,以提高模型上述两方面的能力,并进行了大量的实验验证了方法的有效性与鲁棒性。 在对比学习方面,现有的对比学习方法的主流思路是探究图像数据的不同数据增强之间的相似性和差异性。然而,传统的数据增强方法并不能为模型提供较困难的数据用于训练。对此,本文引入了一种更强大的数据增强方法——图像混合,用于为模型提供更难以识别的数据,进一步迫使模型理解这些具有挑战性的样本。这种策略使得模型能够接触到更多变化的数据样本,并保持对它们的预测不变,从而显著提升了模型的辨识力。广泛的实验表明,这种方法不仅显著提升了对比学习的性能,而且在多个大规模数据集上也展现出与最先进方法相媲美的竞争力。 对于开放世界半监督学习任务,本文提出了一个简单的统一框架。通过利用SinkhornKnopp算法,本框架解决了模型只能识别已知类别而不能识别未知类别的问题。此外,本框架获取来自两个不同视图的图像输入,并在统一优化过程中加入使用图像混合这一数据增强的图像用于训练,以提高模型的泛化性与鲁棒性。本文在CIFAR-10、CIFAR-100和Image Net-100等基准数据集上的测试结果验证了该框架的有效性,表明其性能超越了当今最先进的方法。 总之,本文提出的创新方法在对比学习和开放世界半监督学习方面均表现出色,不仅为未来研究提供了新的思路,也展示了其在实际应用中的巨大潜力。

关键词： 跨学科学习   初中数学教育   综合能力  

摘要： 跨学科学习方法在初中数学教育中扮演着至关重要的角色。通过将数学与其他学科相结合，这种方法有助于培养学生的综合能力，提升其解决实际问题的能力。跨学科学习鼓励学生从多个视角理解数学概念，促进创造性思维的发展。这种学习方法可以激发学生的学习兴趣，提升学习动机，从而提高课堂参与度和学业表现。文章探讨跨学科学习在初中数学教育中的应用，分析其实施策略及效果，为提升教学质量提供新的思路。

关键词： 概念漂移   软件测试   持续集成   强化学习   测试用例优先排序  

摘要： 强化学习是软件持续集成测试用例优问题的有效解决方法。但是随着软件开发阶段的演进,测试目标会动态调整,不同持续集成周期的测试用例也会做出适应性变更。这将导致强化学习环境在不同持续集成周期下动态变化,使强化学习智能体的现有策略失效,降低持续集成测试效率,即出现了概念漂移问题。 针对持续集成测试用例优先排序中的概念漂移问题,本论文首先从数据驱动的角度挖掘并分析智能体决策能力的变化信息,提出了基于回报的概念漂移检测方法,从而实现对概念漂移问题的检测。本论文进一步提出了适应性智能体训练方法,在检测到概念漂移后立即重训练智能体,确保智能体能够高效适应不断变化的环境。 其次,本论文从知识驱动的角度将软件测试领域的先验知识融入到智能体的决策过程中,提出了规则嵌入式智能体方法,以提高智能体的决策能力。本论文进一步将先验知识融入到奖励函数的设计中,提出了附加奖励机制,以指导智能体的更新并进一步提高智能体的决策能力。 最后,本论文融合数据驱动的方法与知识驱动的方法,提出了一个适应性强化学习框架,以有效检测概念漂移问题并及时调整智能体的决策规则,增强智能体对变化环境的适应性,提高持续集成测试效率。 本论文使用12个工业数据集进行实证研究,结果表明本论文提出的方法可以有效地检测并缓解概念漂移问题,提高持续集成的错误检测效率。与经典的RETECS框架相比,适应性强化学习框架在TTF指标上提高了84.06个位置,将第一个可检测到错误的测试用例排在测试执行序列的前5位,并在NAPFD指标上提高了14.74%。

关键词： 强化学习   深度强化学习   值函数估计   熵正则化   探索  

摘要： 随着深度学习的发展,深度强化学习通常使用神经网络来表示价值函数,价值函数是用于对某个时刻的状态-动作进行价值估计的函数。当价值函数的估计受到噪声影响时,可能会对某个状态-动作的价值估计进行高估或者低估,并且这种估计偏差会随着更新迭代的过程不断累积,影响智能体的策略学习,最终导致智能体的性能下降。并且随着深度强化学习的应用越来越广泛,它所面临的环境也越来越复杂,如果没有好的方法引导智能体来探索环境,那么会极大地降低学习的速度或者使策略陷入局部最优。因此,价值函数的准确性是影响智能体性能的关键因素之一,并且策略的探索能力也大大影响着整个学习过程的速度与最终的性能。 当前,大多数基于价值函数的深度强化学习方法通过增加函数估计器的数量来缓解高估偏差。这些方法利用两个函数估计器的最小值或多个函数估计器的均值作为更新目标。然而,这些方法只是通过模拟噪声分布,从而减少噪声的引入。并且真实的噪声是很难通过模拟来准确计算的,所以这些方法只能在一定程度上缓解高估偏差,同时还会引入低估偏差。除此之外,这些方法还未对如何增强智能体的探索能力进行深入研究。针对上述问题,本文提出了一种全新的更新公式,针对不同经验的实际价值与网络估计值的关系,使用不同的权重来纠正估计的时间差分误差。除了降低估计偏差之外,本文还提出了两种适配的增强智能体探索能力的算法。其中一种是熵正则化算法,另一种是双可调节的期望损失算法。这两种算法与本文所提出的降低偏差的算法可以共同协作,从而达到最优的效果。 1)本文提出了一种新的控制估计偏差的算法,称为可调节的期望损失(Adjustable Expectile Loss,AEL)。AEL根据Bellman目标Q值与当前网络估计Q值的大小关系来调整权重,将网络计算的时间差分误差使用不同的权重进行纠正,以达到降低估计偏差的效果。最后,本文通过理论证明和偏差实验展示了AEL算法在控制估计偏差方面的有效性,并且在大部分环境中AEL算法的性能表现远远高于其他基线算法。 2)为了增强AEL算法在高维空间的探索能力,本文还提出了一种基于熵正则化的探索方法的变体,称为可调节的期望损失与熵正则化算法(Adjustable Expectile Loss with Entropy Regularization,AELER),熵正则化通过增加动作选择的随机性,促使智能体更多地探索未知的环境和动作空间。通过性能实验的比较,发现AELER算法在高维环境下的性能优于AEL和其他基线算法。 3)为了更好地控制估计偏差的影响并增强探索能力,提出了双可调节的期望损失(Double Adjustable Expectile Loss,Double AEL)算法作为对AEL算法的改进。Double AEL算法引入了两个AEL网络,并对这两个AEL网络使用不同的可调节参数,来保持它们之间的差异性,网络的差异性可以增强算法探索能力。同时使用两个不同的AEL网络可以综合两个网络的估计偏差,从而实现更准确的价值估计。 本文首先提出了AEL算法,用于解决深度强化学习中的估计偏差。随后,为了增强AEL算法的探索能力,提出了AELER算法,它结合了AEL和熵正则化方法。同时,为了更准确地控制价值偏差,本文还引入了Double AEL方法。这三种算法在价值偏差的控制和探索能力方面都表现出更优越的性能。

关键词： 强化学习   随机系统   最优控制   维纳和泊松噪声  

摘要： 随着对复杂系统和随机现象的深入研究,许多实际系统不仅具有马尔科夫跳变的特性,同时还受到维纳和泊松噪声的影响,而且系统的数学模型往往难以获得甚至根本无法建立,这也为系统的分析和控制带来了巨大的挑战。不同于其他控制方法,强化学习方法不需要系统的具体知识,而是使用系统的状态信息来学习和调整控制策略。因此,针对带有多噪声的连续和离散时间随机系统的最优控制问题,本文基于数据驱动方法设计新的策略迭代学习算法来获得系统最优解,具体内容如下: (1)对于连续时间的随机系统,研究了包含维纳和泊松噪声的随机马尔科夫跳变系统的最优控制。首先,通过It?-Levy公式和完全平方技术推导了系统的随机耦合代数黎卡提方程。然后,利用子系统转换技术和积分强化学习方法,设计了一个部分无模型的强化学习算法,该算法能够在只知道部分系统特性情况下找到最优解。其次,通过系统重构和方程转换,提出了一个无模型的强化学习算法,仅使用状态轨迹信息就能得到最优解,且不受泊松跳跃强度变化的影响。最后通过数值仿真验证了算法的效果。 (2)对于离散时间的随机系统,通过构建Bellman方程和Hamilton函数证明了离散系统的随机代数黎卡提方程。然后,利用系统重构和方程转换,设计了一个无模型的强化学习算法,该算法同样仅利用状态轨迹信息来找到最优解,且不受泊松跳跃强度变化的影响。最后通过数值仿真验证了算法的有效性。 (3)对于所给出的带有泊松跳跃强度λ的随机代数黎卡提方程,设计了一个搜索算法来求解在不同的收敛精度和方程误差下λ的最大值。该算法基于所得到的策略迭代优化方法,不断调整λ值,并根据预设的阈值条件来判断是否找到了最优解。 总之,通过对带有多噪声的随机系统的最优控制研究,不仅拓展了随机代数黎卡提方程解的范围,也为实际系统的分析和控制提供了有效的理论支持。

摘要： 形式聚焦和意义聚焦在英语学习与教学过程中起到了重要作用。近年来，越来越多的专家学者对形式聚焦和意义聚焦进行了研究，形式聚焦教学法也成了教师的常用教学方法之一。词汇学习作为英语学习的重要组成部分，对英语语言知识掌握起到了关键作用。本文结合笔者自身经验，分析研究了当下形式聚焦、意义聚焦现状，并结合英语词汇学习对某职业学校学生进行了比较研究，以探讨形式聚焦、意义聚焦哪一种教学方式方法更适合职业学校学生使用，两者之间哪一种教学理论更为高效，研究结果仅供各位教育者参考。

摘要： 背景2020年，《中央和国家机关工委关于实施中央和国家机关青年理论学习提升工程的指导意见》发布，对青年理论学习提升工程进行了总体规划和部署，鼓励创新学习形式，加强交流互鉴，强化重学尚学氛围。2023年，《国务院办公厅关于推动疾病预防控制事业高质量发展的指导意见》发布，强调疾病预防控制体系是保护人民健康、保障公共卫生安全、维护经济社会稳定的重要保障。要从加强人才培养、优化人员配备、完善人才使用与评价体系、健全人员激励机制等方面加强人才队伍建设。

关键词： 弱监督学习   噪声标签学习   监督对比学习   原型对比学习  

摘要： 深度神经网络在人工智能的多个领域以及其中的各种下游任务中取得了重大成功,它将图像或文本编码为密集的特征表示,并利用大量准确的标记进行监督训练。这些海量的精确标注数据成为深度神经网络成功的主要原因,然而数据的精确标注需要耗费大量人力物力,所以需要得到大规模易于收集的廉价数据实例,用来进行监督训练。然而这些实例没有经过专家的注释,不能保证正确性,因此可能包含许多错误标记的实例,这些错误的标记被称为噪声标签,其存在会降低模型的训练准确性。如何利用这些噪声标签来进行监督训练的学习,并避免噪声标签对网络模型的训练带来干扰,这样的学习过程被称为噪声标签学习。 一些成熟的方法总是使用交叉熵损失进行监督预测,但这样会使DNNs（Deep Neural Networks）没有考虑学习隐藏空间中的判别特征表示,许多方法总是丢弃被认为带有噪声标签的数据,导致判别信息的缺失,因此他们不能在高噪声比例的噪声数据集上收敛。虽然采用对比学习的一些方法能够从隐藏空间进行学习,但同样对正负样本对进行了筛选,部分数据特征无法被模型完全学习,导致结果是次优的。为了在噪声标签存在的情况下学习稳健的特征表示,已有的监督对比学习方法取得了一定的成果,但也存在一些问题:第一,不能充分利用样本中的有效信息;第二,在监督对比学习的方法下训练后期容易受到噪声的影响,导致边界困难数据的分类产生错误。 针对以上两个问题本文提出了一种新的训练算法,一种带校正标签的监督对比学习（Supervised Contrastive Learning with Corrected Labels,SCL2）来消除噪声标签的负面影响,模型算法包括两部分:第一,利用网络前期倾向学习正确样本的特性,对训练样本的标签进行校正,确保模型收敛和软标签足够准确,使监督对比学习在隐藏空间中能够有效的学习;第二,生成并维护了类原型,使原型对比学习在类层面保证全局判别,保证准确的原型特征被网络模型学习,提高模型在类间的分类能力,在训练后期使类边界数据准确分类,进一步提高模型的泛化性。本文的具体工作如下: 1.构建了一种带校正标签的监督对比学习SCL2算法模型,模型由两部分组成: （1）监督对比学习的实施需要准确的标签,为确保这一学习过程不受噪声标签的影响,能够对所有的训练数据进行学习,使模型能够在高噪比的情况下也能保证分类效果,通过对每个训练样本的给定标签和历史预测标签进行加权,改善损坏的监督信息,得到准确的软标签作为监督信息,使神经网络提取到的表征能够将局部判别保持在一个小批量数据中进行计算,从而保证模型能够从全部训练数据中提取判别信息,避免丢弃数据带来的信息损失,同时扩展的正样本对数量也能有效促进监督对比学习,从而能够达到对噪声标签的抵抗能力,达到预期的分类目标。 （2）为了确保原型特征的准确性能被网络模型充分利用,使提取到的特征判别表示能被完全学习利用,以保证全局判别,提高网络的泛化性能。本方法为每个类别维护一个生成的原型特征表示,每一种特征表示都隐含了每个类特有的特征判别信息,并且引入了动量更新的方式来维护原型,保证了原型特征的准确性。在训练的中后期,当模型能够提供准确标签的情况下,通过使得每个训练样本与其标签对应的原型更加接近,同时与其他标签对应的原型相距较远,来进一步提升边界数据的分类准确性。 在训练前中期,为了保证模型的正常收敛和拟合,只使用模型第一部分进行训练,模型可以学习到全部训练数据的判别信息,同时校正标签的准确性保证了对比学习在隐藏空间中的学习能力;等训练中后期,再加入原型对比学习,当模型训练困难数据时保证监督对比学习不受噪声标签的影响,使模型的鲁棒性和泛化性得到进一步提升。 2.实验验证:为了验证本文的SCL2方法相对于其他方法的有效性,在实验部分本文与Forward、GCE、Co-teaching、SECL、CLC等已有的经典解决噪声标签学习问题的方法进行比较,在CIFAR-10、CIFAR-100模拟真实世界噪声标签数据集上在两种模拟噪声类型以20%,40%,60%,80%噪声比例的设定下进行了实验,以及在Clothing1M、ANIMAL-10N真实世界数据集上进行了实验并对实验结果进行了分析,实验结果表明SCL2方法在众多基准数据集上表现优异,展示了其在各种标准化评估场景中的有效性。同时,本文还进行了消融实验和一系列参数实验,验证了SCL2方法的每一模块都是有价值的,不可或缺的。

关键词： 导纳控制   轴孔装配   双臂协作   深度学习   强化学习   先验知识  

摘要： 工业机器人在零件装配领域已经得到广泛应用,但是随着产品多样性和定制化需求的增加,轴孔装配任务变得更加复杂和不确定,传统控制方法已无法满足生产线的柔性装配需求。本文面向工业机器人的非结构化装配场景,针对轴孔装配过程中,轴孔间接触复杂、位置和姿态存在不确定性的柔顺装配问题,双臂夹持轴孔零件协作完成轴孔装配任务。本文研究基于深度学习和强化学习的工业机器人柔顺控制方法,增强轴孔装配过程中机器人的鲁棒性和适应性,提高机器人轴孔装配的自动化装配水平,为智能制造赋能。 本文的主要研究工作包括以下三个方面: 1)搭建了工业机器人双臂协作柔顺装配平台。结合六维力传感器,对末端重力大小和重心位置进行参数辨识,并通过重力补偿消除末端重力对轴孔装配接触力的影响。采用基于速度的导纳控制方法,开展拖动示教实验验证导纳控制的有效性。对Real Sense相机和UR5机械臂进行了手眼标定,基于视觉图像设计圆孔识别视觉引导定位方法,为之后的轴孔装配工作提供了实验基础。 2)针对装配过程中轴孔间姿态存在较大偏差的问题,提出了一种基于时序力信息的倾斜底座姿态调整方法。结合一维卷积提取短期时序特征和门控循环单元提取长期时序特征的特点,建立输入时序力和输出导纳参数的模型映射,通过导纳控制柔顺调整姿态,双臂协作完成姿态不确定性的钥匙开锁过程,并与其他基准算法的分类效果进行对比,所提出方法分类准确率最高达99.5%,实物成功率平均94%,验证了本文方法的有效性。 3)针对装配过程中轴孔间存在位姿不确定性,以及不同形状轴孔零件影响装配效果的问题,提出了一种基于先验知识的强化学习位姿调整方法。对双平滑多通道深度Q网络进行改进,利用先验知识,通过参数化动作空间定义不同的装配技能动作。结果显示,结合先验知识可以提高强化学习的学习效率,增强对环境不确定性的自适应性。最后迁移到双臂协作轴孔装配实验,相比改进前,改进后方法装配时间平均减少1.8s,成功率平均提升5.25%,最高达89%。