关键词： 机器人   操作技能   深度强化学习   感知增强   轨迹重标记  

摘要： 技术的快速进步使得机器人在人们的日常工作和生活中变得越来越不可或缺。机器人操作技能学习作为机器人技术的前沿领域之一，专注于通过深度强化学习等先进技术，使机器人能够在复杂、多样的环境中自主学习和适应。然而，在面对稀疏奖励等挑战时，现有深度强化学习算法在机器人操作技能学习中的应用仍然存在一系列问题，如感知能力弱、模型收敛慢、对新任务适应性低和样本效率低等。本研究致力于通过优化现行深度强化学习方法来应对这些挑战。具体工作如下。　　首先，针对深度强化学习应用在机器人操作技能学习中存在的感知能力弱和模型收敛慢问题，提出了一种感知增强与回顾引导算法（Sensory Enhancement and Retrospective Guidance，SERG）。首先，该算法在现有基于离线策略演员评论家的深度强化学习算法基础上，添加感知网络。在策略网络训练期间，根据内在感知运动奖励联合学习感知网络和策略网络，提高了智能体对环境的感知能力;其次，在价值网络训练阶段，引入回顾性损失来逐步改进价值网络评价动作的性能，有效提高了评论家网络的收敛速度，并引导策略网络进行更准确的策略梯度更新，从而解决了深度强化学习模型收敛慢的问题。　　其次，针对现有深度强化学习算法在机器人操作技能学习中存在对新任务适应性弱和样本效率低的问题，提出了一种基于轨迹效用与保守优势的深度强化学习算法（Trajectory Utility and Conservative Advantage，TUCA）。首先，轨迹重标记策略通过分析不同目标条件下的轨迹效用，动态调整轨迹的任务目标，以此提升智能体对新任务的适应性;其次，引入保守优势学习进一步提高了经验数据的使用效率，通过对奖励函数的重新设计，促使智能体将注意力集中于最佳行动选择，加快学习过程并提升整体性能。　　最后，在 MuJoCo 仿真环境中 Fetch 和 Shadow Dexterous Hand的七个任务，与已有的离线策略深度强化学习算法进行对比实验。结果表明，SERG 算法与 TUCA算法在机器人操作技能学习中展现出了显著的性能优势。

关键词： Logistic回归   随机森林   支持向量机   慢性阻塞性肺疾病   筛检  

摘要： 目的 构建慢性阻塞性肺疾病（chronic obstructive pulmonary disease,COPD）患者筛检模型。方法 采用多阶段分层随机抽样的方法，抽取贵州省≥40岁的常住居民4 587名，对其进行问卷调查、体格检查及肺功能检查。经过单因素分析初步筛选模型纳入变量，经多因素logistic回归确定最终纳入变量。分别应用logistic回归（logistic regression,LR）、随机森林（random forest,RF）、支持向量机（support vector machine,SVM）构建COPD患者筛检模型，使用受试者工作曲线下面积（area under the curve,AUC）评价模型效果。使用delong法检验模型之间AUC的差异。结果 根据多因素logistic回归分析结果，本研究将年龄、14岁前经常咳嗽、哮喘、每日吸烟量（支）、烹饪燃料与排风、有害气体暴露6种因素纳入LR、RF、SVM模型。三种模型训练集AUC分别为73.64%、87.14%、73.30%，测试集AUC分别为76.10%、70.96%、76.08%，均具有较好的筛检效果。Delong法结果显示，三种模型的筛检效果在训练集与测试集均存在一定差异。结论本研究通过年龄、哮喘等6个简单变量建立经济、快捷且有效的COPD患者筛检模型。

关键词： 路面裂缝检测   深度学习   局部强度阶变换   多尺度  

摘要： 路面裂缝检测对于道路科学养护、安全自动驾驶具有重要意义。深度学习在路面裂缝检测领域快速发展,目前已成为路面裂缝检测的主流方法。但至少还存在两方面的问题亟待进一步研究,一是裂缝特征提取质量仍有待于提高,路面背景纹理和干扰的复杂性给高质量特征表征带来较大挑战;二是现有大多数方法对裂缝自身特性等先验知识的挖掘和利用还远不充分,导致现有方法在实际应用中往往难以满足实际需求。由此本文开展新型的深度学习方法研究,通过获取高质量特征表征,充分利用裂缝先验知识,从而改善方法的噪声鲁棒性和推广泛化能力,研究具有重要的理论和现实意义。 本文主要工作如下: 1.针对裂缝特征表征问题,提出了一种基于多尺度注意力深度学习网络的裂缝分割方法。在调查研究和综合对比的基础上,将多尺度注意力和空间注意力模块以及多尺度密集连接集成到U型架构网络中,用于增强所提模型对裂缝的全尺度特征感知和对复杂背景的抗干扰能力。所提方法在Deep Crack数据集上的Dice系数和平均交并比指标分别达到了87.30%和88.01%,在Crack500数据集上达到了74.07%和77.73%。结果表明了相对于Deep Crack、RUC-Net和U2Crack Net等方法,所提方法获得了显著改善的检测性能。 2.针对泛化能力不足问题,提出了一种基于自适应局部强度阶变换（Adaptive Local Intensity Order Transformation,ALIOT）的高鲁棒性路面裂缝分割方法。局部强度阶变换通过基于局部强度变化的相对顺序编码,能够强化图像中的曲线状结构信息。裂缝轮廓往往呈不规则曲线状结构,由此提出采用局部强度阶变换算法提取裂缝曲线状结构先验信息。首先设计了一种自适应局部强度阶变换算法,将捕获的曲线状结构先验信息以孪生图像的形式输出;然后还设计了一个动态卷积注意门控模块,通过动态蛇形卷积增强对裂缝曲线状结构特征的表征能力;最后基于改进的U型编解码器网络开展了跨数据集分割实验。所提方法较基准方法在Dice系数和平均交并比指标上分别提高了3.67%和2.68%,表明了所提方法通过利用基于ALIOT的裂缝纹理结构先验增强,能够显著提升模型的泛化能力。

关键词： 簇感知   图表示学习   图自编码器   图对比学习   掩码图建模   簇分布一致性  

摘要： 图能够建模现实世界中的多种数据对象,呈现出复杂的拓扑结构和丰富的特征信息。图中固有的簇结构反映了节点之间相似性和紧密链接关系,对于理解真实复杂网络的连接模式和内在群体结构至关重要。 自监督图表示学习通过将图中复杂关系和特征映射为低维稠密向量,捕捉节点关系并刻画图中语义信息,具有广泛的研究意义和应用前景。将簇结构引入图表示学习,可以指导模型学习簇感知的节点表示,提高节点表示质量和泛化能力。然而,现有方法在高效捕捉和利用簇结构方面仍面临挑战。具体而言,图中属性和拓扑均能反映同一网络的簇结构,具有潜在的簇分布一致性,而现有方法缺少对这种一致性的度量。此外,图中簇结构对外界扰动敏感,而现有基于图对比学习的方法大多需要结合增广策略对图进行边或特征扰动来构造对比视图,可能破坏固有簇结构。最后,图数据本身可能含有噪声,如部分节点特征缺失的不完全图,进一步加大了建模图中簇分布和多层次信息的难度,影响表示学习性能。 针对上述问题,本文研究簇感知的自监督图表示学习方法,从强化表示对特定簇敏感任务的针对性以及利用簇结构强化通用图表示学习能力两个角度出发,探究节点表示与簇结构的交互影响,改善图表示学习性能。在图自编码器和图对比学习技术的支持下,本文提出了三种图表示学习方法,主要研究内容和贡献如下: (1)针对图中属性和拓扑的簇分布一致性学习难的问题,本文利用属性特征和拓扑信息中隐含的簇结构及簇分布刻画二者的一致性,提出了一种基于簇分布一致性约束的簇感知图自编码方法DCP-DEC。该方法提出图和特征自编码表示聚类模块,分别编码图中拓扑和属性特征并重构输入信息,以学习对应的节点表示并建模聚簇分布,明确强化表示对簇敏感任务的针对性。在此基础上,引入簇分布一致性约束,通过刻画属性簇分布和拓扑簇分布之间的KL散度来保证图中两部分信息的潜在一致性。在多个数据集上的大量实验验证了DCP-DEC方法在聚类任务上的优越性能。 (2)针对外界扰动会破坏图中重要信息导致簇结构难以捕捉的问题,本文在保留原图结构的情况下额外生成簇感知的对比视图,提出了基于簇结构保持增广策略的簇感知图对比学习方法GCLCA和GCLCA-CN。GCLCA方法利用k近邻图和边介数中心性思想设计了一种生成式增广策略,用于构建新的特征结构图并与原图构成对比对。然后提出多层次对比机制和表示聚类模块,最大化多个嵌入空间中表示相似性的同时建模两个视图间的簇分布一致性,强化对簇结构的感知能力。在此基础上,GCLCA-CN方法引入簇感知的正负样本采样机制,利用聚簇伪标签进一步优化多层次对比目标并强化表示质量。在多个数据集上进行的大量实验验证了所提方法在聚类任务上的优越性。 (3)针对不完全图中如何融合簇原型和多层次信息学习表示的问题,本文通过捕捉中观簇原型与图中宏观、微观结构信息之间的互补性,提出了一种基于簇原型感知的掩码图对比自编码表示学习方法ProtoMGAE。该方法基于掩码图建模思想构建掩码图并重构掩码特征,为处理不完全图提供了途径。然后将掩码图与原图视为对比对,构建基于在线-目标网络架构的表示对比模块和簇原型感知聚类模块,以学习不同视图节点表示之间的局部相似性和中观簇分布之间的一致性。在多个数据集上的大量实验验证了ProtoMGAE方法在下游任务上的优越性能。 综合来看,本文提出的三个方法旨在从不同的角度设计自监督图表示学习方法,但在思想上存在承上启下的关系。图自编码和图对比学习方法的成功实践启发了本文掩码图对比自编码方法的提出,使得自监督技术在策略上实现整合互补,强化了图表示学习能力。从模型能力上来讲,前两个方法面向特定簇敏感任务,具有比通用表示学习方法更好的簇感知能力,也突出了表示和聚簇联合优化的重要性;而后一个方法面向通用任务,具有更泛化的表示能力,且由于其具有内在的簇感知约束,其在特定聚类任务上的效果也能和前两个方法在一定程度上媲美。

关键词： 习近平学习观   学习目的   学习态度   学习方法  

摘要： “学而时习之,不亦说乎?”自古以来,中华民族就是一个热爱学习、善于学习的民族,社会的发展离不开学习。党的十八大以来,习近平总书记曾多次强调学习的重要性,他尤为关注青年一代的学习,非常重视学习型社会的建立。习近平本人酷爱读书、善于学习,从青年时期到工作以来一直保持着学习状态。学习形成思想,善于继承创新的学习品质是习近平新时代中国特色社会主义思想形成的重要条件;学习成就人生,服务人民的学习动机激励着习近平成长为中国人民的伟大领袖。习近平的生活和学习经历为其学习观的形成提供了现实条件,他倡导的学习目的、学习方法、学习内容等形成了习近平学习观。习近平学习观是他在生活中获得的有关学习的所思所想所行的总和,是科学的、符合时代发展的学习方法论。习近平学习观对于培养担当民族复兴大任的时代新人,探寻实现中华民族伟大复兴道路具有指导意义。因此,习近平学习观的研究十分必要。 本文主要采用了文献研究法、比较分析法以及历史分析法,对习近平相关文献资料抽丝剥茧,归纳总结出习近平学习观的主要内涵。通过查阅期刊文献、书籍以及报刊获得习近平成长生活的文字材料,探寻习近平学习经历和工作阅历对于学习观形成的影响。习近平学习观既继承了中华传统文化中的学习思想,又创新发展了马克思主义学习观。 论文分析了习近平学习观的形成条件,主要从个人成长学习经历和理论基础两个方面详细论述。少年时期的学习经历为其学习观的形成打下了坚实的基础,青年时期是其学习观的萌芽时期,这一时期习近平对于很多学习内容有了独立的思考,并且通过不断探索找到了适合自己的学习方法。工作之后其学习观逐渐走向成熟,在工作中加以完善并最终形成体系。此外,习近平学习观的形成深受马克思主义学习观和中华传统学习思想的影响。 梳理了习近平学习观的内涵体系及特点。分别从学习目的、学习内容、学习态度以及学习方法四个维度对习近平学习观进行解读,在此基础上归纳了习近平学习观的特点,习近平学习观不仅彰显了对中华传统为学之道的继承,而且注重学习内容的创新转化,也体现出理论与实践相结合的特点。阐释了习近平学习观的启示,首先,树立远大理想,坚守人民立场。其次,拓宽学习领域,完善认知体系。再者,在学习过程中培养创新思维,发展创新能力。最后,遵循学习原则,把握学习规律。人非生而知之者,唯学习而已。习近平学习观为人的学习和成长提供了指引,丰富和发展了学习理论。

关键词： 户外自主游戏   支持幼儿   有意义学习  

摘要： 有意义的学习是一个发现的过程，是幼儿在提出问题、分析问题、解决问题的过程中，通过自己的思考，亲自找到答案并发现规律、生成新经验的过程。在现实实践中，幼儿在户外进行自主游戏，存在空间场地不足、游戏材料单一、教师主导设计活动要求等现实问题，破坏了幼儿发起的活动和教师引导之间的平衡。《幼儿园保育教育质量评估指南》中提出“以儿童为本”“坚持儿童立场”“发现和支持幼儿有意义的学习”的教育理念，支持一线教师在幼儿户外自主游戏中开展如何支持幼儿进行有意义学习的行动策略研究。本文首先对户外自主游戏支持幼儿有意义学习的价值进行了解读，其次提出了幼儿户外自主游戏存在的问题，最后探索了户外自主游戏支持幼儿有意义学习的实践路径。

关键词： 强化学习   云资源管理   调度   多智能体强化学习  

摘要： 近年来,云计算凭借其高效、灵活、经济等优势,在全球范围内得到了广泛应用和快速发展。然而,随着云计算规模不断扩大,用户需求日益多样化,如何在保证服务质量的同时实现云资源的高效利用,成为云计算领域亟待解决的关键问题。本文聚焦于基础设施即服务(IaaS)的调度优化,旨在通过设计云资源管理专用的强化学习方法,来提升资源利用效率。 云资源管理本质上是一个在线动态装箱问题,具有NP-Hard、黑盒、大规模、多约束等特点。传统的启发式算法和数学规划方法难以有效求解。近年来,深度强化学习以其强大的自主学习和决策能力,为云资源管理问题提供了新的思路。然而,强化学习在云资源管理中面临诸多挑战:1)智能体的探索效率低,导致其常常收敛于次优解;2)智能体的可拓展性差,在大规模虚拟机调度环境下,性能表现受限;3)智能体保证鲁棒约束满足难,在具有鲁棒约束的虚拟机调度场景中,强化学习难以保证鲁棒约束的满足。针对上述挑战,本文开展了以下研究工作: 1)提出了一种面向强化学习的云资源调度仿真系统VMAgent。该系统以真实的云服务场景和数据为基础,模拟了云资源管理的多个典型场景,并提供了强化学习友好的接口,为后续的算法研究提供平台支撑。 2)针对虚拟机调度场景的探索挑战,提出了一种新颖的强化学习算法SchedRL。该算法引入了基于轨迹洞察记忆的探索机制,增强了智能体的探索能力。 3)针对虚拟机调度场景的拓展性挑战,我们首先提出新颖的随机协作博弈建模,之后提出了一个基于集群值分解的多智能体强化学习框架CVD-RL。该框架引入分解、前瞻、过滤三个关键算子,从而将原问题简化为可以高效求解的子问题,并实现集群规模的扩展。 4)针对虚拟机调度中的鲁棒约束满足挑战,我们将鲁棒调度中的超售问题建模为一个带机会约束的随机协作博弈,并引入基于原始对偶方法的机会约束优化机制,最终在满足鲁棒性约束的前提下,实现资源利用率最大化。 本文的研究成果为云计算资源管理与调度问题提供了新颖的技术手段。实验结果表明,所提出的强化学习算法在不同规模和约束条件下,都能显著提升资源利用率,优于传统的启发式算法和强化学习基线。未来,如何通过强化学习获得可解释的策略以降低调度算法的部署难度,以及如何通过离线学习与在线学习结合赋予强化学习快速更新能力,都是值得进一步探索的方向。

关键词： 地方高校   美术课程   创作意识、学习方法  

摘要： 高校美术课程教学改革对提升学生学习与创作兴趣、提高课堂教学质量具有重要作用。美术教育工作者应积极引导学生掌握正确的美术学习方法，培养学生的创作意识，让学生从美术理论知识学习中汲取更多营养。该文主要以高校美术课程教学为例，着重分析高校美术课程的一些学习方法，以此提高大学生的美术学习与创作水平。