关键词： 强化学习   离线强化学习   数据分布漂移   稳定策略学习  

摘要： 强化学习作为一种新兴的人工智能技术,已经在游戏AI、机器人、推荐系统等领域取得了成功。然而这些智能体大多是以“在线学习”的方式与环境不断交互,通过试错探索来学习,这在无人车、无人艇等交互成本高、风险大、周期长的现实环境中受到了很大的限制。对此,离线强化学习采用“离线学习”的范式,能够让智能体从已有的数据集中学习如何决策,而无需与环境进行交互。虽然离线强化学习能够有效解决智能体与环境交互难的问题,但是在学习、推断和调优三个阶段均存在数据分布漂移问题,导致难以稳定高效地生成决策策略,同时这也是阻碍离线强化学习在实际环境中应用落地的一大难点。因此,本文聚焦于解决数据分布漂移问题以设计稳定的离线强化学习智能体。现有的方法主要采用生成模型来拟合数据集的状态动作分布,或使用散度距离来限制所学策略的分布。但是复杂的网络模型会降低训练速度、严格的分布限制会降低策略的泛化性。除此之外,目前的研究很多只针对离线策略学习阶段的数据分布漂移问题,容易忽略策略推断和调优阶段的数据分布漂移问题,导致离线智能体在复杂变化的环境中难以决策,且通过在线学习对策略进行调优时易出现策略崩塌现象。因此,本文的研究主要分为以下三部分:1.基于策略分布约束的稳定策略学习方法。研究从策略约束和价值约束两方面来解决策略学习阶段的数据分布漂移问题。首先,训练一个行为模型作为策略优化期间的正则项,以约束所学策略尽可能选择数据分布以内的动作。其次,训练多个价值函数并使用它们最大值与最小值的加权求和来计算动作价值,以避免对分布之外动作价值的过高估计。2.基于表征与行为泛化的稳定策略推断方法。研究从状态表征和行为扰动两方面来提升离线策略的泛化能力,从而缓解策略推断阶段数据分布漂移所导致的智能体面对分布以外状态难以决策的问题。首先,使用对比学习将分布内外相似的高维感知映射到相近的低维表征隐空间中,以提升感知层面的泛化能力。其次,通过扰动模型让策略输出的动作在一定范围内进行扰动,以提升动作层面的泛化能力。3.基于样本分布近似的稳定策略调优方法。研究从经验采样和策略探索两方面来解决策略调优阶段的数据分布漂移问题。首先,提出了基于近分布样本采样的稳定策略过渡机制,使在线策略优先采样与数据集分布中相类似的经验进行学习,以缓解由离线学习过渡到在线学习时的策略崩塌现象。其次,提出了基于自适应探索的稳定在线调优机制,能够根据当前所处的训练阶段自适应地调整智能体的探索策略,从而能够稳定提升其决策能力。本文的研究为解决离线强化学习中的数据分布漂移问题提供了一种新的思路,使离线智能体在复杂多变的任务环境中拥有稳定学习、稳定推断和稳定调优的能力,为离线强化学习技术在现实无人系统中的应用落地提供理论支撑。

关键词： 初中   蒙古语文教学   合作学习  

摘要： 随着时代的发展,合作学习已成为一种受到广泛推崇的教学方式。这种方式不仅能够培养学生的合作能力,促进他们的可持续发展,还能提高教学质量,减轻教师的工作负担。在初中蒙古语文教学中,合作学习是一种非常有效的教学方法。本论文由绪论、三个主要章节、结论、参考文献以及附录等部分组成。绪论部分主要介绍了选题缘由、研究意义、研究现状、研究方法等。论文主体部分分为三章:第一章内容主要介绍了合作学习法的理论分析,并指出了初中蒙古语文教学中应用合作学习方法的必要性、可行性与意义。第二章对两所学校进行的问卷调查数据进行统计、归纳、分析的基础上,指出了在初中蒙古语文教学中应用合作学习法时存在的具体问题。第三章中举例了初中蒙古语文合作学习教学实践案例分析,并针对合作学习中存在的问题,提出了相应的优化策略。希望通过本论文的论述能为初中蒙古语文合作学习法的有效应用研究添砖加瓦。在结论部分,总结论述了整篇论文的写作过程和总结经验,并提出在本论文写作过程中的创新之处与不足之处。

关键词： 多标签学习   标签相关性   特征相关性   标签特定特征   张量网络  

摘要： 不同于传统单标签学习问题,多标签学习中单个样本可以同时具有多个标签,标签空间的大小会随着标签数量呈指数型增长,从而使得样本数量相对不足,容易呈现小样本学习的特点。面对高维特征数据时,冗余特征的出现还会进一步提高计算成本,提升多标签学习的难度。传统策略是通过考察标签之间的相关性、标签和特征之间的关系来缓解上述问题,但如何恰当表达和利用这些关系一直是多标签学习领域持续探讨的问题。本文使用张量方法同时考察标签之间的相关性、标签与特征之间的关系,为多标签学习提供了一个新的视角。第一,本文提出了一种全新的多标签学习算法。从为标签选择特定特征的角度出发构建特征权重矩阵,它是从特征空间到标签空间的映射,其除了满足标签之间的相关性外,还满足样本特征对标签相关性的影响。本文使用的模型框架可以视为一种特殊的网络结构,它使用了张量切片来适应不同近邻的样本特征对标签相关性的影响,增强了网络的表达能力以及捕捉更多可能的标签组合。多个数据集上的实验表明,相对于常见多标签分类算法,该算法在解决较高特征维度的多标签分类问题上更具优势。第二,在商业银行场景中测试了该算法的实际推广价值。基于该算法构建银行用户画像模型,从而为客户贴上全方位标签。针对每个客户的标签信息,帮助银行提供更精准化的服务。大量相关实验表明,本文算法相比于银行客户分类同类算法,分类的准确性有所提升,计算成本降低且拥有更好的泛化性能。验证了本文算法的优越性和普适性。

关键词： 知识表示学习   知识图谱   深度嵌入   链接预测   三元组分类  

摘要： 知识表示学习是人工智能研究中的一个重要方向,涵盖了语义、逻辑、推理等多个领域,其目标是将自然语言文本或其他形式的知识转换为机器可识别的形式,以便机器能够利用这些知识来进行推理、决策和问题解答等任务。本文致力于研究知识图谱表示学习的相关嵌入模型,这些模型可以将抽取的知识通过合理的嵌入方式,表示为简洁高效的向量形式,以便于计算机进行处理和分析,同时与知识图谱进行融合,提高知识图谱的表达能力和推理能力。基于翻译的知识图谱表示学习是知识表示学习领域中备受关注的研究方向,其原理是将知识图谱中的实体和关系表示为低维向量,并通过向量之间的几何变换来衡量两者之间的语义相似度和关联程度。然而,大多数模型是基于现有事实直接进行嵌入的,忽略了不同类型对象的差异,同时对于嵌入向量的处理也较为简单,导致向量的表现能力不足。而且,大多数模型也存在无法处理多种复杂关系的短板。本文对知识图谱表示学习方法进行了全面分析,针对现有的表示模型存在的问题,提出以下两种解决方案,并对知识表示模型的相关应用进行探索:(1)现有的基于平移距离的嵌入模型在独立空间中建模实体与关系时,只考虑了关系的不同类型,忽视了实体类型,同时存在无法高效推理反向关系的短板。针对上述问题,本文提出了一种基于实体关系映射矩阵的多模式深度嵌入知识表示模型。在该模型中,首先在考虑多种关系类型的基础上,利用实体关系映射矩阵加入了对于实体类型的衡量;然后引入多模式深度嵌入概念,同时将正向平移几何距离模型、逆向平移几何距离模型和对称关系模型相融合,从而消除了处理反向关系时的缺陷,提高了对称关系的处理效率。实验结果表明,该模型在推理缺失信息方面的能力有了显著提高,并且在处理复杂关系模式方面的能力也有了明显增强,相较于其他的基线模型,该模型具有显著的优势。(2)现有的基于旋转的嵌入模型将实体和关系映射到复数向量空间时,通常会导致复数空间中的实体嵌入向量之间缺少联系,而且嵌入向量表现力不足、实体和关系的旋转灵活度不高。针对上述问题,本文提出了一种基于深度卷积四元数的反向关系旋转嵌入知识表示模型。在该模型中,首先利用四元数扩展复数向量空间,引入表现力更强的超复数表示;然后使用不同的嵌入生成类来为头实体和尾实体生成嵌入向量,在将关系定义为空间中头实体到尾实体旋转的基础上,再引入一个反向关系向量,增强头实体和尾实体之间的关联性;最后,将四元数嵌入使用卷积神经网络进行深度处理,从而提高模型链接预测准确性。实验结果表明,相比于其他基线模型,该模型能够更加合理的表示实体与关系,并能够对复杂关系模式进行有效建模与推理,提升了知识表示的有效性。(3)针对医疗领域中知识表示模型的应用进行了研究。采用本文提出的基于实体关系映射矩阵的多模式深度嵌入模型与基于深度卷积四元数的反向关系旋转嵌入模型,并结合社交平台提取的相关医学研究成果数据集进行了实验,旨在探索两种知识表示模型在链接预测最新医疗研究成果方面的有效性。实验结果表明,本文提出的两种知识表示模型在医学研究成果的链接预测任务中都有出色的表现。因此,在社交平台上利用两种知识表示模型向医生预测推送最新的医学研究成果具有明显的优势。

关键词： 数学笔记   高中数学   学习方法   思考总结  

摘要： 高中的数学内容难度加深，一堂课下来学生并不能全部掌握.记录数学笔记是一种可以提高课堂效果，提升数学思维的个性化的学习方法.教师需要在课堂上对学生记笔记进行有效指导.学生需要重视数学笔记的记录和使用.学生要在先认真听课，对所记的内容有一定认知的前提下，再进行笔记有重点有脉络的记录.课后学生还要再拿出笔记重温整理，思考总结.这样笔记才能更好的发挥价值，提升成绩.

关键词： 土壤—环境关系   特征筛选   机器学习   土壤类型   土壤制图  

摘要： 在数字土壤制图中,能否准确获得土壤—环境知识直接决定土壤制图最终精度。在平缓区域,传统的地形、植被等环境要素变异较小,难以有效反映土壤的空间变异。如何提取能够有效反映平缓区域土壤空间变异信息的环境协变量成为数字土壤制图的研究重点和难点,同时也是提高平缓区域土壤制图精度的重要科学问题。基于上述问题,本文综合利用地形因子和遥感图像作为推理制图的知识源,针对丘陵和平原混合区域研究了数字土壤预测制图方法,并分析遥感因子在推理过程中的重要性。本研究的开展可以拓展数字土壤制图知识获取的理论和方法,为提高平缓区域制图精度奠定基础,具有重要的研究价值和意义。本研究以湖北省麻城市乘马岗镇为研究对象,该地区是典型的平原和丘陵混合区域。以地形和遥感因子为基础数据,采用不同特征筛选方法对环境因子进行重要性分析,研究不同环境因子对平原和丘陵区域土壤类型空间分布的影响,得出最优环境因子集。最终通过不同机器学习方法进行建模进而推理制图。研究旨在综合利用地形和遥感因子作为推理制图的知识源,从而提高平缓区域的土壤制图准确度,具体研究内容如下:(1)本文选用不同特征筛选算法(基于递归特征消除算法、基于Relief F算法和基于Tree的特征选择算法)对环境因子进行筛选,基于递归特征消除算法筛选后得到的环境因子预测制图精度比Relief F算法和基于Tree的特征选择算法筛选后得到的环境因子预测制图精度更高。同时,各种筛选算法可以对环境因子的重要性进行排序,从生成的重要性排序结果可以看出,归一化植被指数和均值在平原区域相较于整体区域和丘陵区域的重要性较大,进一步说明遥感因子对平原区域土壤制图的重要性较高。(2)将不同的特征筛选算法筛选后得到的环境因子输入至不同机器学习模型中对土壤类型进行预测,最终得到土壤类型推理图。同时,对各种机器学习模型在整体区域制图、平原区域和丘陵区域的应用进行探讨。结果显示:不同模型表现的土壤推理图相较于传统土壤图图斑均表现的更加细碎,相比整体区域制图结果,按地形分区制图结果精度更高、效果更好。(3)在本研究中,从土壤类型推理制图结果来看,研究区土壤类型的空间分布在这三种模型的预测中显示出显著的相似性。然而,三种模型精度和稳定性表现不同。从模型角度分析,Ada Boost分类模型、GBDT分类模型和Bagging分类模型在分类制图方面展现出各自的优势。从制图精度来看,GBDT分类模型在按地形分区生成土壤图时表现出的精度最高;从模型稳定性的角度来看,Ada Boost分类模型在按地形分区制图生成土壤图的精度最为稳定。从模型综合性能来看,Bagging分类模型在按地形分区生成土壤图时能够在保证稳定性要求的情况下精度表现也较好。综上,将机器学习方法与特征筛选算法结合进行土壤图的建模预测推理具有重要的研究价值。

关键词： 联邦学习   噪声标签   长尾学习  

摘要： 联邦学习是一种新兴的学习范式,旨在以不暴露用户隐私的方式从大规模用户节点中联合学习知识。然而,由于获取高质量的标签数据需要耗费大量的人力,用户节点不可避免的会带有噪声标签的数据。同时,联邦学习在应用场景中会面临长尾数据分布,即在局部和全局数据中,不同类的数据数量高度不平衡。这两种问题都会导致联邦学习场景中模型训练效果的严重下降。论文考虑两个问题的同时解决,主要研究内容可概括为:首先,提出长尾鲁棒且抗噪的联邦学习框架—双网络双教师框架(Double Net Double Teacher,DNDT)。该框架分两阶段处理噪声标签和长尾分布数据,阶段一使用双网络筛选小损失样本实现去噪功能,阶段二使用双教师蒸馏处理长尾分布数据。其次,提出3种基于DNDT框架的联邦学习算法Fed Match、Fed Jo Co R和Fed Coteach,这3种算法在第一阶段分别采用了三种不同的双网络结构,同时结合相同的第二阶段设计来实现。然后,针对双网络结构在联邦学习中存在的通信代价问题,提出一种基于DNDT框架的低通信代价算法Fed Single Aug。该算法使用单网络模拟的协同网络过滤噪声标签样本,结合自平衡方法,有效解决了在长尾和噪声标签的联邦场景中模型精度下降的问题。最后,基于CIFAR10和Fashion MNIST构造两个具有长尾分布和噪声标签的数据集。基于这两个更符合真实场景的数据集,将论文提出的4种基于DNDT框架的算法与现有的联邦学习算法进行性能对比。结果表明,Fed Single Aug算法具有最佳的综合性能。随后对性能最佳的Fed Single Aug进行消融实验,验证了DNDT框架的有效性。

关键词： 定量构效关系   抗氧化性   抗炎活性   SARS-CoV-2Mpro抑制剂   依布硒林  

摘要： 定量构效关系分析（QSAR）是一种对分子的活性及理化性质进行定量预测的方法,通过建立合理的数学关系模型,揭示分子性质随分子结构特征参数的变化规律,对深入理解药物的作用机理、指导新药设计及合成具有重要意义。本论文采用量子化学计算和机器学习方法结合的研究方法,进行了三个定量构效关系研究以及分子设计工作,其中具体的研究内容概括如下:（1）抗氧化吡咯衍生物:本文针对一系列吡咯衍生物分子及其分别对羟基自由基（·OH）、超氧阴离子(O2·-)和1,1-二苯基-2-苦基-酰肼自由基（DPPH·）的清除活性作为QSAR研究的训练数据集。采用基于遗传算法的多元线性回归（GA-MLR）和人工神经网络算法（ANN）,建立了由量子化学计算获取的空间结构参数以及电性参数与三种自由基清除活性数据的QSAR模型。最终得到的6个QSAR模型均具备良好的预测效果,其中GA-MLR的训练集预测值决定系数R2大于0.8,外部测试集的均方根误差RMSE在0.3至0.6的范围内;ANN模型在训练数据上的R2值均高于0.9,且其各自的测试集的RMSE与线性回归模型具有相近的数值。建模结果显示,在这三类自由基清除活性研究中起重要作用的主要分子描述符是C2-R（b）键长、HOMO轨道能量、分子可极化率和分子疏水性参数Alog P。最后,本文设计了17个新吡咯类分子,根据GA-MLR和ANN模型预测结果,新设计化合物普遍具有更高的抗氧化活性。2)榴莲提取抗炎化合物:本章对从榴莲中提取的45个化合物进行了基于四种机器学习算法的QSAR研究,旨在探讨这一系列结构复杂的天然分子的抗炎活性机制。四种算法包括:采用随机森林（RF）、梯度提升回归（GBR）、支持向量回归（SVR）和人工神经网络（ANN）四种机器学习方法。通过对所建立的全部QSAR模型的评估与分析,获得了由Shadow ratio、Dipole z、Methyl、Ellipsoidal volume和Methoxy这5个分子特征构建的最佳SVR模型。其各项评估系数分别为:训练集的R2为0.907、RMSE为0.123,十折交叉验证R2为0.770、RMSE为0.191,外部验证集R2为0.812、RMSE为0.097。在此基础上,对最佳SVR模型中的5个分子特征依次进行分析,深入讨论了分子特征数据与分子的抗炎活性之间的关系。（3）1,2-苯并硒唑-3-酮类化合物:本章对依布硒林及其结构类似物（1,2-苯并硒唑-3-酮类化合物）的抗新型冠状病毒（SARS-CoV-2）的分子作用机制进行了研究。首先,采用基于RF和ANN算法建立定量构效关系模型,探讨了1,2-苯并硒唑-3-酮类化合物的SARS-CoV-2主蛋白酶(Mpro)的抑制活性构效关系。其次,利用基于配体的并行级联分子动力学模拟（LB-Pa CS-MD）,通过稀有采样,分析了依布硒林分子与Mpro结合口袋的结合作用模式,发现其中的关键结合作用是依布硒林分子与Mpro的氨基酸残基MET49是否形成S-π相互作用。此外,本文设计的46个新型1,2-苯并硒唑-3-酮类似物,根据QSAR模型的预测,其中四个化合物具有最高的Mpro抑制活性,最后经过分子对接计算分析和药代动力学性质评价,其中两个新分子（T17和T23）相比于依布硒林分子（E01）,它们同Mpro活性位点具有更强的结合作用,而且没有潜在毒副特性。

关键词： 图像分类   增量学习   最大边界损失   深度学习  

摘要： 图像分类是计算机视觉最为基础的任务之一。目前的深度学习模型已经获得了媲美甚至超越人类的效果,然而现实生活中的场景纷繁复杂,所面临的场景不断变化,这些需要算法具备良好的增量学习能力。尽管在深度学习的推动下,增量学习算法取得了突飞猛进的进展,但如何更好地借鉴新数据样本的先验知识,并有效缓解小样本下增量模型的漂移现象,是亟待解决的挑战性难题。针对上述问题,本文从新数据的约束准则设计及试探性测试角度,研究常规类别增量和小样本类别增量两种经典任务,提出面向图像分类的增量学习方法,在主流数据集上取得了优异的识别性能。本文主要工作如下: (1)提出了一种新颖的最大边界类增量学习方法,最大化样本类别间的判别性,有效缓解增量学习过程中的知识遗忘现象。首先,设计了最大边界类的损失函数,最大化约束不同类之间的距离,以降低新旧类间的模糊性,增强分类器的鉴别能力;进一步引入了图像样本混合增强机制,对旧类图像和新类图像进行混合增广,扩充图像样本空间,提升模型识别能力。在三个公共数据集上的大量实验表明,该方法与现有的类增量方法相比达到了更优越的图像分类性能。 (2)提出了一种探索性强化的增量学习方法,采用试错机制优化更新增量模型,有效缓解小样本增量学习模型的漂移现象。受人类认知探索的启发,将探索性强化学习机制引入到图像类别增量模型优化过程,建模分类器参数优化为一个决策过程,采用试错机制训练增量学习网络模型,以自适应于新场景的不断变化。一方面,为了更好地指导探索性优化方向,设计特有的奖励函数,平衡新旧类别对模型学习的影响;另一方面,提出一种基于高斯推理的优化策略空间生成方法,自适应调整增量模型的参数以适应于新数据。相对于传统方法只利用有限的观察样本进行优化,本方法采用了试错探索策略,从而扩展了优化学习空间。我们的自适应增量模型在学习新知识和缓解旧知识遗忘方面具有优势。我们在三个公共数据集上进行了广泛的评测,实验验证了该方法的可行性及有效性,并达到了先进的增量图像分类性能。

关键词： 居民负荷聚合   响应概率   组合在线学习   多臂老虎机   日前调度  

摘要： 居民负荷是一类重要的需求侧资源,通过聚合能够辅助参与电网调度,潜力巨大。然而,居民的调节行为会受到多方面因素的影响而具有不确定性,这给实现精准的负荷聚合带来了挑战,导致了现实中未能充分发挥居民负荷资源的功率调节作用。在此背景下,本文聚焦于居民参与聚合的响应意愿,旨在探索有性能保障的负荷聚合控制方法,以进一步挖掘居民负荷的潜力,使其成为可靠的需求侧资源辅助参与电力系统的运行调度。具体而言,本文针对居民负荷聚合问题开展了以下研究: 1)本文首先对居民的响应意愿进行刻画,深入剖析了居民负荷聚合场景的本质,详细阐述了负荷聚合与在线学习框架—多臂老虎机问题之间的结构一致性。随后分别以上置信区间和汤普森采样两类主要研究方法为切入点,系统地梳理了在线学习领域。最后提出了基于组合在线学习方法的居民负荷聚合框架,并验证了此框架相较于传统方法的优越性。 2)通过重构居民负荷聚合问题的优化目标,本文分析了居民响应概率分布与实际聚合效果之间的逻辑关联,并以Beta分布作为概率分布生成模型,验证了所得结论。随后在此基础上,聚焦于居民群的激励优化问题,对居民的激励特性进行了建模,并推导了有限激励资源的最优分配策略。除此之外,还深入探究了聚合效果的理论上下界,可为负荷聚合方案的制定提供参考。 3)在所提负荷聚合框架的基础上,描述了居民群负荷响应量的偏差模型,并对居民不确定性导致的风险成本进行量化。随后以最小化机组的燃料和排污成本、负荷购买成本等为目标,考虑机组和负荷容量约束,建立了“机组-居民负荷”协同参与日前调度的优化模型,研究两者的协调运行策略。通过算例分析,验证了居民负荷资源参与日前调度在提升运行经济性等方面的效果。