关键词： 强化学习   多智能体强化学习   深度强化学习   值函数估计偏差   多无人机协同追捕  

摘要： 近年来,人工智能技术迅猛发展,在民用和军用等领域取得了广泛的应用。强化学习作为目前人工智能技术中备受瞩目的一个研究方向,利用智能体与环境的交互来学习最优策略并对其进行优化,在解决各种复杂的序列决策问题上显示出了优异的性能。目前,强化学习的研究主要集中于深度强化学习和多智能体强化学习两个方向。深度强化学习将神经网络的感知能力和函数逼近能力与强化学习方法相结合,可用于解决高维状态空间下的相关问题,在人机对抗、机器人控制、智能驾驶等领域获得了一定的成功。多智能体强化学习在深度强化学习的基础上,从多智能体的角度研究强化学习,着重解决更为复杂的多智能体合作或竞争的问题,可应用于资源分配、交通流控制、多无人机协同决策等多个领域,具有非常重要的研究意义。尽管深度强化学习和多智能体强化学习的研究已经取得了不少成果,但仍然存在一些问题,例如固有的值函数估计偏差问题,以及在某些特定应用场景下环境奖励稀疏的问题。因此,本文旨在研究和解决上述问题,主要的研究内容如下: (1)以单智能体环境中深度强化学习算法固有的值函数估计偏差问题为切入点,分析了DDPG算法过高估计和TD3算法过低估计的问题,提出一种基于正则化加权矫正的TD3算法——RWTD3算法。该算法将高估与低估因素联合起来,利用其凸联合对值函数进行矫正,同时引入正则项对双估计网络的不确定性进行限制,并使用双估计值的均值做策略网络的更新以提升智能体探索性,在控制值估计偏差同时提高值函数的多样性与健壮性。最终在多个Mu Jo Co任务中进行对比实验,验证了算法性能的提升。 (2)针对多智能体环境中强化学习算法仍存在且更为严峻的值函数估计偏差问题,基于CTDE框架将RWTD3算法扩展至多智能体环境,提出MARWTD3算法,缓解值估计偏差现象,并利用softmax算子做Q值的软估计,进一步改善多智能体环境下的值估计偏差问题,提高值估计的准确性。最后在多个MPE任务中的实验结果证明了算法性能的提高。 (3)将多智能体强化学习算法应用于多无人机协同追捕任务,并指出了该任务中存在的环境奖励稀疏问题。为解决这一问题,结合分层思想,提出了一种基于子目标的分层MADDPG算法。该算法将复杂问题分解为更小的子目标,通过设计基于子目标的内在奖励来激励智能体的探索,从而提高学习速度和任务完成率。最后,在仿真场景中进行实验,证明了算法的可行性和有效性。

关键词： 多源域迁移学习   深度迁移学习   领域泛化   领域对抗学习  

摘要： 以领域自适应和领域泛化为代表的迁移学习技术,以其不受限于数据分布变化的优越性,受到越来越多的关注。其中多源域迁移学习探究如何从多个源领域中均衡地提取知识并应用到目标域,是提升模型性能、推动迁移学习落地的关键技术。尽管多源域迁移学习领域已经涌现了不少的方法和技术,但由于多源域问题本身的复杂性,仍存在一些问题尚待解决。例如在提取具有通用性的特征的同时保证特征具有良好的任务区分性,考虑各个源域与目标域之间不同的数据分布差异,多源域迁移学习的应用领域扩展等。基于以上背景,本文围绕多源域迁移学习技术的方法设计与应用扩展展开研究,在分析归纳多源域迁移学习现有研究的基础上,主要关注领域泛化这一更复杂的问题,提出了 一个新的多源域迁移学习网络结构,并在经管领域中的个人贷款违约预测问题上得到了应用。本文的贡献主要包括以下几个部分:(1)本文对多源域迁移学习相关技术方法进行了系统的研究和归纳,形成了深度多源域迁移网络结构的通用框架,为后续研究提供参考基础,并对当前主流的多源域方法进行分析。(2)本文提出了一种基于特定于源域的对抗学习的领域泛化方法。引入多个分类器、多个领域鉴别器和一个分布生成器,在训练阶段自适应地生成参考分布,同时通过特定于领域的对抗学习来分别提取不同源域与参考分布之间的域不变特征,并利用该特征训练不同的分类器。对分类器的输出进行对齐和加权。在领域泛化的经典图像数据集上进行了对比实验、消融实验及拓展实验,模型能够学习有效的特征表示,并取得了较好的泛化效果。(3)本文针对个人贷款违约预测的实际应用场景,引入了基于聚类算法和领域判别特征对潜在多源领域进行判别和划分的方法,并将该方法融合进现有的领域泛化网络结构中,实现了领域泛化在经济管理问题上的应用。在现有的混合域数据集上,在不使用领域标签的前提下,融合潜在混合域划分的领域泛化方法取得了显著的效果提升。

关键词： 台风路径预测   卫星云图   深度学习   误差修改  

摘要： 台风是一种自然现象,它可以调节全球的热量分布,维持热量平衡。同时,台风的破坏力极强,每年台风都会频繁侵扰世界沿海地区,影响经济发展,危及群众生命。作为气象部门的一项重要职能,准确的台风路径预测可以为相关气象部门提供先验信息,从而更科学、更快速地决策,大大减少台风所造成的损失。因此,提高对台风路径预测的准确性,对我国乃至世界而言都尤为重要。然而,由于台风运动相当复杂,并且海洋观测站十分稀少,使用传统方法预测台风路径极为受限。目前台风路径预测大多依赖于数值预报方法,这种方法预测结果比较准确,但是计算难度大、预测代价高,并且考验研究者的专业知识水平,使得台风路径预报测的门槛很高。相比之下,使用机器学习(Machine Learning,ML)方法,尤其是深度学习(Deep Learning,DL)方法预测台风路径,有自适应学习、非线性映射和高容错性等特点,最重要的是深度学习方法相比数值预报方法能够大大降低预测难度与预测成本。本文对基于深度学习的台风路径预测方法展开研究,以在提高预测精度的同时降低预测成本为目标,构建了卫星图像数据集,并使用深度神经网络对台风路径预测建模,预测卫星图像。然后,再次使用神经网络对预测方法改进,实现了台风路径的准确、快速预测。本文的主要内容如下:首先,本文说明了台风路径预测的研究背景和意义,介绍了国内外主流台风路径预测的研究现状,将目前主要的台风路径预测方法分为数值预报方法和基于深度学习的方法两类,分别介绍了两类方法在台风路径预测上的研究成果,并分析了深度学习方法相对于数值预报的优势。然后,介绍了几种不同的深度学习技术,包括深度学习中基础神经网络以及几种优化策略。由于目前开源的卫星图像数据集较少,本文使用日本气象厅的卫星图像数据自建了卫星图像数据集。根据卫星图像在时间维度上的联系对图像标注,将标注后的卫星图像作为预测模型的输入。然后,针对卫星图像数据集以及标注的特点,以卷积神经网络(Convolutional Neural Network,CNN)和长短期记忆网络(Long ShortTerm Memory,LSTM)为基础,从时间和空间维度对台风路径预测建模,使用混合空洞卷积策略改善卫星图像中标注点的特征丢失问题,并加入卷积注意力机制模块(Convolutional Block Attention Module,CBAM)增强特征提取,构建了台风路径预测模型Deep Typhoon。然后,为了进一步提高Deep Typhoon模型的预测精度,基于Deep Typhoon模型的预测结果,本文提出一种基于网格的编码方式,将预测误差向量转换成误差编码,以LSTM网络为基础结合多任务学习的思想,构建了台风预测误差修改(Typhoon Predict Error Modification,TPEM)模型。使用TPEM模型对台风路径的预测误差进行预测,使用这个预测结果修改台风路径预测的误差,进一步提高了台风路径预测的精度。最后,本文在不同地区的卫星图像数据集上进行了对比试验,Deep Typhoon模型在西北太平洋、西南太平洋两个测试集上的平均绝对误差分别为65.39km和62.41km,在保证计算速度和预测成本的同时,已经实现了较为精准地的台风路径预测。在此基础上,使用TPEM模型对Deep Typhoon模型改进后,西北太平洋数据集的预测误差为63.94km,西南太平洋数据集的预测误差为59.18km。相对Deep Typhoon预测模型的预测结果,TPEM模型进一步提高了台风路径预测精度。结果表明,本文提出的Deep Typhoon模型结合TPEM模型实现了台风路径的精准预测;并且,与数值预报方法相比,本文的方法拥有更快的预测速度和更低的预测成本。

关键词： 初中   英语学习方法   指导策略  

摘要： 在学习英语的过程中，许多初中学生都会面临着学习方法不得当导致学习效率低下的情况。为了有效改善这种局面，教师需要对学生的学习方法进行科学有效的指导，从而减少学生在英语学习上的障碍，提高英语学习效率。对此，笔者在下文中首先对初中英语学习方法指导的意义作简要阐述，而后对具体的指导策略进行了详细的分析探讨。

关键词： 深度决策树迁移学习   多源域迁移学习   无监督学习   KL距离   决策树  

摘要： 机器学习的研究已经发展了六十多个年头,在生活的方方面面都能看到人工智能的应用。其中,迁移学习作为一个重要的科研领域,可以将源域与目标域联系起来,使用源域的知识训练模型,并应用在目标域的分类问题上。近年来,基于领域适配的迁移学习算法在实验对比中显示出了良好的效果,与以往的传统迁移算法相比,不仅准确度有了较大的提升,而且算法的时间效率也有了不小的进步。然而,目前大多数迁移学习算法仅能适应一个源域与一个目标域的训练数据,无法适应多个不同分布的源域的样本。此外,部分迁移学习方法同步地从源域中学习数据至目标域模型,并没有根据重要程度量化学习知识的权重。在实践中,对于某数据集的数据按照某一或某些特征划分出来的数据往往分布不一致,并且这些不同分布的数据对于最终模型的重要性也不一致,知识迁移的权重也因此不平等。本文针对基于Boosting算法的迁移学习算法进行深入的研究,并从多个源域、相似性差异化迁移学习的角度对主流迁移学习Boosting算法进行优化改进,为提高多源域迁移学习的准确度与扩大多源域迁移学习的使用场景展开了相关的研究工作。本文的研究内容主要有以下两个方面:(1)为了实现在有监督的场景下多个源域迁移知识学习,提出了一种多源域优化权重迁移学习(Multi-source Decision Tree Transfer Boosting,Mtr Boost)的方法。主要思想是根据不同分布的源域空间计算出到目标域的KL距离,利用KL距离的比值计算出不同分布的源域样本的学习权重比例,从而优化整体梯度函数,使学习方向朝着梯度下降最快的方向进行。相比于其它传统迁移学习算法,使用梯度下降算法能是模型较快收敛,在确保迁移学习效果的同时,也能确保学习的速度。(2)上述多源域迁移学习准确度较好,但是仅能适应与有监督场景下的多源域迁移学习。为了实现无监督场景下的多源域迁移学习,提出了一种多源域分布下优化权重的无监督迁移学习(Unsupervised Multi-source Decision Tree Transfer Boosting,UMtr Boost)方法,该方法根据各源域与目标的不同距离确定用于标注伪标签的训练数据,标注完成后,赋予不同源域不同的学习权重、赋予不同样本不同的样本权重,从而提升决策函数的分类精度。

摘要： 你曾为英语成绩难以突破瓶颈而烦恼吗？你会因单词背了就忘而担心吗？江苏高考英语成绩141分的学姐来给你支招啦！首先，来说一说背单词。在我看来，网上那些“3天背完四级必考词汇”“24小时记住10000词汇”是违反人的记忆规律的。根据艾宾浩斯遗忘曲线，背下新单词的20分钟后，

摘要： 个体心理学创始人阿德勒说：“儿童的所有活动都是他整体生活和整体人格的外显，不了解行为中所隐含的生活背景就无法理解他所做的事。”他告诉我们，儿童所有的行为都不是单独发生的、毫无意义的，这些行为体现了儿童内心的诉求，哪怕这些心里的诉求儿童自己根本不清楚。教学的最终目的应指向儿童的学习和发展。作为教育工作者，面对儿童的教育教学，我们应站在儿童的视角，发现儿童，理解儿童，顺应儿童的天性，让儿童站在课堂中央，让儿童学习走向“自适区”，促使儿童健康、自由、快乐地成长。

关键词： 知识图谱   三元组   知识表示学习   结构信息  

摘要： 随着网络信息技术的快速发展,知识图谱规模不断增加,计算效率低下、以及数据长尾稀疏性问题也随之而来,为了解决上述问题,相关研究人员引入分布式低维向量来表示知识图谱三元组。知识图谱三元组实体以及关系嵌入蕴含着丰富的图谱信息,但传统知识表示学习模型的训练过程以三元组为单元,相对独立地进行模型的训练学习,无法有效利用到图谱三元组间潜在的图谱特征信息,限制了模型知识表示学习的能力。选择一种合适的方法对图谱三元组实体和关系等结构信息进行融合学习,能够提升模型的表示学习效果。因此,本文进行了基于三元组结构信息的知识图谱表示学习方法的相关研究,以图谱三元组中的实体嵌入为信息载体,以包含该实体的三元组圈定信息融合的范围,根据图谱三元组结构信息,从实体及关系等不同的融合角度,提出系列融合方法并完成相应模型的构建。在公开数据集上对所构建模型进行链接预测实验,通过对比分析实验结果,找出实验性能较好的融合方法,并在新的数据集上进行进一步实验验证,得到最终的知识表示融合模型,主要研究成果总结如下:1)为了解决传统知识表示学习模型对于图谱三元组的训练相对独立,没有充分利用到图谱三元组实体及关系所蕴含的图谱信息的问题,本文完成了融合三元组实体和关系等结构信息的知识表示学习模型的构建,对比分析系列融合模型的实验结果,并在新的数据集上进行实验验证,最终得到综合性能比较优秀的表示学习融合模型。2)为了进一步探究提升模型表示学习性能的融合方法,设计系列基于三元组结构信息的对照实验并构建相应模型,对比分析融合模型实验结果,发现模型在融合图谱三元组关系信息之后,图谱链接预测实验性能表现获得比较全面的提高,特别是模型图谱链接预测的hit@1指标获得了快速提升,这一发现对知识表示学习相关研究具有一定的借鉴意义。

关键词： 功能磁共振成像   语言机制   机器学习   句法结构   功能连接  

摘要： 大脑是人类最复杂的器官,控制着人类的认知、行为以及意识等过程。随着多种神经影像技术的快速发展,人们对人脑活动的测量能力也在不断提高,这使得人们对人脑功能的认知有了极大的进步。其中功能磁共振成像技术(functional Magnetic Resonance Imaging,fMRI)能够采集高空间分辨率的人脑功能活动信息,是研究人脑复杂认知神经活动的主要成像技术之一。语言是人类文明的标志,也是人类认识世界的工具。对人脑语言机制的解析一直是神经科学领域的研究热点。基于听取自然语言所采集的fMRI数据,可以通过全脑建模分析来探索人脑的语言处理机制。这种方式更加符合人脑在自然条件下的反应,得到的结果也更加系统。因此,近些年其已成为对人脑语言机制进行解析的常用研究方法。本文基于被试倾听自然语言时采集的fMRI数据,对人脑在自然条件下的句法处理机制进行研究。基于可解释的机器学习方法将自然语言中激活人脑功能的语义效应和句法效应进行分离;针对不同的句法结构,系统性的研究了人脑的句法处理机制。本文的主要研究工作如下:1.基于可解释机器学习方法构建了人脑语言功能解析方法框架,并展示了人脑的神经句法功能强度的脑区图。对于现有的关于人脑句法机制的研究成果,往往很难分离特定句法现象或无法整合不同条件下的实验结果,因此关于人脑的句法机制还未有一个系统且深入的解析。本文针对这一问题,将自然语言文本的单词作为输入特征,将人脑的激活信号作为输出值,在构建对应的样本集的基础上,对每个体素建模并解释模型输出。然后,借助现代语法理论知识将解释结果按照句法结构类型(如名词性主语结构)进行统计,获得每个体素在处理各个句法结构时的功能强度。最后以体素为单位将所有句法结构的功能强度进行叠加,即为对应体素的整体句法功能强度。相比之前的研究仅能通过模型的性能表现来比较不同体素的句法功能,本文将体素的句法功能强度进行量化,以便能够更准确地探索人脑句法处理机制。2.发现了人脑处理句法结构的分布处理模式,展示了人脑在处理不同句法结构时的脑区选择性。在基于自然语言的全局性语言处理机制的研究中,虽然存在通过各类算法将语义和句法进行分离的相关研究,但大多数研究通常无法继续将句法细化到更细节的层次,导致只能将句法作为一个整体进行后续处理。然而,人脑是一个非常精细化的操作系统,对句法的处理也是非常复杂的,将句法作为一个整体通常会损失许多句法处理功能的隐藏信息。因此,本文基于每个体素对于不同句法结构的处理功能强度,对每个句法结构都进行单独的探索研究。不同于许多将句法视作整体对人脑语言机制进行的研究,本文在句法结构这一更加细节的层次上,对人脑的句法处理机制做出了进一步的研究,发现了人脑在句法处理时的更深层次的运行机制。3.构建了人脑每个体素的句法复杂网络,将句法处理机制细化到词对层面。通过去掉句法结构带来的泛化限制,从而可以研究不同体素对特定词对处理的差异,并对每个体素构建了句法处理机制的静态和动态句法网络,其分别对应着体素整体的句法处理机制和特定时刻的句法处理机制。句法复杂网络的最小信息单位是单词与单词的句法关系。因此,句法复杂网络能够精准捕捉体素在单词层次上的语言处理机制,展现了每个体素在单词层次上的特异性;同时,根据网络结构的不同,研究了不同体素在单词层次上的句法处理差异。基于不同体素在句法上的差异,进一步提出了一种新的人脑区域划分方法,即将具有相似句法处理机制的体素归为一类区域,然后计算了不同区域的句法功能连接关系,从而对理解不同脑区在处理句法时的协同机制提供了新的见解。

关键词： 联邦学习   非独立同分布数据   模型偏移   灾难性遗忘   自适应  

摘要： 随着计算机算力不断提升,人工智能技术被广泛应用于各行各业。人工智能技术依赖于高质量的海量数据,然而日益严格的数据隐私安全管控政策导致数据共享难以实现。联邦学习在不交换本地数据的情况下可以完成多方协作训练,为上述问题提供了解决方向。但是传统的联邦学习方法在面对非独立同分布数据时,会产生两个问题:第一,各子端用户本地更新会产生偏移程度不同的局部模型,导致聚合后的全局模型收敛精度不佳;第二,各子端用户本地更新过程中不同模型参数会互相干扰,导致各子端用户局部模型学习效果不佳。本文针对上述问题,提出一种面向非独立同分布数据的自适应联邦动态学习方法,该方法旨在提升全局模型的收敛精度和各子端用户局部模型的学习效果。主要研究内容如下: (1)针对传统的联邦学习方法在面对非独立同分布数据时,偏移程度不同的局部模型导致聚合后全局模型收敛精度不佳的问题,提出联邦动态加权学习方法。首先,在局部更新阶段,通过联邦距离算法,计算出各局部模型的偏移程度,淘汰偏移程度过大的部分局部模型,减少对全局模型聚合的影响;其次,在全局聚合阶段,通过动态加权算法,在训练过程中动态地给对全局模型更有利的局部数据分配更大的训练权重,提升全局模型收敛精度。经过实验验证,证明了该方法在不同非独立同分布数据设置下的有效性,解决了全局模型收敛精度不佳的问题。 (2)针对各子端用户数据非独立同分布时,本地更新过程中不同模型参数互相干扰导致子端用户局部模型学习效果不佳的问题,提出基于双模型参数的自适应联邦学习方法。首先,将网络模型参数分为全局模型参数和局部自适应模型参数;其次,将全局模型参数和局部自适应模型参数的模型相似度作为惩罚项系数,限制本地更新,减轻模型参数对已学知识的灾难性遗忘;最后,各子端用户通过对其他子端用户的局部自适应模型参数进行加权组合,从其他子端有选择性地接收知识,提升局部抗干扰性。经过实验验证,证明了该方法在不同非独立同分布数据设置下能缓解模型参数对已学知识的灾难性遗忘,并最小化无关模型参数之间的互相干扰,达到了增强各子端用户局部模型学习效果的目的。