关键词： 斯坦因梯度下降法   自模仿学习   最大熵原理   多智能体学习  

摘要： 多智能体强化学习领域的研究正在快速扩张,在多个领域中如机器人团队,资源管理,分布式控制,游戏,电子商务等均取得了瞩目成就,多智能体强化学习问题的研究往往涉及密集计算与智能体之间的相互关系,而经典强化学习算法领域内探索与利用的权衡问题,在多智能体领域中仍是一项挑战。本文通过对Stein梯度下降法(SVGD)理论技术的引入,为该项挑战提供有效的解决途径,并以车联网下的智能车辆调度为应用背景。本文结合提出的多智能体调度框架,验证SVGD结合多智能体算法的有效性,发现它可以更好地权衡策略的探索与利用。在车联网时代下,以人工智能为基础的智能车辆提供各种服务方便人们的日常生活,这涉及到许多计算密集型的应用服务。而边缘计算技术可以将智能车辆的复杂任务卸载到车辆附近合适的卸载任务节点,这需要了解车辆资源需求、车辆移动、移动核心网络状况,非及时的卸载将不能满足实时服务的需求,影响智能车辆的用户体验质量,同时还需保证节点提供方尽可能获取服务收益。为了实现这个目标,本文将其划分为全局节点调度和自主探索联合优化子问题,对于全局节点调度问题,我们应用改进的Kuhn-Munkres(KM)算法,来充分调度不同时刻下空闲的边缘计算节点;在自主探索问题上,我们以深度确定性策略梯度算法的网络架构为基础,结合智能体间的通讯模块,提出了一个新型的多智能体调度框架,引导智能车辆提前赶往附近潜在的空闲计算节点区域。在多智能体调度框架中的工作侧重于智能体间的交流,本文引入SVGD作为策略网络部分改进后的更新方法,利用SVGD的快速拟合最优概率分布的特点,将智能体策略网络的参数群与算法中的粒子群概念相关联,初始策略网络通过对给定后验分布的不断近似,从而拟合出多样化的策略集合供不同智能体使用。本文实验中所使用的数据集源自构建的仿真网格环境,该环境基于智能车辆的计算任务与对应路测单元(Road Side Unit,RSU)分配调度的应用背景,每一个数据样本均记录了 RSU与车辆的位置、时序信息,经实验验证,SVGD与调度框架的联合在仿真环境的任务目标中,可以同时考虑到用户满意度和总体收益的权衡,达到更好的性能。

关键词： 导入语   学习方法   帮助学生   关爱学生  

摘要： 语文教学的高效取决于学生学习的积极性,在语文教育教学中,教师要精心设计导入语,一开始上课就吸引学生,让他们全身心地投入学习之中。教师设计的问题要有梯度,使所有学生在原有基础上有所进步。教师要和学生多交流,思学生所思,想学生所想,努力走进学生的心灵,让学生由喜欢教师到喜欢教师所教的课程,进一步提高学生学习语文的积极性。

关键词： 元学习   小样本学习   度量学习   图像分类   深度学习  

摘要： 小样本学习旨在仅依赖少量标注数据实现对新类别样本的高效拟合,这一研究是机器学习领域的重点课题。研究并实现高精度小样本图像分类将使得医学图像处理、无人驾驶避障、实现智能侦察等困难课题迎刃而解,同时也将为自然语言处理、小样本目标检测与跟踪、机器人与强化学习等研究提供技术支撑。然而现阶段的小样本图像分类算法普遍存在结构复杂、需要面向新任务微调、鲁棒性差等问题,为此,本文提出了基于重赋权法的原型网络模型以及基于对比学习的原型网络模型,显著提升了现有算法的泛化性能和分类精度。在此基础上,通过在多个基准数据集的实验充分验证了上述研究成果。本文的创新性成果如下:(1)针对现有小样本图像分类算法在数据集受到噪声干扰条件下鲁棒性差的问题,提出了一个基于重赋权法的原型网络改进模型。该算法模型为小样本任务支持集所有图像分别赋予了独立的自适应权重,其中权重根据支持集监督信息计算得出,自适应方向是使得数据噪声对特征原型表示的影响最小化。算法测试结果表明,相比原始原型网络模型,上述改进显著提升了分类算法在噪声小样本数据集中的泛化性能和鲁棒性。(2)针对度量元学习模型,研究发现通过缩小类内距离并增扩类间距离能够提升小样本条件下图像分类模型的泛化性能,这一研究也称为对比学习。以对比学习理论为基础,本文分别提出了基于三元损失的原型网络模型及基于流形间隔的原型网络模型。算法模型的设计充分利用了支持集的监督信息,优化目标是缩小支持集同类图像特征及其原型的间隔距离,同时增扩不同类特征及其原型的间隔距离。算法测试结果表明,上述基于对比学习的图像分类算法在小样本数据集上表现出优异的泛化性能,在与本研究领域已发表算法的对比中取得最先进精度表现。(3)针对所提出的小样本图像分类算法模型,本文不仅实现了在多个小样本基准数据集上的实验分析,还通过在更广泛的新数据集上验证了算法的鲁棒性能和域迁移性能。在Mini Image Net基准数据集上,对于5-shot 5-way小样本图像分类任务,本文算法的分类精度达到88.45%,对比最先进算法取得大约4%的提升。本文还分别测试了算法对于小样本细粒度图像分类任务及对于小样本遥感图像分类任务的分类精度和域迁移性能,同样取得了领域先进的性能表现。

关键词： 阿尔茨海默病   结构核磁共振成像   半监督支持向量机   整合生物标志物   动态预测  

摘要： 目的:基于阿尔茨海默病(Alzheimer’s Disease,AD)群体不同阶段的表现特点,使用AD与正常对照(normal control,NC)的sMRI数据进行独立于分类过程的特征选择,挖掘出AD早期神经影像学特征,为AD的早期诊断和预测提供理论依据。同时为其他具有潜在特质属性的生物标志物统计建模提供半监督学习方法的分析思路。方法:本次研究对象数据来自阿尔茨海默病神经影像学计划(Alzheimer’s Disease Neuroimaging Initiative,ADNI),共筛选出427例处于不同阶段的研究对象,包括125例NC、90例稳定型轻度认知障碍(stable Mild Cognitive Impairment,sMCI)、48例进展型轻度认知障碍(progesive Mild Cognitive Impairment,p MCI)、26例未知MCI(unknown Mild Cognitive Impairment,u MCI)、138例AD。采用线性回归的正则化方法对AD和NC的sMRI数据的灰质体积值进行独立于分类过程的特征选择,将前述筛选出的差异性sMRI灰质体积特征采用半监督支持向量机(Semi-supervised Support Vector Machine,S3VM)构建单独的sMRI生物标志物,并预测u MCI的标签;随后将全部MCI对象的sMRI标志物与基线认知评估量表和临床信息相结合,采用随机森林(Random Forest,RF)构建整合生物标志物,模型评价指标包括准确率(ACC)和ROC曲线下面积(AUC)等。最后选择最优整合生物标志物,借助生存分析方法预测MCI患者1-3年内向AD的转化风险。sMRI图像特征提取采用Matlab R2013b软件中的SPM工具包实现,机器学习方法采用Python3.8软件实现,检验水准定义为α=0.05。结果:采用弹性网回归模型方法选择出sMRI数据中与AD相关的差异性灰质体积共计34个,包括中央前回、背外侧额上回、额中回、眶部额上回、中央沟盖、补充运动区、内侧额上回、眶内额上回、回直肌、脑导、前扣带和旁扣带脑回、内侧和旁扣带脑回、后扣带回、海马、杏仁核、楔叶、舌回、枕中回、中央后回、顶下缘角回、缘上回、楔前叶、尾状核、豆状苍白球、颞上回、颞中回。S3VM模型在区分sMCI与p MCI时,单独的sMRI生物标志物ACC为0.6667,AUC为0.6923。RF模型在基于sMRI数据以及基线认知评估量表和临床信息相结合的整合生物标志物在区分sMCI与p MCI时,最优整合生物标志物(ADAS13、ADASQ4、FAQ、左侧枕中回、RAVLT、右侧颞中回、右侧后扣带回、ADAS11、右侧楔叶、左侧后扣带回、右侧豆状苍白球、年龄、右侧楔前叶、CDRSB、RAVLT、左侧楔前叶、左侧内侧额上回、右侧缘上回、左侧海马、左侧舌回)ACC为0.8621,AUC为0.9266。结论:本研究通过结合半监督和监督学习方法预测MCI向AD转化,表明sMRI在MCI向AD转化预测中的重要作用,以及将sMRI与认知评估量表和临床信息相结合构建的整合生物标志物可以提高MCI向AD转化预测的准确性,为早期识别MCI转化为AD的危险个体提供个性化服务以缓解疾病进展。

关键词： 党史学习   基层党组织工作   指导意义  

摘要： 自2021年2月党史学习动员大会于北京召开以来,按照党史学习工作要求,学党史成为当前党员学习的一个常态化内容。作为项目基层党组织,以党史学习活动为契机,进一步悟思想、办实事、开新局,更好地发挥党史学习对于基层党组织工作的指导与引导,成为项目基层党组织开展党史学习的关键所在。本文结合当下党史学习工作的要求,就党史学习对基层党组织工作的指导意义进行了深入探讨,以供借鉴参考。

关键词： 高中生   学习倦怠   生命意义感   学习动机   干预研究  

摘要： 本研究的目的是考察高中生学习倦怠的现状,探究生命意义感影响高中生学习倦怠的心理机制,并尝试通过基于生命意义感的团体辅导缓解高中生的学业倦怠。研究一运用相关研究法,对553名高中生进行了问卷调查,考察了高中生学习倦怠的现状和特点,对生命意义感影响高中生学业倦怠的中介作用进行了检验。在研究一的基础上,研究二选取高学业倦怠水平的学生为被试,运用实验法,对基于生命意义感的团体辅导缓解高中生学业倦怠的效果进行了检验。研究获得主要结论如下:1、高一学生学习倦怠较为严重,高一学生的学业倦怠水平高于高二和高三学生,男女生的学业倦怠水平没有差异。2、高中生的学习倦怠水平与生命意义感、学习动机水平呈显著的负相关,学习动机在生命意义感影响学业倦怠中起了中介作用。3、基于生命意义感的团体辅导降低了高中生的学业倦怠水平,能够有效缓解高中生的学业倦怠。

关键词： 对抗学习   恶意软件检测   对抗恶意软件检测   深度学习   对抗样本   对抗训练   集成学习   对抗样本检测  

摘要： 恶意软件依然是网络安全的主要威胁之一。面对日益增长的恶意软件及其新变种,传统检测方法越来越受限于效率不足的问题。为了弥补缺陷,恶意软件分析师倾向于采用基于机器学习(Machine Learning,ML)的检测系统,其能在一定程度上实现自动化检测且检测效果良好,其中特别是深度学习(Deep Learning,DL)方法和技术在恶意软件检测领域中越趋流行。然而,ML模型无法应对对抗恶意软件样本攻击,相关领域研究者提出了一些攻击方法和防御策略,但设计一个在对抗环境下鲁棒的恶意软件检测器依然充满挑战。本文宗旨在于呈现对抗环境下的恶意软件检测,并提出新的攻击与防御方法,为未来的研究打下基础。为此,本文借助对抗学习相关方法和技术系统化对抗恶意软件检测。系统化框架包括整合相关领域中的假设、攻击、防御和安全属性,通过偏序集细致化描述攻击和防御双方的知识场景,不同场景下不同的方法不具可比性。进一步地,本文对现有主流攻击方法和防御方法进行分类,总结攻防双方之间的对抗演化升级路线,点睛当前具有前景的防御机制和攻击方法,并讨论领域相关的研究难点。在新建框架的基础上,以增强基于DL的恶意软件检测器鲁棒性为中心,本文提出新的新的防御机制。主要的创新工作如下:(ⅰ)本文提出了一种对抗学习技术的恶意软件检测器鲁棒性增强框架。框架根据六个防御技术设计,其中部分防御已在现有文献中出现,其余则首次被提出。本文首先在本地安卓恶意软件数据集上使用20个攻击(包括11个灰盒攻击和9个白盒攻击)对防御框架有效性进行验证,然后将框架应用于对抗恶意软件分类挑战赛并获得冠军。进一步的实验结果显示极小极大对抗训练(Min-max Adversarial Training)显著地提高模型的鲁棒性,但基于集成学习的防御可能无益于对抗恶意软件检测。(ⅱ)本文提出了一种对抗深度学习集成的防御方法,称为Adversarial Deep Ensemble(ADE),用于从攻击者和防御者双方视角分析集成学习在规避攻击下的有效性。“集成”允许攻击者通过组织多种恶意软件修改的操作集与多个对抗样本生成方法发动混合攻击;作为对手,“集成”允许防御者通过组织多个分类器设计防御机制。进一步地,本文采用混合攻击实例化极小极大对抗训练框架,以增强神经网络集成模型的鲁棒性,即ADE。本文在两个安卓恶意软件数据集上通过26个不同的攻击实验验证防御模型的有效性。实验结果表明ADE可有效防御除了混合攻击和拟态(Mimicry)类攻击以外的攻击生成的对抗样本;集成学习本身能提高模型鲁棒性的前提是其包括的基本模型的鲁棒性要足够好;物理世界的混合攻击可有效降低几十个杀软组成Virus Total服务效果。(ⅲ)本文提出了一种原则化对抗检测(Principled Adversarial Detection,PAD)方法。“原则化”指理论上保证极小极大对抗训练内部最大化的攻击效果和外部最小化的的收敛性,两者均有效对于对抗训练而言,缺一不可。因为此处采用极小极大对抗训练增强无监督学习的对抗样本检测器,故更名为对抗检测,以示区别,其中对抗样本检测器意图将对抗样本检测为离群点,便于后期对其做进一步的检查。PAD从理论上保证极小极大对抗检测的内部(近似)最大化与最优攻击之间的差距以及训练时外部最小化的收敛性分析性。本文进一步地通过混合攻击实例化对抗检测。此外,为了得到鲁棒的软件特征表示,本文提出一种新的网络模型结构学习应用系统接口(Application Programming Interface,API)函数相关的特征。最后,防御的有效性通过在两个安卓数据集上分别采用小扰动的对抗样本和高自信度的对抗样本进行实验验证。实验结果显示PAD可有效检测使用小扰动的攻击方法,但无法有效检测高自信度的对抗样本;通过混合攻击增强的对抗检测模型能有效检测多种攻击,包括本文提出的混合攻击,但无法高效检测拟态(Mimicry)类攻击。

关键词： 元学习   图像识别   小样本学习   深度学习   人脸防伪  

摘要： 基于深度学习的图像识别方法一般训练一个深度学习模型来完成图像识别任务。近年来,这类方法在众多图像识别数据库上都取得了远超传统图像识别方法的识别准确率。然而,这类方法在实际应用中仍然存在较多的问题。其中一个主要问题为过拟合,即深度学习模型拟合了训练数据但是无法在测试数据上取得令人满意的识别准确率。主要表现为以下两种形式:第一,当训练图像数据量过少时,深度学习模型虽然很好地拟合了训练数据,但是却难以在训练数据上学到具有泛化性的数据特征,从而导致其无法准确地识别测试图像。第二,深度学习模型拟合了训练数据的分布,然而当测试数据与训练数据的分布之间存在差异时,深度学习模型往往无法很好地适配测试数据的数据分布,从而使它的测试性能受到一定的影响。不同的数据分布一般被叫做不同的域。 为了避免第一种过拟合形式,研究人员通常会搜集并精心标注大量图像数据以增加训练数据量。然而这种解决方案极其耗时耗力。因此,如何使深度学习模型在少量图像数据上学到泛化性强的图像识别特征是一个重要问题,学术界将这个问题叫做小样本图像识别问题。为了避免第二种过拟合形式以及为了提高深度学习模型在测试数据的数据分布(目标域)上的性能表现,研究人员提出了多种域泛化方法以及域自适应方法。域泛化是指如何使深度学习模型在有限域的训练数据上学到可以泛化到其他域的特征。域自适应是指在利用训练数据的基础上,如何使深度学习模型能高效地利用目标域的有限数据来适配该目标域。 最近几年,研究学者提出大量方法来解决基于深度学习的图像识别存在的包括过拟合在内的各种问题。在众多方法中,基于元学习的方法展现了巨大的潜力。因此,本文将研究元学习并通过创新性地改进和扩展元学习来解决小样本图像识别、域泛化以及域自适应相关的问题。具体来讲,本文的研究创新点以及研究内容主要有以下几点: 1.本文向学术界展示了基于元学习的小样本图像识别方法的一种独特实验现象,即在小样本图像识别过程中,与常规深度学习模型相比,元学习器(元学习模型)通常将更多的注意力集中在顶部神经层(接近于输出端的神经层)的更新上。本文巧妙地利用了这一实验现象并提出了一种新颖的逐层自适应更新(Layer-Wise Adaptive Updating,LWAU)的元学习方法。实验证明了LWAU比现有方法的小样本图像识别性能更好。另外,LWAU的元学习器学到了更加通用同时更加稀疏的图像识别特征,而这为LWAU带来了另一个优势,即更快地小样本图像识别测试速度。相比于现有基于元学习的方法,LWAU可以使元学习器的小样本图像识别速度提升至少5倍。 2.本文借鉴了一些人类认知方面的研究工作,并认为小样本图像识别的两个关键因素为先验知识以及视觉注意力,然而现有基于元学习的小样本图像识别方法很少重视这两个关键因素。本文设计了一种新的元学习框架,并提出了三种方法利用先验知识和视觉注意力来提升小样本图像识别性能。另外,本文还向学术界展示了基于元学习的小样本图像识别方法中的另一个问题:任务过拟合,并提出了一个基准来量化元学习方法的任务过拟合程度。实验证明,先验知识和注意力机制不仅可以显著改善基于元学习的小样本图像识别的性能,同时也可以很好地缓解元学习方法的任务过拟合程度,表明了先验知识和视觉注意力机制对于元学习的重要意义。 3.人脸防伪是比较典型的训练数据与测试数据之间存在域差异的任务,这是因为在新的人脸防伪实际应用中,人们通常会使用新的人脸拍摄条件(摄像头、光线、背景等)拍摄人脸图像。不同拍摄条件下的真假人脸图像会有一定的分布差异,从而形成了不同的域。本文尝试通过元学习来解决人脸防伪的域泛化与小样本域自适应问题。本文将人脸防伪的这两个问题转化为零样本与小样本学习问题,并提出了一种自适应内部更新的元人脸防伪(AIM-FAS)方法来解决该问题。另外,本文还创新性地利用元学习思想提出了一种叫做Auto-Label的标签搜索方法来搜索更适用于人脸防伪的回归标签。实验证明,AIM-FAS可以比现有基于深度学习的方法更好地解决人脸防伪的零样本和小样本学习问题,并且与人工设置的标签相比,Auto-Label搜索到的回归标签不仅可以提升了AIM-FAS的性能,同时也可以提升现有人脸防伪方法的性能。 4.本文还通过元学习解决人脸防伪中一种特有的单类别域自适应问题。这个问题出现的原因是很少有人使用假人脸迷惑人脸识别系统,所以新的人脸防伪应用通常可以拍摄到大量的真人脸图像却几乎拍摄不到假人脸图像。这就导致一个新的实际问题,即如何仅利用新的应用中的真人脸来使人脸真伪鉴别器适配该应用的人脸域(数据分布)。本文创新性地提出了一种基于元学习的单类别域自适应人脸防伪(One-Class Domain Adaption Face Anti-Spoofing,OCDA-FAS)方法来解决这个问题

关键词： 卫星图像   海雾检测   图像分割   深度学习  

摘要： 海雾是一种发生于海域及其沿岸的灾害性气象,它会对海上的生产生活造成巨大的危害。从上世纪70年代初,学者们就致力于海雾特征的研究并试图寻找准确检测海雾的方法。海雾检测领域的主流思路是基于云雾辐射特性上的差别进行研究,学者们所提出的传统方法多为依赖于经验的阈值法。这些方法往往需要高水平的专业知识且未能达到令人满意的预测精度。深度学习方法已在计算机视觉领域取得了巨大成功,然而,将深度学习技术应用于海雾检测方面的研究并不多见。因此,本文决定使用深度学习技术来对中国黄、渤海海域的海雾进行检测。本文工作的主要内容分为三部分:构建海雾数据集、训练深度卷积网络进行海雾预测和实现自动化的海雾预测系统。在数据集构建方面,本文建立了高精度高分辨率的海雾卫星图像数据集。本文采取日本向日葵8号气象卫星的卫星遥感数据为数据源,指定区域为中国黄、渤海海域。本文提出了两种制作高精度标签数据的方法,并基于此成功构建了高标注精度的海雾数据集。在网络结构设计方面,本文尝试了分割领域的经典卷积神经网络并选定D-LinkNet为最终的基础模型。在此之后,本文对网络模型进行了优化,具体内容包括使用ASPP空洞空间池化金字塔替换D-Block;引入注意力机制,使用DA-Net提出的PAM模块,该注意力机制显著扩大了感受野,能够更全面地捕捉海雾信息。最后,本文完整地实现了一套自动化的海雾检测系统,该系统很好地满足了气象工作人员的需要。该系统已被投入使用并稳定运行至今。本文提出的海雾分割算法,在自建数据集上达到了很高的准确性和实时性,很高程度地满足了气象工作人员对海雾预报的需求,同时也为后续有关海雾领域的研究工作提供了一些可被借鉴的思路。

关键词： 目标定位   视觉注意力机制   循环神经网络   深度强化学习  

摘要： 目标定位作为计算机视觉中最基本、最具挑战性的问题之一。以往基于深度学习的目标定位算法中,大多通过穷举式生成候选区域来确定目标包围框,算法效率低、时间复杂度高。现有基于深度强化学习的目标定位算法中,观测位置一般通过不断地对特征图进行计算来确定或直接采取随机生成的初始观测位置,这在一定程度上增加了检测难度,产生了大量的冗余计算。此外,一些方法采取预定义搜索区域的设置,还有可能错过一些具有更好位置的边界框。因此,本文围绕计算机视觉注意力机制理论,针对现阶段不同的深度强化学习目标定位算法展开研究,提出了两种深度强化学习目标定位模型如下:1)为了模拟人眼的视觉注意机制,快速、高效地搜索和定位图像目标,提出了一种基于循环神经网络的联合回归深度强化学习目标定位模型,该模型以循环神经网络为主体框架,基于硬注意力机制采样初始观测位置,然后不断地将历史观测信息与当前时刻的观测信息融合并做出综合分析,以训练智能体(Agent)做出各种包围框调整动作快速定位目标,并联合回归器对智能体所定位的目标包围框进行精细调整。2)提出了一种基于深度强化学习的两阶段注意力目标定位模型,首先,该模型基于软注意力机制来模拟人眼的视觉注意机制,结合以往的“认知”信息与当前的观测信息,实现对图像目标快速、粗略的初步定位,然后将图像信息与网络的“历史经验”相结合以指导智能体不断进行动作调整以改变注意区域的位置和范围,最后通过回归器对智能体指导所得的目标包围框进行精细调整。实验表明,在Pascal VOC数据集上所提出模型能够在少数时间步内快速、准确地定位目标,且与传统方法相比速度优势明显,与类似方法相比精度也有所提升。