关键词： 图像检索   高区分性特征提取   相似性度量   深度学习   深度度量学习   损失函数  

摘要： 在互联网技术高速发展进步的环境下,图像数据在数量、类型等方面呈现出井喷式的大幅度增长,这为图像检索近年来的蓬勃发展提供了背景支持,同时也带来了更具挑战性的问题。如何针对不同类型图像的特点进行高区分性特征提取和相似性度量,从而实现图像检索性能的提升一直是相关的难点和重点。伴随着深度学习技术的深入发展,利用深度度量学习方法设计的高性能图像检索应用已然成为学术界和工业界关注的热点方向。其中,有效损失函数的设计作为深度度量学习研究的重要组成部分,受到了广大研究者的重视,产生了众多具有代表性的方法。本文围绕图像检索中深度度量学习方法下的有效损失函数展开研究,主要工作如下:1.讨论了基于样本对的损失函数,考虑到三元组损失已难以满足遥感图像检索中高区分性深度特征提取的需求,本文根据泛化结构提升损失提出全局最优结构损失,并将其应用在遥感图像检索任务中。该方法首先利用基于大边界最近邻LMNN的困难样本采样策略进行有效样本收集,以此加快模型收敛速度;其次,通过为正负样本对的相似度分别设置不同的边界阈值解决现有方法忽视类内结构的不足;再次,为损失函数引入温度调节参数实现模型的全局优化,以弥补现有方法易陷入局部最优的缺陷。最后,在遥感图像检索任务上测试了该方法的性能,实验结果证明:所提出的损失函数在深度嵌入空间的高效性和鲁棒性的增强方面具有良好的表现力,在遥感图像检索任务上成功提升了检索的速度和精度。2.聚焦于图像检索中的深度度量学习方法,分析探索了其中基于样本对的损失函数,提出一种普适的通用样本对损失框架,实现不同形式的损失函数的统一研究视角。在所提框架下,损失函数均可被视为由样本对挖掘和加权两部分共同构成,分别从决策边界设置、样本对挖掘和样本对加权三方面深入分析和研究了不同形式的损失函数,指出了该框架下损失函数设计的关键影响因素并对这些影响因素进行了详细的分析和说明。最后,本文基于该框架提出相似性排序损失,并分别在三个不同图像检索任务上通过实验对该损失进行效果验证,证明了该方法的有效性。3.针对基于样本代理的损失函数在细粒度图像检索中的研究现状,在代理-NCA++损失的基础上,提出一种改进的优化代理交叉熵损失。该损失通过为样本的代理分配概率设置一定的阈值,缓解网络模型训练中的过拟合问题,增强图像特征在深度嵌入空间中的可区分性,达到高性能图像检索的目标。本文在细粒度图像检索任务上进行了性能对比,结果表明本文提出的优化代理交叉熵损失函数在细粒度图像检索任务上具有良好的表现力。

关键词： 元认知   学习能力   中日同形词的翻译   长句的翻译   引号的处理  

摘要： 随着中国教育事业的发展,对培养学习能力的探索,逐渐成为教学中的重要环节。学习能力不足导致学生的学业不佳,不仅是诱发潜在心理疾病的相关因素,而且会对毕业、升学和就业带来负面影响。本次翻译实践所选文本是日本教育研究委员会兼心理学协会的委员三宫真智子学者所著的《通过元认知提高学习能力—基于认知心理学的高效学习方法》一书。元认知可从更高层面对认知本身进行认知,本书旨在“普及元认知与学习状态之间的作用机制”,立足于元认知的层面,对影响学习状况的相关因素进行研究。本书的翻译,有利于改善学习者的精神状态和学习情况,能够为学习模式的改善提供一定的参考。该文本的文本类型是信息型文本,内容叙述客观,逻辑清晰,注重信息传达的准确性。该文本共分为两大部分,第一部分主要阐述了元认知的组成成分与影响学习能力的各项因素之间的联系,是本书的核心内容。第二部分列出了大量的学习方法供读者参考。笔者节选第一部分的主要章节进行翻译。本次翻译实践报告共分为引言、翻译实践简介、文本分析和译前准备、案例分析和结语五个部分。其中案例分析部分是核心章节,笔者结合尤金·奈达的功能对等理论,从中日同形词的翻译、长句的翻译、引号的处理三个方面展开论述。针对中日同形词的翻译,笔者从中日同形近义词和中日同形异义词两部分展开分析,根据词汇的基本含义和具体语境选择恰当译法;针对长句的翻译,笔者从长定语句和长状语句两方面进行论述,在理清句子结构的同时,采用分译、倒译、增译等翻译技巧进行处理;对于引号的处理,笔者从表强调作用的引号,以及表心理引用的引号两方面进行分析,根据引号的不同作用和汉语的表达习惯,对引号进行处理。

关键词： 类脑计算   脉冲神经网络   图像识别   小样本学习  

摘要： 自从机器学习提出以来,计算机的应用范围越来越大,人工神经网络也引领着人工智能领域的研究,近几年,类脑计算的方法发展越来越迅速,特别是自从脉冲神经网络(Spiking Neural Networks,SNNs)的提出,类脑计算的发展到达了高潮。本文利用类脑计算的方式进行了关于图像识别的研究,具体内容如下:首先,介绍了类脑计算的研究背景和意义,综述国内外类脑计算的研究现状,阐述了本文的研究内容和技术路线。其次,针对脉冲神经网络,介绍了相关神经动力学基本原理以及SNNs与人脑神经元的联系,并总结了 SNNs与传统人工神经网络在网络模型和训练方法上的优劣势。第三,针对SNNs的脉冲时间依赖的突触可塑性(Spike Timing Dependent Plasticity,STDP)学习方法,介绍突触可塑性的17种子规则,并做了仿真实验验证子规则之间的搭配方式。第四,鉴于图像分类算法中对未曾训练过的样本的不兼容性,本文研究了一种基于深度学习的可扩展图像分类算法,可以对未曾训练过的样本进行识别并加以分类。通过实验结果证明,测试中添加新的未曾训练过的图像数据,在本研究神经网络中也可以识别出来并得到相对很好的实验结果。第五,针对小样本学习(Few-shot Learning,FSL),进行了视频的分类任务,将视频分解成图像,利用小样本学习的学习方法,搭建网络结构并训练,完成了每种样本只有一个视频时的视频分类任务,并根据结果设计了后续实验并分析可以改进的地方。最后,对论文所做的工作进行了总结,并展望下一步工作。

关键词： 知识蒸馏   软标签   双向   无标签数据  

摘要： 终身学习能够为不断增多的复杂任务提供合适的学习模型,绝大部分的终身学习方法都是为了解决灾难性遗忘的难题(即随着复杂任务数量不断增多,用新任务的数据信息训练模型会干扰到先前任务学习到的知识),其中一种名叫少遗忘学习方法(Learning Without Forgetting,LWF),通过知识蒸馏使得模型在学习新任务时限制参数相对于旧的任务的变化,但是,该方法复习旧的任务和学习新任务会存在不彻底的问题。从软标签强化、软标签记忆和硬标签强化的角度出发,充分发挥知识蒸馏和软标签的作用,提出了3种新的改进方法,分别是基于Hot-Tuning的任务恢复改进算法(Easy-Tuning,E-Tuning,充分学习完新任务后复习旧任务,对旧任务复习能力更强)、基于LWF的多阶段新旧任务复习改进算法(After-LWF,A-LWF,一起学习完新旧任务后再分别复习微调新任务和旧任务,分为FA-LWF、WA-LWF和HA-LWF三种,可同时在新任务和旧任务上表现更好)和基于LWF的双向任务回溯改进算法(Bidirectional-LWF,BD-LWF,一起学习完新旧任务后再一起反向蒸馏新任务和主馏旧任务,在学习新任务时能更有效学习旧任务),并在此基础上使用无标签数据进任务复习,提出其改进方法——基于LWF的无监督学习改进方法(Unlabeled LWF,U-LWF,可利用无限的无标签数据复习旧任务)。在按照两个维度(复杂-简单、简单-复杂、平均分配的多级任务数据集和任务之间数据集有无交叉重叠部分)进行组合的16组多任务数据集中,将提出的三种改进方法同其他已有的10种方法在Backward-Transfer、Forward-Transfer和Average-Accuracy三大指标进行对比实验,结果显示E-Tuning方法相对于HotTuning方法在Average-Accuracy指标高出近2个百分点,HA-LWF方法相对于LWF方法在三个指标上分别高出近4、0.5和2个百分点,BD-LWF方法分别高出近4、1和1.5个百分点。对新方法使用一倍多无标签数据进行无监督学习,在Backward-Transfer指标和Average-Accuracy指标提高近1个百分点。所提出的三大创新点在终身学习任务上相比于原模型而言是有效的:(1)首次在终身学习研究中使用无标签数据方法;(2)首次在终身学习研究中使用双向软标签强化方法;(3)充分发挥软标签对旧任务的复习作用。与此同时,还研究并实验验证了在任务学习过程中,模型中的参数按照重要度依次分布在卷积共享层、全连接共享层和任务Top独立层。

关键词： 初中历史教学   自主学习能力   自主学习   罗杰斯意义学习理论  

摘要： 《基础教育课程改革纲要》(试行)明确指出,培养新课程的目标应当适合现代化与时代要求,让学生初步具备实践能力、创新精神、环境意识和人文素养。在初中历史学科的教学当中,教师应注重培养学生的综合素养,要让学生学会学习,自主学习在历史教学中起到了非常关键的作用。这恰与罗杰斯的意义学习理论的核心教育思想不谋而合。罗杰斯的意义学习理论包括四个方面:(1)意义学习是“完整的人”的学习方式;(2)学生是学习的中心;(3)良好的学习氛围能够促进学习;(4)认知与情感不可或缺。这四个方面为初中历史教学中学生自主学习能力的培养提供一定的实践与理论依据。本文意在结合教育学、心理学等学科的知识,深度理解罗杰斯“意义学习理论”,探索其在初中历史教学中的应用。初中历史教学如何培养学生自主学习能力,如何更好地提高学生的历史学科素养,发挥历史课程的育人功能,是有待初中历史教师思考与解决的关键问题。本文共分为四大部分:第一章标题为罗杰斯的意义学习理论与初中历史教学中学生自主学习能力培养概述。本章主要阐释了罗杰斯意义学习理论的理论基础与概念界定,并阐明了罗杰斯意义学习理论在初中历史教学中培养学生自主学习能力的理论依据。第二章标题为初中历史教学中学生自主学习能力培养现状的调查与分析。笔者首先对初中历史教学中学生自主学习能力培养现状展开调查,采取了多种调查方式,主要是以A中学为例开展调查。调查的对象包括学生和教师,调查的方式主要是问卷调查、教师访谈以及不同类型教师的同课观摩,加上典型案例的展示。通过对数据以及材料的整理、分析与总结,最终得到调查分析的结果,从而发现初中历史学科教学中学生自主学习能力培养存在的问题。第三章标题为罗杰斯意义学习理论指导下初中历史教学中学生自主学习能力培养策略与典型案例分析。笔者根据第二章的调查结果,结合第一章罗杰斯意义学习理论与初中历史教学之间的关系研究,提出罗杰斯意义学习理论指导下初中历史教学中学生自主学习能力培养原则,在此基础上,笔者提出了罗杰斯意义学习理论指导下初中历史教学中学生自主学习能力培养的具体实施策略。第四章标题为本章主要以“第二次工业革命”、“戊戌变法”两次课例进行具体说明。

关键词： 鼻咽癌   调强放射治疗   肿瘤靶区   自动分割   半监督学习  

摘要： 目的:精准的肿瘤靶区(gross tumor volume,GTV)勾画在鼻咽癌调强放射治疗中至关重要。然而,目前鼻咽癌GTV的勾画主要由人工完成,是一个主观且容易出错的过程,并且基于人工勾画的GTV无法避免勾画者内部和外部之间的异质性,这些因素直接或间接地影响了 GTV勾画的准确性。近年来,已有多种深度学习模型用于鼻咽癌GTV的自动分割(勾画),并且取得了较好的分割结果。然而现有的鼻咽癌GTV自动分割模型均基于监督学习,这意味着需要大量的人工标注靶区用于模型训练。但是,要获得大量的、高质量人工标注靶区非常困难,且成本很高。因此,这激励我们能否仅用少量的人工标注靶区来建立鼻咽癌GTV全自动分割模型。基于半监督方式的深度学习网络允许我们利用少部分的标注数据和大部分的未标注数据进行模型训练,极大地减少了模型对人工注释数据的依赖,同时降低成本。另外,基于深度学习模型的鼻咽癌GTV自动分割结果并不完全符合临床要求,对于分割精度比较差的GTV仍需要进一步修改。既往研究表明,基于人机结合的交互式分割(interactive segmentation)方法在图像自动分割后的进一步优化起着重要作用。它允许用户在初始分割的基础上对错误分割的前景或背景提供交互信息,然后模型根据此信息作为约束条件,重新输出满足用户的分割结果。因此,针对以上存在的临床和技术问题,(1)我们拟针对鼻咽癌建立一个新型的基于半监督学习的GTV全自动分割模型,并将此模型与现有的半监督分割模型进行对比来验证它的可行性和先进性;(2)邀请多中心专家对模型勾画的GTV进行修改,进一步评估模型分割的准确性;(3)将建立的自动分割模型用于辅助初级医师勾画GTV,评估在模型的辅助下初级医师勾画GTV的质量改进情况;(4)在鼻咽癌GTV全自动分割模型的基础上,构建一个新型修改(交互式分割)模块,对全自动分割结果较差的GTV进行在线自适应修正以进一步提高GTV勾画的准确性。材料和方法:1.鼻咽癌人工标注靶区(ground truth)数据集的建立回顾性分析了 2010年至2016年间经病理诊断明确的初诊鼻咽癌患者抗肿瘤治疗前的MRI影像。经过纳入和排除标准,共搜集258例。邀请本单位具有10年以上鼻咽癌放疗经验的两位中级医师对258例鼻咽癌的GTVnx和GTVnd进行勾画,同时再邀请一位具有20年以上鼻咽癌放疗经验的高级职称医师对GTV进行最后的审核与修改。建立好人工标注的鼻咽癌GTV数据集后(真实值,groundtruth),将258例鼻咽癌按照一定的比例随机分成训练集(n=180)、验证集(n=20)和测试集(n=58)。2.基于URPC半监督学习方法的鼻咽癌GTV自动分割网络框架的建立本研究选取3D UNet作为骨干网络,在它的基础上构建一个基于不确定性修正的金字塔一致性(uncertainty rectified pyramid consistency,URPC)的半监督分割网络,即URPC网络。该网络主要由金字塔预测网络(pyramidprediction network,PPNet)和不确定性修正模块组成(uncertainty rectifying module)。PPNet主要执行图像分割任务,因为它可以产生多尺度的图像预测。PPNet通过直接最小化的监督损失从标注数据中学习,另外针对不同尺度的预测结果,我们采用多尺度的一致性正则化使PPNet可以直接从未标注的数据中学习。通过这种操作,PPNet可以同时利用标注数据和非标注数据进行学习。不确定性修正模块用于降低噪声对金字塔一致性预测的影响进而提高模型在训练过程中的稳定性。建立好网络框架后,首先研究不同尺度输出(scale)和不确定性修正(uncertainty rectification,UR)项、不确定性最小化(uncertainty minimization,UM)项各个模块对网络的贡献,即网络消融性研究;然后在测试集上与其他5个半监督学习网络(MT、ICT、EM、UAMT和DAN)进行性能对比研究;最后研究URPC网络对非标注数据的利用率。3.不同亚组患者之间模型的分割性能分析(1)分析不同亚组患者之间(性别、年龄、T和N分期、BMI、原发灶和转移淋巴结体积)模型的分割性能差异;(2)通过从GTVnx的开始层面连续等距离地抽取7个层面来分析GTVnx不同层面的分割情况;(3)特别地分析了N3患者环状软骨以下转移淋巴结的自动分割情况。***自动勾画结果的多中心专家评估在测试集中随机选取20例患者,邀请本单位、四川省肿瘤医院和四川省人民医院(每个中心分别选取3位专家,工作经验均在10年以上)共9位放疗专家对URPC自动勾画的GTV进行修改,最后将模型初始勾画的GTV和专家修改后的GTV进行比较,通过(1-DSC)%计

关键词： 模式识别   特征学习   典型相关分析   图强化   图像识别  

摘要： 特征学习是模式识别研究领域中的重要课题,目前已得到广泛应用,涉及的领域有图像识别、目标检测、步态识别和身份认证等。典型相关分析是特征学习方法中的重要代表之一,本文以典型相关分析框架为基础,对其进行进一步深入研究。典型相关分析是一种线性特征学习方法,其目的是在两组高维模态数据中学习到低维投影方向,使得两模态数据在低维子空间中有最大相关性。但实际采集到的数据通常是非线性的复杂数据,典型相关分析难以有效处理;且典型相关分析为无监督方法,没有有效利用数据的标签信息,因此无法得到强鉴别力的特征;此外,方法本身仅针对两模态数据,无法分析更多模态数据之间的关系。针对上述三方面问题,本文以图强化的方法来保持高维空间的几何流形和数据的监督信息,从而提出新的特征学习方法。本文的主要工作内容如下:（1）提出图强化典型相关分析方法。数据在高维空间中的排列往往具有一定几何结构,这些有效的结构信息有助于发现数据间的内在联系;类标签信息做为一种强鉴别力的监督信息,能大幅提升方法目标识别的精准度。本文将高维数据流形结构与类标签监督信息进行相辅融合,最大化模态数据间和类内的相关性,使得原始数据在低维空间中既保持几何结构的同时又具有强鉴别性,从而提出图强化典型相关分析方法。为验证本方法的识别性能,本文分别在XM2VTS人脸数据集和Semeion手写体图像数据集上进行了实验,良好的结果显示了本方法的有效性。（2）提出多模态图强化典型相关分析方法。为解决典型相关分析的模态有限性,本文在图强化典型相关分析的基础上对其进行拓展,提出多模态图强化典型相关分析方法。多模态图强化典型相关分析在保留数据高维散布结构与监督信息的同时,分析了多种模态数据的内在关系,进而获取到多种模态数据的低维特征表示,使得方法有更强鉴别性能。本方法能在多种模态数据中同时学习低维相关特征,在ORL数据集和AR数据集上的大量实验结果展示出本方法的鲁棒性和强鉴别能力,与其他算法的对比中体现本方法在图像识别任务中的优越性。图[14]表[4]参[67]

关键词： 机器学习   半监督学习   局部与全局一致性   密度峰值聚类   情感分类  

摘要： 在现实分类场景中,人们经常需要面对较少的已标记数据以及大量无标记数据。因此,半监督学习成为了新的研究热点。其中基于图的方法在分类正确率上具有明显优势,但随着现实生活中数据量的日益膨胀,半监督图方法因为较高的时间复杂度难以处理数据集规模较大的分类场景。因此,如果能在保持半监督图方法分类正确率的同时,有效降低图方法的时间复杂度,可以使其拥有更加广泛的应用空间。为此,本文以经典半监督图方法LGC为基础,做出了如下研究:首先,本文从缩小图的规模入手,提出了结合改进密度峰值聚类的LGC半监督学习优化方法。针对实际应用中数据量较大的问题,在局部使用聚类,以簇为点生成主干图。为了保证生成的主干图上的节点能够表征原始样本的整体特征分布,该方法基于全局遍历的思想,使用改进后的密度峰值聚类方法,从全局数据样本中迭代筛选出大量中心点,并以这些中心点为顶点构造可以表征原始样本特征分布的图结构,降低了图的规模。实验结果证明,该方法能够保证分类正确率并大幅降低时间成本。随后,本文提出了一种LGC概率矩阵检测与修正方法。该方法首先对使用LGC算法迭代收敛之后的概率矩阵进行检测,提出局部可疑密度与最小概率差值两个指标,找出分类错误可疑度高的点;然后通过删除可疑点重构初始化标签矩阵,并通过再次迭代收敛完成修正。实验证明该方法能够有效提升LGC算法的分类正确率。最后,将前面提出的两种方法进行组合并应用于文本情感分类当中,实验结果验证了本文方法在文本情感分类应用中能够获得较好的分类效果,且时间成本相较于原方法显著降低。

关键词： 车联网   种群博弈   最优回应动态   多代理强化学习   路径规划  

摘要： 自动驾驶车辆的感知能力,计算能力和通信能力是有限的,它无法获得更大范围的交通态势信息,无法部署计算复杂度高的多车协同算法。随着边缘计算,车联网和5G通信技术的发展,道路交通网络的计算,通信和感知能力大大提升,车辆利用道路交通网络的这些能力可以获得更加丰富的交通态势信息,完成一些复杂的任务。因此本文提出了一个基于群体智能的多车协同框架,在边缘云构建群体智能的计算模式,并基于此框架提出了两个算法分别从宏观和微观两个角度来提升道路交通网络的效率和安全。多车路径规划决定了整个道路网络的车流分布,因此从宏观上提升了道路交通网络的效率。当前利用全局交通态势信息为单一车辆规划行驶路径的方法没有考虑多车之间的相互影响,导致道路上出现车辆扎堆现象。采用集中式控制器的多车规划路径算法由于计算复杂度高,并且可能损害车辆自身的利益而不能应用于实际的道路网络中。本文提出了基于最优回应动态的种群博弈来建模多车协同路径规划问题,保证了车辆的自主决策性,也保证了车辆自身利益的最大化。仿真实验表明,本文提出的路径规划算法能够极大地提高道路网络的吞吐量,缩小车辆到达目的地的通行时间,并且使得道路上的车流处于均匀的状态。路口多车协同控制规划了车辆在路口的驾驶行为,保证车辆无碰撞快速的通过路口,因此从微观上提升了道路网络的运转效率和安全性。当前基于无信号灯的路口控制将车辆作为指令执行节点,执行边缘下发的指令。这种方式损害了车辆的自主性,并且无法应对复杂多变的交通态势,存在安全隐患。本文提出了基于多代理强化学习的路口多车协同控制的神经网络模型,并且利用全局的交通态势信息来协调每个代理训练过程,最终达到协同通过路口的结果。仿真实验表明,本文使用的多代理强化学习算法让车辆学会了良好的协同通过路口的策略,达到了极低的车辆碰撞概率。