关键词： 投影字典对学习   深度学习   SAR图像分类  

摘要： 在遥感领域,合成孔径雷达（Synthetic Aperture Radar,SAR）因其能够在全天候条件下提供大量地面图像而占有重要地位。与光学遥感图像不同,SAR遥感图像不受天气等外界条件干扰,因此可以胜任各种天气下的工作。然而,SAR图像本身与人的视觉认知存在较大差异,所需目标信息不能通过直观的视觉方式理解,往往需要具有遥感背景的专业人员进行识别。此外,图像本身也面临着散斑噪声干扰、数据采集困难及目标特征可变的等一系列问题。因此,如何充分发挥SAR遥感图像的优势,并基于人工智能算法,实现精准高效的SAR图像分类任务成为了广泛关注的焦点。 SAR图像的分类性能很大程度上依赖于特征学习,良好鲁棒的特征将会显著提升SAR图像分类任务的性能。其中,深度神经网络（Deep Neural Networks,DNN）因其卓越的特征提取能力已经广泛应用于SAR图像分类。但深度神经网络模型在样本量较少的情况下往往面临着过拟合和鲁棒性不强等问题。相反,字典学习（Dictionary Learning,DL）作为经典的特征学习方法能够在一定程度上解决这些问题。随着人们对SAR图像分类的准确性及鲁棒性的要求不断提高,近年来将深度学习与字典学习相结合的方法得到越来越多研究者的关注并取得了显著进展。然而,现有的字典学习及深度字典学习方法依旧存在特征学习能力不强、特征质量不高、优化难度大、图像背景信息干扰、噪声鲁棒性不强和空间资源消耗大等一系列问题。 因此,本文将SAR图像分类作为应用背景,针对上述一系列具体问题,展开了对深度投影字典对学习方法的研究与讨论。其目的在于,将改良的投影字典对学习方法与深度神经网络相结合,实现精准高效的SAR图像分类任务,并开发了一个面向SAR遥感图像的多算法分类系统来对某个（或多个）应用领域的SAR遥感图像进行分类,从而解决具体实际问题。本文的主要研究工作如下所示: （1）提出了基于深度字典对学习的SAR图像分类方法（Deep Dictionary Piar Learning,DDPL）。该方法针对深度神经网络直接提取的特征与字典对学习（Dictionary Piar Learning,DPL）方法不匹配的问题,尝试将深度神经网络与字典对学习算法相结合,实现两者的联合学习,并集成到端到端的深度字典对学习网络中。其中,深度神经网络用于学习适用于DPL算法的判别特征,DPL算法用于学习判别字典并反向引导深度神经网络的更新,进而提升了特征学习能力。 （2）提出了基于图正则多约束深度双字典对学习的SAR图像分类框架（GR-CD3PL）。首先,为了分离不同类别之间共享的背景或噪声信息,通过将DPL中的合成字典分解为类特定和类共享合成字典,将分析字典分解为类特定和类共享分析字典,提出了双字典对学习方法（Double Dictionary Pair Learning,D2PL）。其次,为了进一步增强D2PL的鲁棒性,通过将7)范数约束和核范数约束分别应用于分析字典和合成字典,提出了多约束双字典对学习方法（Constraints Double Dictionary Pair Learning,CD2PL）。最后,为了更有效地进行判别表示学习和增强深度特征的紧凑性,通过将CD2PL、深度神经网络和图判别学习集成到一个端到端的学习框架中,提出了图正则多约束深度双字典对学习网络（Graph Regularized-Constraints Deep Double Dictionary Pair Learning Network,GR-CD3PL）。大量实验结果验证了所提出的三种方法在SAR图像特征学习和分类方面的有效性。 （3）提出了基于熵的深度低秩字典对学习网络（Entropy Based Deep Low-Rank Dictionary Pair Learning Network,EDLRDPL＿Net）。首先,针对前述深度字典对学习网络需要耗费大量空间资源的问题,将熵约束引入到了字典对学习方法中。其次,为保证所学到的系数矩阵的对角结构,即使得同一类的样本具有相似的系数,将低秩约束与熵字典对学习模型相结合,提出了基于熵的低秩字典对学习（Entropy Based Low-Rank Dictionary Pair Learning,ELRDPL）方法。最后,将ELRDPL与深度神经网络相结合,提出了基于熵的深度低秩字典对学习网络。在四个SAR图像分类数据集上的大量实验结果证明了EDLRDPL＿Net的有效性。 （4）开发了面向SAR遥感图像的多算法分类系统。通过将本文提出的三种分类算法融入系统中,可以为用户提供SAR图像分类功能。具体来说,该系统包含图像加载、预处理、算法选择和SAR图像识别等功能。最终,该系统可以实现SAR图像准确

关键词： 领域主题演化分析   提示学习   关键词语义功能识别   Bootstrapping  

摘要： 领域主题的演化分析是情报学研究中的热点方向之一,该类研究借助于大量文献数据和多种分析方法对领域内的发展脉络和演进趋势进行梳理。而关键词作为文献作者对研究内容的高度总结凝练,是能在一定语境中准确反应文献主题的重要文献内容特征,是领域演化分析的重要数据对象之一。然而目前基于关键词开展的领域主题演化分析大都存在忽略关键词语义功能,进而影响领域主题演化分析结果精确性的问题。而想要自动识别文献中关键词的语义功能,则存在需要大量高质量的标注数据作为基础的弊端。 基于上述问题,本文提出基于提示学习识别关键词语义功能的领域主题演化分析方法,主要包括以下步骤:首先,通过使用Bootstrapping方法生成提示学习训练模型所需要的标注数据。该方法能够以极少的人工设定初始表示规则,自动标注关键词语义功能。其次,基于提示学习识别关键词语义功能。本文利用预训练语言模型的已有知识和少量标注数据,通过提示学习识别关键词的语义功能。具体地,该步骤首先利用基本提示学习识别关键词语义功能,然后针对基本提示学习识别方法存在的问题,提出一种优化的提示学习方法,以提高识别关键词语义功能结果的准确性。最后,基于关键词语义功能进行领域主题演化分析。通过考虑关键词的语义功能,并结合层次聚类方法,获得多维度、多层级的领域主题,然后分别对问题主题、方法主题以及问题主题与方法主题的关联关系进行演化分析。在实证部分,以我国近20年的图书情报领域的硕士论文为分析数据,检验了本文提出方法的有效性和准确性。

关键词： 医学图像   因果机器学习   深度学习   对比学习   多模态融合学习  

摘要： 随着“因果革命”在人工智能与大数据领域徐徐展开,作为连接因果科学与机器学习桥梁的因果机器学习,成为备受瞩目的研究热点。尤其在医学图像数据中的应用显示出深远的现实意义和研究价值。以往的机器学习,尤其是以深度学习为代表的相关技术,在利用医学图像数据检测各种医疗状况方面表现出了强大的诊断性能。然而,这些方法往往依赖于相关关系推理,忽视了其中的因果关系。这种无法区分相关关系和因果关系的情况可能会导致次优或危险的诊断:对比学习由于仅依赖图像级表示与标签之间的相关关系进行正负样本对的选择,在多标签眼底图像分类场景中出现无法直接适用的问题;深度学习模型存在依赖虚假相关性的问题亟待解决;在多模态皮肤病变分类任务中,由于忽视因果关系,语义重复、信息冗余和噪声问题阻碍着模型的性能。为此,本文借助因果技术和思想来解决上述机器学习方法缺陷及其在医学图像处理上的应用问题,具体研究内容如下: 首先,针对多标签分类场景中对比学习难以明确定义锚图像正负样本对的问题,本文提出了基于特征级别进行因果干预的因果对比学习方法(Causal CL),用于多标签眼底图像分类。该方法改变了以往对比学习方法使用图像级表示来构建正负样本的方式,使用与标签之间有直接关联的因果表示来构建正负样本。Causal CL鼓励具有相同标签的因果表示彼此靠近,并通过对比损失增强因果表示的一致性,从而为基于这些表示的预测提供了更强的判别能力,有助于在多标签场景中区分不同的对象或概念。具体来说,本文设计了一个因果干预模块,通过在特征空间对表示进行干预来学习因果表示。同时,为了学习到更好的通用特征,采用了累计学习策略来训练模型,让模型从特征学习更好地过渡到分类器学习。实验结果表明,该方法在多标签眼底图像分类任务中具有优越性能。 其次,为了进一步提升模型对因果关系的理解,并减少对虚假相关特征的依赖,本文提出了基于判别级别施加因果约束的因果对比学习方法。该方法在Causal CL的基础上进一步提升其因果表征能力,得到了一个更完善的框架,称为两级因果对比学习框架(TL-CCL)。具体来说,先在因果干预模块中加入对抗性对比,引导模型学习更加稳健和准确的表示,使其能够在不同的情境下产生一致的预测结果。然后在判别级别引入因果约束,即通过采用掩码熵正则化来强制分类器只响应因果特征。通过这种因果关系感知的对比训练,提高了整个模型的鲁棒性。实验表明不仅展示了TL-CCL方法对多标签眼底图像分类任务性能的极大提升,还证明了基于判别级别施加因果约束对模型改进的有效性。 最后,针对多模态皮肤病变分类任务中出现的语义重复、信息冗余和噪声问题,本文提出了因果多模态融合学习方法(Causal MFL)。该方法通过将因果推理集成到多模态融合学习网络中,引导模型选择关键信息,提高不同模态之间信息的利用率。具体而言,该方法基于两个因果关系引导:类别因果引导促进了特征提取器关注图像内容与分类类别之间的因果联系,降低了信息的冗余;而解剖因果引导则确保了特征提取器的焦点集中在病变区域,减少了成像伪影等噪声的影响。此外,为了能够更有效地捕捉和利用两种模态之间的相关性和互补信息,采用了交叉注意力机制来优化模态特征级的融合。在多模态多标签皮肤病变数据集上的对比实验和消融实验证明了Causal MFL方法的优越性能。

关键词： 环境声音识别   循环神经网络   注意力   端到端   平行子结构  

摘要： 环境声音识别的目的是从各种环境声中识别出声音的类别。近年来随着科技的进步和深度学习的发展,环境声音识别在嵌入式自动音频分类设备,智慧城市里基于音频的监控系统等应用中得到有效应用。特别是卷积神经网络在环境声音识别方向上的发展,有效提高了声音识别的准确率。但是它们也普遍存在两个问题:一个是模型的特征提取模块普遍采用卷积神经网络,然后根据低级特征图再次利用卷积或者残差等二维结构的模型提取高级特征并融合,这相当于将音频当成图像处理,忽视了音频本身的时序特性;另一个是,在特征提取方向存在两种不同的方法,对原始音频进行人工特征合成和直接对音频进行端到端地处理,两种方法都能起到不错的效果,但是后者的特征提取部分不够完备,远没有前者发展成熟。基于上述背景,本文提出两种环境声音识别的模型。论文的主要工作如下: (1)本文提出了一种环境声音识别的二阶循环神经网络方法。 针对传统循环神经网络聚合时序信息有限的问题,本文提出将循环神经网络的隐藏层计算方式从只与前一个时刻相关更进一步到与前两个时刻相关,可以更好聚合时序信息。此外,针对模型的分类模块,本文使用全局注意力模块而非传统全连接网络,在准确率上取得了较好的效果。 (2)本文提出了一种环境声音识别的卷积神经网络方法。 针对近年来ETE模型中特征提取部分设计不足的问题,本文提出了带有多尺度平行子结构的特征提取方法,同时提出了平行子结构参数迭代算法用以计算出最合适的超参数设置,构建网络模型结构,取得了较好的效果。

关键词： 自然语言处理   文本分类   提示学习   提示初始化  

摘要： 随着自注意力(Self-Attention)机制对自然语言建模能力的显著提升,预训练语言模型(Pre-trained Language Model,PLM)在自然语言处理(Natural Language Processing,NLP)领域取得了统治级别的优势。近年来,各类参数高效学习(Parameter-Efficient Learning)方法层出不穷,提示学习(Prompt Learning)则是其中最具代表性的。通过将输入嵌入到模板的方式,提示学习能够对齐下游任务处理与语言模型预训练过程,充分挖掘预训练语言模型的潜力,并降低模型微调的成本,进一步扩展其应用场景。在现阶段提示学习领域中,大量研究表明提示(Prompt)的质量对语言模型表现至关重要,而现有的提示初始化方法往往不是最优的。针对提示学习中存在的问题,围绕文本分类(Text Classification,TC)任务,本文对提示初始化方法进行了深入的研究。具体来讲,本文在现阶段两个主流研究方向上进行了创新和改进,并进一步统一了提示初始化范式,内容如下: (1)本文提出基于数据增强的提示自监督预训练方法:通用提示预训练(Universal Prompt Pre-train,UPP)。UPP一方面利用生文本的连续性质构造提示预训练任务;另一方面则利用自然语言生成(Natural Language Generating,NLG)任务中样本的内在联系,提出数据增强修正(Data Augmentation and Correction,DAC)技术将其改造为提示预训练任务。在经过充分的预训练后,使语言模型获得一个应用在下游任务上的较优提示初始化值,大幅提升了其在文本分类任务上的表现。 (2)本文提出基于知识蒸馏的提示迁移初始化(Prompt Initialization by Transfer,PIT)方法:PIT结合知识蒸馏(Knowledge Distillation,KD)思想提出蒸馏修正(Distillation Correction,DC)技术重构高细粒度文本分类任务和多领域文本分类任务形式,并指数级扩大了任务规模,获得具有软标签的提示上游训练任务。提示在上游任务集训练完成后,迁移应用至语言模型处理目标任务的提示微调(Prompt-based Tuning)过程中,大幅提升了语言模型的提示学习性能。 (3)本文提出两阶段提示预训练(Two-Stage Prompt Pre-Train,TSPPT)方法:TSPPT引入通用子提示(Universal Sub-Prompt,USP)与任务子提示(Task-oriented Sub-Prompt,TSP),并在两个前置阶段使用UPP和PIT方法分别对子提示进行训练。以拼接后的子提示为初始化值,应用到语言模型在目标任务上提示微调的过程中。TSPPT通过统一提示初始化范式,显著提升了语言模型的提示学习性能,取得了现阶段最高水平(State-Of-The-Art,SOTA)表现。 本文以自然语言处理领域中文本分类任务为目标,通过实验探究UPP、PIT和TSPPT的性能表现,对提示学习领域中的提示初始化问题进行深入研究与分析。

关键词： 不确定性优化调度   强化学习   泛化性   多任务学习   元学习  

摘要： “双碳”目标的建设背景下,新型电力系统是具有多重不确定性的复杂动态系统,运行调度业务发展为更为复杂的多阶段优化决策问题。传统基于确定性建模求解的电力调度最优决策理论难以准确描述不确定性因素,精细化建模与求解源网荷储协同运行问题难度大,解决运行调度问题亟需引入新且有效的决策方法。强化学习作为解决多阶段序贯决策问题的重要科学范式,通过在与环境的交互中不断学习,对于大规模的序贯决策问题具有强大的学习能力。但目前强化学习在电力系统中的实际应用较少,对应用场景的低泛化性是阻碍其工程应用的关键技术瓶颈。因此,针对上述痛点问题,本文研究适应多不确定性场景的电力调度强化学习方法及泛化性提升手段。 首先,针对现有强化学习方法将电力调度问题看作是单一马尔科夫链决策过程,无法明确状态转移而导致决策泛化性有限与最优性不足的问题,本文将日内优化调度问题描述为多个马尔科夫链决策过程,并提出了一种面向强不确定性的电力调度隐义马尔科夫链建模方法。该方法通过定义调度问题中的隐义以将多不确定性场景区分,进而明确状态转移并细分场景信息。最后确立了通过挖掘隐义及其隐含知识以求得通用性调度策略的解决思路。 其次,本文针对现有研究中对考虑电力调度场景差异并进行互异性建模的研究不足,提出了基于隐义辨识的多任务深度强化学习优化调度方法,该方法定义电网运行方式作为隐义,通过在决策前聚类分析隐义以区分和提取典型运行场景,进一步考虑场景差异进行多任务建模,指导构建基于隐义辨识的多任务深度强化学习优化调度模型,在线决策时为未先验调度任务的匹配场景标签,调用所属场景的子任务模型快速求解实时调度任务。 最后,目前研究较少将拓扑变化纳入不确定性因素考量,同时机器自主识别场景差异并指导调度策略的相关研究仍存在大量空白。因此本文提出一种基于隐义嵌入的元强化学习优化调度方法。该方法将强化学习四元组定义为隐义,将提取隐义与挖掘其隐含知识的过程,嵌入到电力调度马尔科夫链过程的探索中,让智能体自主识别不同场景的隐义并挖掘其编码特征,指导模型学习到基于隐义导向的通用性调度策略,快速适应未先验场景下的优化调度任务。