关键词： 主动学习   不确定性估计   数据增强   分布偏移  

摘要： 主动学习是一种针对数据注释的研究技术,旨在降低成本的同时提升模型性能。通过合理的采样策略,可有效地减少数据标注的昂贵开销,并减轻深度学习模型对于大量标注数据的依赖。然而,如何合理设置采样策略以在保持模型性能的基础上实现快速收敛,成为了关键所在。不确定性估计作为一种量化结果可靠性的方式,为上述问题提供了可靠解决思路。基于不确定性估计的采样策略专注于评估未标注数据的不确定性程度,以便选择对模型再训练最有价值的样本。通过该方式,主动学习可以更聚焦于高质量样本,进而快速提升模型的性能。 尽管不确定性估计已经在主动学习中展现了显著优势,但此类方法仍然存在一些亟待解决的问题:1)不确定性策略往往基于模型对未标记样本做出评估,该策略很大程度上依赖模型性能。当模型无法精确地捕捉底层数据分布时,不确定性估计可能无法发挥应有的作用。2)原始数据自身的问题也会对不确定性估计造成潜在影响。当数据辨识度较低时,数据中蕴含的噪声信息会严重影响不确定性估计的可靠性。因此,研究如何缓解模型依赖问题以及样本中噪声信息的干扰问题,对增强主动学习中的不确定性估计具有重要意义。 针对以上挑战,本文分别从分布偏移和特征重组两个角度展开研究,提出两种主动学习策略。具体而言,本文针对不确定性估计存在的模型依赖问题,从分布偏移的角度出发,提出了一种基于分布偏移增强不确定性估计的方法。该方法通过应用‘强’和‘弱’两种不同的数据增强策略,诱导数据产生不同角度的分布偏移,并以此引入更多可度量的不确定性。根据数据本身所固有的语义一致性原则,在分布偏移的影响下发生最大变化的样本具有更丰富的信息量。基于此,依据模型不可知的数据增强策略所引起的分布差异来度量不确定性,显著减轻了对模型性能的依赖。此外,本文针对数据本身的噪声信息对不确定性估计带来的影响,从特征重组的角度出发,又提出了一种基于特征重组增强不确定性估计的方法。该方法通过打乱潜在特征来扰动数据本身的信息结构,引入更多不确定性。同时,利用一个可靠的网络保持重组特征与原有特征的一致性。基于此,信息扰动后的数据特征与原有数据特征会保持相同的预测结果。反之,输出结果产生较大变化的数据会蕴含更多的信息量。因此,根据特征重组对未标记样本进行不确定性估计,可有效缓解噪声干扰问题。本文通过在基准数据集上进行的充分实验,验证了所提出方法的有效性。

关键词： 动态图   表示学习   模体   图神经网络  

摘要： 动态图作为真实世界中普遍存在的数据类型之一,对其进行有效建模具有重要的研究意义与应用价值。动态图表示学习旨在从动态演化的图数据中学习到不同时刻图/节点的低维潜在向量表示,进而服务于链接预测、节点分类等下游任务。现有基于图神经网络的动态图表示学习方法主要建模节点交互时节点与连边信息,对图演化过程中的复杂拓扑结构建模不足,存在时效性不强的问题。为此,本文从网络模体的角度对动态图表示学习方法及其应用进行了深入研究,主要包括以下三个方面: (1)针对动态图表示学习方法存在的复杂拓扑结构建模不足问题,提出了一种基于模体重构的动态图神经网络表示学习方法,该方法首先设计了一种基于时间和空间的动态模体采样策略,以提取节点邻域的动态交互模式;在此基础上,构建了基于模体重构的动态图神经网络模型,该模型利用动态模体重构节点邻域,为聚合节点邻域信息提供了新的计算图;进一步,构建了基于神经常微分方程的模体信息聚合方法,以实现对任意时刻节点的表示。实验在7种公开动态图数据集上与6种最新的动态图表示学习方法相比,所提方法在动态链接预测与节点分类任务中都获得了更优的结果。 (2)针对模体重构动态图神经网络表示学习方法训练效率缓慢的问题,提出了一种加速的模体重构动态图神经网络表示学习方法,该方法分别设计了面向模体采样与邻域消息聚合加速的记忆模块,有效避免了模型训练过程中模体的重复采样和邻域消息的重复聚合计算。实验结果表明,所提方法能够在较少损失模型精度的同时显著提升训练速度。 (3)以本文模体重构的动态图表示学习方法为核心技术,设计并实现了面向科技企业的图结构学习驱动的企业科技信息服务系统,该系统实现了面向企业的关系画像与政策推荐功能,能够有效缓解目前科技企业存在的政策对接不及时与不精准的痛点问题。

关键词： 超声   肺   穿刺活检   机器学习   预测模型  

摘要： 目的: 本研究旨在通过应用机器学习算法,分别构建超声引导下经皮肺穿刺活检术后出血或气胸风险的预测模型,评估模型效能及各个变量对预测的贡献度,总结穿刺经验,为临床尽早识别可能发生并发症的高风险患者提供证据支持,从而提早干预、降低主要并发症发生率及风险。 方法: 1、回顾性分析2017年1月--2022年6月间行超声引导下经皮肺穿刺活检术的所有患者病例,主要结局分为出血组(术后有出血、术后无出血)、气胸组(术后有气胸、术后无气胸)。收集所有患者相关临床信息、病灶特征及穿刺相关资料。将全部数据随机以7:3划分为训练集和测试集,运用随机负例采样方式,对出血组及气胸组分别构造10000个正例样本和负例样本比例为1:1的数据集,通过单因素逻辑回归,保留P≤0.05的变量,统计每个变量的入选频次,分别选取出血组和气胸组频数前10名的变量进入机器学习模型构建。 2、使用总样本中70%划分为训练集的样本构建术后出血和术后气胸的逻辑回归方程预测模型,并进行效能评估。 3、分别在出血组和气胸组的训练集中将所有阳性样本和随机采样选取同等数量的阴性样本进行组合,每组建立阳性样本组合相同但阴性样本组合不同的新的数据子集,每个数据子集采用决策树算法作为基础模型,并使用梯度提升机器学习方法各构建5个梯度提升分类器模型。对上述2组(出血组5个、气胸组5个)模型引入多数投票机制集成方法,分别再建立一个多数投票型预测模型。对比各组逻辑回归方程预测模型、5个梯度提升模型和投票机制模型的效能,得出最优模型。 结果: 1、根据纳排标准,排除116名患者,最终纳入899名患者,术后共88名(9.8%)患者发生并发症,其中出血65人(7.2%),气胸26人(2.8%),胸膜反应1人(0.1%)。 2、出血组及气胸组的最优模型均为投票机制预测模型,其受试者工作曲线下面积分别为0.77(95%CI 0.64-0.89,P<0.05)、0.87(95%CI 0.79-0.94,P<0.05)。出血组的逻辑回归及5个梯度提升分类器预测模型GBC＿0至GBC＿4的受试者工作曲线下面积分别如下:0.62(95%CI 0.47-0.76,P<0.05)、0.71(95%CI0.60-0.82,P<0.05)、0.73(95%CI 0.61-0.85,P<0.05)、0.70(95%CI 0.58-0.83,P<0.05)、0.70(95%CI 0.58-0.82,P<0.05)、0.65(95%CI 0.50-0.81,P<0.05)。气胸组的逻辑回归及5个梯度提升分类器预测模型GBC＿0至GBC＿4的受试者工作曲线下面积分别如下:0.61(95%CI 0.42-0.79,P<0.05)、0.70(95%CI0.45-0.95,P<0.05)、0.73(95%CI 0.53-0.93,P<0.05)、0.82(95%CI 0.66-0.98,P<0.05)、0.79(95%CI 0.68-0.89,P<0.05)、0.84(95%CI 0.80-0.90,P<0.05)。 3、根据出血组的SHAP直方图结果显示,在GBC＿0至GBC＿4这5个预测术后出血风险的梯度提升分类器模型中,各个模型贡献度排名第一的变量及其对相应模型贡献度结果如下:病灶-胸膜接触弧长(23%)、病灶内坏死灶(50%)、病灶位置(33%)、空气支气管征(28%)、病灶内坏死灶(31%);根据气胸组的SHAP直方图结果显示,在GBC＿0至GBC＿4这5个预测术后气胸风险的梯度提升分类器模型中,各个模型贡献度排名第一的变量及其对相应模型贡献度结果如下:病灶-胸膜接触弧长(56%)、病灶最大径(87%)、病灶-胸膜接触弧长(70%)、病灶-胸膜接触弧长(84%)、患者穿刺体位(74%)。 结论: 1、投票型预测模型为预测超声引导经皮肺穿刺活检术后发生出血并发症的最佳模型,对模型贡献度较大的变量为病灶内坏死灶、病灶位置、空气支气管征以及病灶-胸膜接触弧长;对于病灶内有坏死灶或空气支气管征,或病灶处于中下肺者、或病灶-胸膜接触弧长小的患者,临床医师需给予足够的重视,术前予患者进行充分的呼吸训练及心理辅导,提前使用止血药,选择年资较高的穿刺医师,避开病灶中有坏死灶及空气支气管征的部位进行穿刺,可降低术后出血发生的风险。 2、投票型预测模型为预测超声引导经皮肺穿刺活检术后发生气胸并发症的最佳模型,对模型贡献度较大的变量为病灶-胸膜接触弧长、病灶最大径以及患者穿刺体位。对于小病灶、病灶-胸膜接触弧长小的患者,临床医师穿刺时应谨慎操作,同时术前与患者进行充分的呼吸训练及心理辅导,在能够清楚显示病灶切面时尽量选择仰卧位或俯卧位进行穿刺,减少切割次数,可降低术后气胸发生的风险。 3、综合负例采样、多重抽样、梯度提

关键词： 小样本学习   概念原型   注意力机制   度量函数  

摘要： 深度学习算法已广泛应用于多个领域,包括计算机视觉、自然语言处理、医学诊断及金融风险管理等。然而,实际场景中由于标注数据的获取困难,常面临着数据稀缺和标注不准确等挑战,这导致训练的深度学习模型易出现过拟合问题。因此,对小样本学习进行深入研究显得尤为迫切。而人类具有独特的学习能力,可以根据先前的知识或经验将新事物分解为各种概念,例如动物的尾巴、爪子或眼睛等,再组合这些概念以快速识别新事物。若小样本学习算法能够模仿这种能力,准确地捕捉到新类别的关键概念,即使在样本数量有限的情况下也能够实现有效的泛化。目前,研究者们提出了一种新颖的方法,通过将元学习与可被人类理解的概念相结合,来处理小样本学习的问题。然而,人工标注的概念常常存在着标注错误或由于标注者观点的差异而引入的噪声,这给学习算法带来了挑战。针对上述问题,本文提出了一种基于注意力机制的小样本概念学习方法。该方法旨在通过注意力机制来聚焦于关键概念,从而缓解标注噪声对学习过程的干扰,提高小样本学习的分类精度。 (1)针对标注的概念易存在噪声,导致小样本分类精度较低的问题,本文提出基于实例级注意力机制的小样本概念学习。首先,构建深度神经网络参数化的非线性函数为每个样本的概念提取特征。其次,引入实例级别的注意力机制,即针对支持集样本的每个概念特征都有对应的注意力权重,用于计算每个类别的支持集的概念原型。其中,注意力权重为支持集的概念特征与查询样本的概念特征的相似度。最后,计算查询样本的概念特征与所有类别的概念原型之间的距离,将所有概念信息通过距离求和的方式聚合,预测查询样本的类别。实验结果表明,与直接简单平均计算概念原型的方法相比,本文所提方法在小样本分类精度上最高提升了2.6%,证明本文所提方法在提高小样本学习的分类准确性和模型泛化能力方面的有效性。 (2)为了更精准地捕捉关键信息,减少无关噪声的干扰，并且准确反映不同概念间的相似性,本文提出了一种基于双注意力机制的小样本概念学习方法。首先,构建深度神经网络参数化的非线性函数为每个样本的概念提取特征。其次,所提取的概念特征经过注意力特征提取器,输出代表该类别各概念权重的得分向量。再次,引入实例级别的注意力机制,用于计算概念原型。最后,提出了一种新的距离函数,通过计算查询样本的概念特征与各类概念原型之间的距离,将所有概念信息通过距离求和的方式聚合。实验结果表明,与通过简单平均计算概念原型的方法相比,本方法能够显著提升小样本分类的精度,具体表现为最高达到5.6%的精度提升,表明了该方法具有较好的小样本分类性能。

关键词： 连续学习   预训练模型   低秩自适应   自监督学习   信息丢弃机制  

摘要： 深度神经网络(Deep Neural Networks,DNNs)在人工智能领域取得了巨大成功,但仍存在一些局限性,例如在数据增量环境下难以适应数据分布的连续变化,以及在新任务训练时容易忘记之前学习的内容。为了解决这些问题,许多连续学习方法被提出,旨在促进DNNs在源源不断的数据流中适应新数据并保留旧数据上的知识。目前,在诸如智慧医疗、自动驾驶、视频监控等主流的深度学习应用场景中,视觉数据的规模和复杂性不断增长,实现DNNs在增量视觉数据上的连续学习已成为一个关键的研究方向。本文针对视觉数据的连续学习问题进行研究,探讨了在有监督和无监督的连续学习环境中,如何合理地记忆和更新图像类别知识和特征表示,并提出了三种连续学习方法: 1.基于低秩自适应组合的预训练模型连续学习方法。该方法引入并改进了低秩自适应微调方式(Low-Rank Adaption,LoRA),通过可学习的组合系数,将模型在各任务上学到的LoRA模块进行加权组合,以灵活地使用模型在各个任务上学习的知识。此外,该方法还设计了一种参数正交约束,用于减少不同任务上的LoRA模块之间的相互干扰,从而提高了模型的稳定性。在不依赖历史样本回放以及结合历史样本回放策略的情况下,该方法的性能都达到或超越了基于其它微调方式的预训练模型连续学习方法。 2.基于类别原型和任务预测的连续学习方法。通过深入分析预训练模型的特征表示能力,该方法改进了类别原型的提取方式和基于类别原型的最近类别均值分类方法,并在此基础之上提出了一种任务预测方法,利用类别原型预测样本的任务ID。通过预测任务ID,该方法使用LoRA组合方法得到与测试样本所属任务相匹配的模型参数,从而提升样本的分类准确率。在多种典型的连续学习数据集上进行的实验结果表明,该方法提升了多种预训练模型的连续学习能力。 3.基于信息丢弃机制的自监督连续学习方法。该方法在自监督连续学习中引入了信息丢弃机制,以识别并舍弃低信息量的图像特征。进一步地,该方法引入了一种信息丢弃对比损失,旨在约束模型在连续学习过程中的特征表示,促使模型倾向于表示高信息量的特征。这有助于在有限的容量下保留对图像分类有效的表征,以缓解灾难性遗忘问题。在不依赖数据标注的情况下,该方法显著提高了自监督连续学习模型的特征表示质量,并取得了优于现有无监督连续方法的性能。

关键词： 风电功率预测   超短期多步预测   短期预测   短期概率预测   机器学习   集成学习  

摘要： 随着风电的大规模并网,风电出力的不确定性对电网运行的负面影响将会愈加凸显,准确的风电功率预测对于提升电网消纳风电的能力和保障电网安全经济运行具有重要的现实意义。尽管国内外在风电功率预测领域取得了较大的进展,但在应用可行性和预测准确率方面还有进步的空间,同时,正在蓬勃发展的机器学习技术也给提升风电功率预测水平提供了新思路。因此,本文以电网对风电功率预测的实际需求为切入点,重点利用机器学习技术开展短期和超短期风电功率预测研究。 首先,考虑到传统的单步预测模型提供的信息有限,提出了基于双向门控循环单元(bidirectional gated recurrent unit,Bi-GRU)网络和多头注意力(multi-head attention,MHA)的编码器-解码器模型,实现风电功率超短期多步预测。采用“序列-序列”的预测模式,Bi-GRU网络被用于编码器中实现对输入的历史信息和数值天气预报(numerical weather prediction,NWP)信息之间的复杂时间相关特征的提取,并将其保存在编码向量中;两种不同类型的MHA,包括自注意力和交叉注意力,则被用于解码器中,对编码向量进行解码,并输出预测风电功率序列。此外,应用集成学习技术将来自不同预测器的结果进行组合,获得集成预测结果,以增强预测的鲁棒性。采用某实际风电场的数据对所提方法对超前1～4 h的超短期预测效果进行验证,并同其它传统方法进行了比较。 接着,考虑作为短期预测模型主要输入的NWP数据存在较大的内部误差对短期预测准确率产生不利影响,提出了基于多目标优化和误差修正的风电功率短期预测方法。分别构造了以随机森林、支持向量回归、梯度提升回归树和反向传播神经网络为内核的预测模型,获取初步预测结果。利用多目标优化方法求解考虑多个指标的集成权重优化模型,获得集成预测结果。结合历史预测误差的分布特点,考虑风电功率序列的时间相关性和预测误差的动态变化,构造一个基于统计学的误差修正方法,对集成预测结果进行修正,从而提升短期预测的准确性。采用某实际风电场的数据对日前风电功率预测精度进行为期一个月的测试,同单一模型和单目标优化模型进行对比,并分析了误差修正的效果,验证了所提方法的有效性。 最后,考虑到概率密度预测可以提供更多关于风电出力的不确定性信息,提出了结合人工神经网络(artificial neural network,ANN)和自然梯度提升(natural gradient boosting,NGBoost)的两阶段风电功率短期概率预测组合方法。在第一阶段,所选择的包含历史和未来信息的输入特征被送入到ANN中进行特征提取;第二阶段,ANN提取的抽象特征和原始特征进行融合,然后输入到NGBoost模型中,在Boosting集成框架下,利用自然梯度在概率分布空间中更新分布参数以逼近实际分布,最终获得准确的概率预测结果。采用某实际风电场的数据对所提方法的有效性进行验证,比较分析了点预测、区间预测和概率密度预测结果。

摘要： 新高考改革旨在激励学生培养独立思考和多角度探索的能力。在这一背景下，数学学习转变成一个通过多样化方法来理解、关联和应用知识的过程。接下来，我们将以三角函数为例进行深入探讨。一、通过“概念图”法理解任意角与弧度制通过可视化手段理解弧度制的几何意义，符合新高考对“基础性”和“结构化思维”的考查，可以为后续三角函数图像及应用的学习奠定扎实基础。

摘要： 化学是一门以实验为基础且实用性极强的学科。在高中化学的学习之路上，学生常常面临各种困难。关键原因之一在于学生对化学学习缺乏科学的方法。他们无法结合自身特点制定学习计划，导致学习过程缺乏系统性和针对性。同时，由于没有良好的学习习惯，知识的积累和掌握也变得困难。要想解决这些问题，教师起着至关重要的作用。