关键词： 深度学习   小样本学习   迁移学习   注意力机制   对比学习  

摘要： 深度学习技术在图像分类等视觉领域任务上取得了极大的成功。然而,深度学习模型在训练过程中往往需要大量的标注数据,这一要求在实际应用中很难得到满足,尤其是在那些样本稀缺或获取成本高昂的场景下。小样本学习(Few-shot Learning,FSL)技术因此成为解决上述挑战的关键,小样本学习旨在使模型能够从有限的数据中快速学习并泛化到新的任务。本文围绕小样本学习问题,深入探讨了小样本学习的最新举措与知识,并提出了一种新的基于迁移学习的小样本学习方法。开展的具体工作如下: 1.本研究提出的方法着眼于利用预训练模型和大规模数据集的潜力,将以往预训练阶段细分为前期训练与泛化训练两个阶段,在泛化训练阶段引入对比学习策略,设计了Pre-triple算法来提升预训练阶段模型对样本特征的学习与泛化能力。 2.详细讨论了如何通过引入注意力机制来提升小样本学习的效果,利用经典卷积网络模型ResNet与注意力机制,设计一个融合了残差网络和注意力机制的卷积神经网络(Res-Attention)。通过使骨干网络模型聚焦于输入数据中最重要的部分,从而提高了模型在小样本学习场景下的性能。 3.在多个标准数据集上的实验验证,本文的方法相比于现有的小样本学习技术显示出了显著的性能提升,在Mini-ImageNet上模型在1-shot与5-shot情况下均表现优越,分类精度分别高于对比模型3～6个百分点和6～11个百分点。在Cub数据集,模型在1-shot与5-shot情况下分类精度均高于对比模型3～9个百分点和6～10个百分点。此外,本文还进一步探讨了算法对模型的样本特征空间的影响,以及如何通过优化学习策略来提高小样本学习的效果。 总体而言,本文不仅提出了一种有效的小样本学习方法,同时也为深度学习模型在数据稀缺条件下的应用提供了新的视角和思路。

关键词： 委托–代理   社会网络   薪酬激励   学习方法   策略优化  

摘要： 随着城市化和通讯技术的发展,社会变得越来越网络化。人们通过在社会网络中学习他人的行为和策略满足自身需求。在公司治理和金融活动中,委托–代理关系涉及合同设计、监管机制和信息不对称等问题。在有限理性的条件下,委托人和代理人难以直接给出使得自身效用最大化的策略,但可以通过社会网络学习不断优化自身的策略。社会网络学习的过程可以是多阶段、持续性的,网络结构、不确定性和异质性均可能影响策略优化的过程和结果,探索委托–代理关系中的社会网络学习过程对公司治理及合约设计等方面具有重要的理论及实践意义。 本文研究委托–代理关系中的社会网络学习,以金融机构中的雇主和员工为例,探索当市场环境中存在产出不确定性时,如果实行由员工绩效高低确定的薪酬制度,有限理性的雇主(员工)如何通过社会网络学习提高利润(效用)。本文的创新性工作主要包括以下四个方面: 首先,本文对社会网络中的学习过程进行建模,提出考虑产出不确定性和成员异质性的三种社会网络学习方法。本文证明了使用这三种方法,社会网络中个体的不同策略将随着相互学习趋于收敛。 第二,基于代理人完全理性的假设,本文研究了影响同质委托人在随机社会网络中学习效率的因素。经过社会网络学习,同质委托人将就最佳策略达成共识,虽然这一共识由于不确定性的存在倾向于高于理论最优值。社会网络的规模和连接紧密程度、代理人的产出效率和合同周期长度会对共识形成的速度和稳定性产生正向影响。这些发现从社会网络学习的角度解释了行业中统一薪酬标准的形成原因及影响因素。当市场环境中存在不确定性时,雇主形成的薪酬共识可能会存在过度补偿。行业中同质雇主越多、联系越紧密,则可以更快地形成更稳定的统一薪酬标准。员工的产出效率越高、合同周期越长,统一薪酬标准形成的速度越快、越稳定,但也越倾向于过度补偿。 第三,当代理人和委托人都有限理性时,本文研究了委托人和代理人在各自社会网络中的学习。委托–代理关系形成的双层社会网络中,代理人异质性和产出不确定性会反向影响代理人甚至委托人学习的效率。从网络结构上看,扁平化的组织结构可能比流水线、分层或分组的结构更有效地引导代理人达成共识。此外,社会网络中,中心性较高的代理人或委托人有更好的学习效果。本文强调了社会网络拓扑结构对学习结果的重要性,不同的网络结构会影响员工努力趋同以及薪酬标准形成的速度和效果。员工和雇主加强与他人的联系、使自己处于社会网络中心可以让自己有更多的信息优势来优化策略。这些发现为现实世界中组织结构、产出环境以及员工组成的优化提供了理论指导。 第四,本文探讨了委托人应如何根据社会网络中多个代理人的产出推测代理人的隐藏信息并优化策略,分别就产出不确定性或代理人异质性的存在与否给出不同的推测方法。当代理人有限理性且只能在社会网络中学习来优化努力时,考虑代理人的中心性有利于委托人推测代理人的信息。本文研究了随着代理人学习委托人调整策略的过程,并分析了双方在不同情境下策略优化的效果,探索了雇主在员工努力趋同的过程中应如何不断优化薪酬制度。员工优化策略过程伴随着信息暴露,让雇主可以根据获得的信息来调整薪酬策略并从中获益。重视有信息优势的员工的产出信息有利于雇主优化薪酬制度。

关键词： 大语言模型   无标签数据   有噪声标签学习   表格学习  

摘要： 在现代医疗领域,数据对于诊断、疗效评估和医学研究至关重要。虽然医疗表格数据的收集过程复杂且敏感,但更加突出的挑战在于这些数据的标注和整合。医疗表格数据,包括病历信息和检测结果等,分散于不同的机构和系统中。而整合这些数据,尤其是在跨机构合作的情况下,尤为困难。更重要的是,这些医疗表格数据的标注过程既耗时又成本高昂,因为它需要依赖于专业的医学知识。特别是在罕见病的数据标注方面,难度更大,因为相关的专家稀缺,专业知识和经验不足。因此,如何利用无标签的医疗表格数据有效地训练表格学习模型,成为了计算机辅助医疗的一个主要研究方向。 为了解决无法在无标签的医疗表格数据上训练模型的难题,本文提出了一种基于大语言模型监督的无标签医疗表格数据学习方法。该方法能够有效的利用无标签的医疗表格数据来训练表格学习模型,且所得模型的性能可与使用真实标记的医疗表格数据训练得到的模型媲美。鉴于大语言模型无法直接对医疗表格数据进行标注,本文提出了一种将医疗表格数据转化为提示词数据集的方法,这一方法严格遵守提示词编写规范,最大限度地发挥了大语言模型的潜能。然而,大语言模型标注的医疗表格数据集中的样本标签存在噪声,直接使用这些带噪声的数据训练表格学习模型会导致效果不佳。为此,本文提出了一种面向有噪声标签的医疗表格数据的监督学习方法GPTMix,其创新之处主要体现在以下四个方面:a.基于LLM的标签平滑策略,通过使用LLM生成的软标签,实现了标签平滑。这不仅缓解了标签噪声的影响,还提高了模型在各种挑战性环境中的鲁棒性和泛化能力。b.基于LLM的高质量验证集的早停策略,为了避免模型过拟合,引入了基于LLM筛选出的高质量验证集的早停策略。这一策略特别适用于样本量较少的医疗数据集,帮助模型在正确的时间点停止训练,防止过度拟合。c.分布对齐策略,这有助于确保模型在训练过程中关注到所有类别,有效利用有限的标签数据,从而增强模型在不同类别数据上的泛化能力。d.锚定数据增强策略,有助于模型学习到更具鲁棒性的表征,提高在不同数据分布下的泛化能力。 本文实验结果显示,基于大语言模型监督的无标签医疗表格数据学习方法,在7个医疗数据集上训练的模型显著超越了使用大语言模型生成的标签计算方法,ACC提升9.4%至21.9%,AUC提升10.8%至21.1%。与使用真实标签训练的模型相比,ACC达到其90.6%至103.1%,AUC达到其95.0%至115.1%,表明该方法的有效性。此外,本文提出的针对有噪声标签数据的医疗表格数据学习方法GPTMix,与基线方法对比表现最佳。与现有最好的方法对比,在7个数据集上ACC提升0.6%至2.4%,AUC提升0.7%至2.2%,证明了该方法的优越性。

关键词： 社交媒体分析   多任务学习   多任务平衡优化   多任务梯度优化   深度多任务学习  

摘要： 随着信息技术的发展,微博、Twitter、Facebook、抖音、论坛、微信等社交媒体平台已经成为人们发布、传播、共享信息的主流平台,是人们日常生活中不可或缺的工具。社交媒体平台汇聚的海量信息蕴含了巨大的价值,例如,帮助政府进行舆情检测及治理、帮助国家了解认知战的危险性,从而更好地维护国家安全等。早期的社交媒体分析技术通常是独立求解每个任务,例如立场检测、情感分析、主题分类等。然而,现实世界中的多个社交媒体分析任务存在内在关联,并不独立存在。多任务学习方法的思想是通过同时学习并解决多个相关任务来提高模型泛化能力和模型效率。目前,多任务学习方法已成为社交媒体分析领域的重要研究方向之一。尽管多任务学习方向已取得很大进展,但仍面临以下几点不足:(i)社交媒体分析任务独立学习任务表征能力不足;(ii)社交媒体分析任务联合学习存在任务干扰导致模型易过拟合;(iii)社交媒体分析任务联合优化存在任务冲突导致模型泛化性弱。为了进一步解决上述几个关键问题,本文研究内容的核心是通过深入分析利用多任务学习方法进行社交媒体分析存在的任务冲突问题,提出一系列有效的多任务学习方法,进一步增强任务信息共享的高效性,以及多任务模型的泛化性,从而帮助多任务学习方法进一步提升社交媒体分析任务的性能。本文主要研究内容如下: (1)针对社交媒体分析任务独立学习任务表征能力不足的问题,本文提出了一种基于自适应交互的多任务立场检测方法。该方法将情感分类任务作为辅助任务从而提升立场检测任务的准确率。具体地,为每个任务构建任务特定图和任务相关图,用以捕捉任务间的特定信息,并设计了一种多图稀疏交互网络为不同任务自适应选择共享信息进行学习,从而提升任务表现。在多个真实文本数据集上的实验结果表明,该方法可以有效平衡任务训练,缓解由软参数共享的多任务网络架构带来的过拟合问题,从而提高立场检测的准确率。 (2)针对社交媒体分析任务联合学习任务干扰易过拟合的问题,本文提出了一种基于帕累托最优的多任务主题分类方法。该方法将多任务联合优化问题转化为多目标优化问题,更新求解所有任务模型参数的帕累托最优解集合,并从中选出同时满足改进最差任务和最小化任务损失条件的解,从而实现对多任务学习模型的梯度平衡优化。理论分析和实验证明该方法在凸情况下可严格收敛并适用于真实世界任务。在大量多任务基准数据集上的实验结果展示了该方法能很好地平衡所有任务,提升主题分类任务的性能。 (3)针对社交媒体分析任务联合优化任务冲突泛化性弱的问题,本文提出了一种基于梯度修剪的社交媒体任务冲突缓解方法。该方法首先形式化地描述了任务梯度冲突的条件,并定义了任务梯度冲突方向。然后,通过修剪任务梯度冲突分量来缓梯度干预问题,提升多任务联合优化效果。理论分析和实验证明该方法在凸情况下可严格收敛至更小的目标值。在大量多任务基准数据集上的实验结果展示了该方法能够很好地处理多任务联合训练中的任务梯度干预问题,提升所有任务性能,从而提高多任务学习模型的泛化能力。 (4)针对社交媒体分析任务联合优化任务冲突泛化性弱的问题,本文提出了一种基于动量校准的社交媒体任务冲突缓解方法。该方法揭示了任务梯度冲突是导致任务冲突的主要原因,通过引入任务动量信息准确刻画任务间关系,校准冲突任务梯度,从而缓解任务梯度冲突对多任务模型泛化性能的影响。理论分析和实验证明该方法具有与经典随机梯度下降优化算法(SGD)相当的收敛速率。在不同领域真实实验场景中的结果展示了该方法能够有效缓解任务梯度冲突,从而提高多任务模型的泛化能力。

关键词： 机器学习   COX回归   预后模型   可解释性   SEER  

摘要： 泌尿系统恶性肿瘤,包括肾癌、输尿管癌、膀胱癌和前列腺癌。根据在JNCC(Journal of the National Cancer Center)上发布2022年中国恶性肿瘤疾病负担情况,恶性泌尿肿瘤总发病人数约为23万人,死亡人数约为9万人,在所有癌种中排在了第七位,患者预后显得尤为重要。预后模型在预测癌症患者其疾病的发展进程或其出现特定结局的风险的工作中起着十分重要的作用。目前在临床上已经应用了包括美国癌症联合委员会(American Joint Committee on Cancer,AJCC)TNM分期系统和列线图等多种医学评分预后模型,但这些模型都基于统计回归模型,其预测准确性低,难以满足临床需求。近年来,机器学习模型在临床上的应用发展迅速,但因其缺乏可解释性难以在临床上实际应用。因此,本文使用机器学习算法对泌尿肿瘤患者的生存预后进行预测,并研究选择适用的可解释性方法,以期更高效、更准确和更具有可解释性的预后模型来识别估计生存预后较差的患者,从而改善泌尿肿瘤患者的预后。本研究做出以下工作: 1.使用机器学习模型对膀胱癌患者生存率进行预测,用于更准确地预测膀胱癌患者预后。针对目前膀胱癌预后模型以统计回归模型为主,其预测准确率低的问题,本文利用随机森林(Random Forest,RF)和梯度提升决策树(Gradient Boosting Decision Tree,GBDT)模型进行预测。其中GBDT模型的预测效果最好,其中一年生存率的预测准确率达到0.874,AUC(Area Under the Curve)值达到0.833,与作为对比基准模型的COX回归相比,能够更准确地预测膀胱癌患者的生存率。 2.构建输尿管癌患者的生存率列线图,用于临床更准确地预测输尿管癌患者预后。针对输尿管癌现有传统学预后模型研究不足且AJCC分期系统预测准确率低的问题,本文为输尿管癌患者构建一个列线图模型。通过对列线图可视化,临床工作者能够更方便地对输尿管癌患者进行个体化的预后评估,从而为患者提供更加精准和个性化的治疗方案。 3.分析基于可解释性机器学习模型的输尿管癌患者生存率预测,确定适用于临床应用的最佳方案。使用基于RF和GBDT模型进行预测,并对模型进行评估。对于模型的可解释,使用了多种可解释性方法,包括特征排序重要性、部分依赖图(Partial Dependence Plot,PDP)、个体条件期望图(Individual Conditional Expectation,ICE)、全局代理模型(如决策树)等,来确定对模型预测最具影响力的特征。结果表明,RF模型表现最佳,其AUC值相比于列线图提升了4.3%。对于模型的可解释性,全局代理的决策树模型更适合临床实际应用。最终得到基于RF的输尿管癌生存预测模型结合全局代理的决策树模型可用于临床上对输尿管癌患者的生存预测分析。 本文利用机器学习算法对膀胱癌和输尿管癌患者的生存预后进行预测,提高了预测准确性,满足了泌尿肿瘤患者预后的临床需求。此外,对基于机器学习的输尿管癌生存预测模型使用了多种事后可解释性方法进行分析,最终选定全局代理模型为最优方法,与输尿管癌生存预测模型相结合,可用于临床上的实际应用,进而辅助医生进行临床决策。

关键词： 信息技术   高中历史   深度学习   核心素养  

摘要： 伴随社会不断进步,信息技术已经被广泛应用到各类教学活动中,为历史教学的开展提供了一些全新的思路与途径。在历史教学中融入信息技术,可以让学生直观感受到社会的变迁和发展,深化学生对历史的理解和记忆。特别是高中阶段的学生,已经具备较强的思考能力和学习能力,教师意识到信息化视角下高中历史深度教学的重要性,引导学生掌握相应的学习方式,去感知历史的背景、人物、过程,分析历史形成的原因,可以有效促进学生历史核心素养的培养,推动历史教学的进一步发展。

关键词： 有功实时调度   深度强化学习   知识表示   知识嵌入   正则项  

摘要： 随着高比例新能源接入电力系统,电网运行方式的不确定性日益增加。电网调度对象和数量呈指数级增加,使得实时优化决策的复杂度急剧上升。深度强化学习方法具有学习能力强、计算速度快的优点,应用于电力调度具有广阔前景。但目前纯粹的数据驱动方法无法训练性能良好且足够泛化的电网调度智能体,也难以满足电网运行中规定的约束。数据驱动方法如何通过嵌入调度知识手段得到更优的调度计划,以实现新能源高效、安全、经济地并网和消纳,已成为当下学界和电力企业关注和积极探索的问题。目前,针对该领域的研究还处于起步阶段。 本文结合国家自然科学基金项目(项目号:U2066212)“面向电网调度的混合增强智能知识演化理论与方法”开展研究,探索了电力调度领域适用于机器学习的知识表示和调度知识嵌入相关方法,并应用于实时优化调度。调度知识包括了文本类、数值类以及调度经验类等知识类型,这些知识需要被机器理解并融入机器学习。因此,本文在知识表示方面以调度安全规则提取、适应拓扑变化的电网表征为主展开研究,以调度领域知识嵌入深度强化学习策略网络正则项开展知识嵌入研究,主要工作如下: (1)提出了基于收紧加权斜决策树的电网运行安全边界辨识与规则提取方法。分析了新能源高渗透率下大规模电网的高维观测量,确定给定的运行点的安全标签。在此基础上,基于加权斜决策树方法使用尽可能少的超平面组拟合电网运行安全边界,有效降低机器学习计及的约束数量。提出了电网安全规则收紧方法,有效降低将电网的不安全状态误判为安全的伪正类率。所提方法得到的安全规则还可以实现机组调节对象和调节范围推荐。 (2)提出了一种基于自注意力机制的电网表征方法,将拓扑动态变化的电网表示为一个高维稠密向量。将节点观测信息映射到一个高维空间形成节点嵌入,并且引入起始符作为电网嵌入。以潮流任务为基础,提出了基于多头自注意力机制的节点信息关联特性的自主挖掘方法,实现对电网的特征提取。然后将得到的预训练模型通过新增低秩通道实现在经济调度方面的任务迁移。基于自注意力机制的神经网络结构对下游任务有更好的拟合效果,能够更好地捕捉电网拓扑变化。 (3)提出了电网调度知识嵌入深度强化学习智能体训练方法。现有基于强化学习的调度方法对最优策略的探索效率及收敛性较低。为了适应大规模电网调度,本文考虑历史发电数据、电力平衡、新能源消纳率、线路负载率等调度领域知识,将其嵌入至强化学习策略网络正则项并用于引导智能体训练方向。该方法在训练前期基于专家修正后的历史机组出力轨迹学习调度员经验,使得智能体策略网络参数快速收敛到一个有效初始解;在训练中后期,引入电力平衡等损失函数正则项,引导智能体满足先验调度知识,有效预防智能体盲动行为,提升调度决策质量。 (4)计及未来若干小时的时间窗口内源、网、荷的多种强随机影响因素,本研究研发了一套电网实时优化调度辅助决策软件,用于辅助调度员进行调度计划、运行状态的自适应校正,从而有效提升电网调度应对不确定场景的能力。所研发软件包含的功能模块包括:电网实时调度仿真环境模块、实时调度智能体离线训练模块、在线推理与评估模块。调度智能体及其可视化界面提升了电网实时调度决策的效率,提升了电网调度稳态自适应巡航的智能化水平。