关键词： 深度学习   噪声标签学习   图像分类   神经网络   计算机视觉  

摘要： 噪声标签学习问题是传统机器学习和深度学习共有的一个重要研究方向。深度学习的应用依赖于大型高质量标注数据集的建立。随着数据规模的增大,高质量人工标注数据集的构建成本变得难以负担。低成本,高效率的半自动化数据集构建技术逐渐开始应用,这导致数据集不可避免地引入了一定比例的噪声标签样本。然而,深度神经网络会对噪声标签数据进行过拟合并导致严重的性能下降。为了解决该问题,噪声标签学习方法尝试设计合适的学习策略来减轻网络对噪声标签数据的过拟合程度,提升网络对噪声标签的容忍度和鲁棒性,优化模型的最终性能。 现有的噪声标签学习方法尝试筛选出数据集中的噪声标签样本,并进行标签修正,从而帮助网络学习数据集应该包含的正确信息。尽管这些方法已经取得了不错的效果,它们仍存在以下问题。（1）现有方法缺乏针对困难数据（特征分布在分类边界上的数据）的划分准则和学习策略,无法对该部分数据进行有效的噪声筛选和信息利用。（2）现有方法一般直接使用网络预测分布来估算噪声标签样本的伪标签,这些伪标签容易受到网络认知偏差的影响而出现错误,降低噪声标签样本的学习效果。对于上述的问题,本文主要提出了以下的几个组件进行优化改进: （1）基于困难样本和预测一致性的数据三划分算法。本文分析了Small-loss准则[1]在困难样本上的失效情况,并提出了针对困难样本的数据三划分算法。该算法首先通过网络的预测一致性筛选出分类边界上的困难数据,然后根据预测与给定标签的一致性筛选出噪声数据。通过单独隔离困难数据,本算法提高了干净数据子集的质量,为后续进行细粒度的数据使用提供了基础。 （2）基于标签修正的噪声标签子集学习算法。本文设计了两个不同的组件分别从样本弱增强预测和特征空间两个角度来估算噪声样本伪标签。它们共同作用,降低了网络认知偏差引入的错误,并有效地筛选了低置信度伪标签的噪声标签样本进行抛弃。该算法提升了伪标签的可靠程度,优化了噪声标签子集的学习效果。 （3）困难数据自适应权重标签修正算法和整体数据学习策略。本方法将困难子集单独隔离并学习。针对困难子集同时包含噪声标签数据和干净数据的特点,本文自适应地加权组合其给定标签和伪标签进行使用。其中,自适应权重通过一组可学习参数基于多网络预测一致性和样本损失值进行动态计算。针对整体数据集,本文额外设计了自监督学习算法和正则化项降低网络对噪声标签数据的过拟合程度,优化了整体数据学习效果。

关键词： 卵巢妊娠   输卵管妊娠   超声分型   生殖结局   深度学习  

摘要： 目的:卵巢妊娠(ovarian pregnancy,OP)是一种罕见的异位妊娠,易破裂出血,甚至发生失血性休克,且OP与输卵管妊娠(tubal pregnancy,TP)术前鉴别诊断困难,易延误治疗。本研究拟分为两个部分来探究OP的临床特征以及如何提高诊治效率。第一部分:通过细化OP患者的超声分型,分析不同超声分型的OP患者的临床特征及诊治方案,以期待提高OP患者的诊治效率;探究对OP患者的生殖结局可能产生影响的因素,为其生殖结局提供参考。第二部分:基于YOLO-v5s算法建立深度学习模型,探究能否利用该模型通过超声图像鉴别OP与TP。研究方法:1.第一部分:本研究为回顾性分析,收集中国医科大学附属盛京医院2011年1月至2022年10月收治的123例经术中所见及术后病理诊断为OP,以及同时期6109例出院诊断为TP的病例。收集OP病例资料中的个人史、婚育史、现病史、既往史、辅助检查等并随访其预后;收集TP病例资料中的入院血清β-HCG值和停经史。本研究使用IBM SPSS Statistics 26进行数据统计,采用卡方检验、秩和检验等对OP患者的各项临床特征及生殖结局影响因素进行统计分析。2.第二部分:收集119例OP及150例TP的超声图像来构建数据集,根据图像中是否可见妊娠囊分为妊娠囊组和非妊娠囊组,并对超声图像中的感兴趣区进行标注。采用COCO数据集(Common Objects in Context,COCO)进行模型预训练。接下来采用YOLO-v5s目标检测算法,使用妊娠囊组和非妊娠囊组数据集分别训练深度学习模型,模型性能采用精确率、召回率、混淆矩阵等指标进行评价。结果:第一部分:对123例术后病理确诊为OP的病例进行回顾性分析,结果如下:1.本研究中OP最常见的危险因素是既往盆腹腔手术史(39.02%)。2.本研究中OP与TP患者的入院时血清β-h CG值无统计学差异(P=0.678)。3.改良后的OP超声分型为妊娠囊型、血肿I型、血肿II型和血性积液型。妊娠囊型患者的血清β-h CG值水平高于血性积液型(P=0.003),且妊娠囊型的术前诊断准确率最高(17.39%)。血肿I型是四种超声分型中手术及时性最差、术前诊断率最低的一类。4.共3例OP患者初始治疗选择甲氨蝶呤杀胚,均失败,最终所有患者均采取手术治疗。5.术中见OP病灶破裂103例(83.74%),卵巢表面可见活动性出血74例(60.16%)。6.123例OP病例中仅1例行患侧附件切除术,其余均保留患侧卵巢组织。腹腔镜手术与开腹手术相比,腹腔镜手术术后住院时间更短(P<0.001)、术后发热率更低(P<0.001)。7.术后随访期满3年且有生育意愿的OP患者共51人,其中自然受孕且为宫内妊娠共25人(49.02%)。既往盆腹腔手术史、子宫内膜异位症、子宫畸形等因素对OP患者术后是否能够自然宫内受孕无明显影响。第二部分:1.本研究采用COCO数据集进行模型预训练。在妊娠囊组,经过预训练的模型均值平均精度(mean Average Precision,m AP)高于未经预训练的模型(0.978vs 0.623);在非妊娠囊组,经过预训练的模型m AP同样高于未经预训练的模型(0.622 vs 0.504)。2.妊娠囊组模型的精确率为0.990,召回率为0.889,m AP为0.978;非妊娠囊组模型的精确率为0.648,召回率为0.617,m AP为0.622。***-v5s深度学习模型分类检测OP与TP超声图像的准确率为62.07%,显著高于临床医师8.12%的准确率。结论:第一部分:***发生破裂出血风险高,需及时手术。2.大部分血肿I型患者诊治及时性差,需引起临床医生的重视,应通过严格把握保守治疗指征以降低其延误治疗的风险。3.相较于开腹手术,腹腔镜手术具有术后恢复快、住院时间短等优势,是OP治疗的更优选择。***患者术后的生殖结局值得期待,暂未发现影响其生殖结局的危险因素。第二部分:1.采用COCO数据集进行模型预训练可有效提高模型性能。2.妊娠囊组模型性能优于非妊娠囊组。3.基于YOLOv5s算法建立的深度学习模型通过超声图像鉴别OP与TP的准确率高于临床医师。

关键词： 异常检测   深度学习   维度注意力   稀疏自编码器   仿射变换  

摘要： 基于深度学习的异常检测方法借助强大的特征提取能力取得了优异的性能,目前被广泛应用在数据挖掘、网络入侵检测和医疗诊断等应用领域。无监督异常检测方法不依赖数据标签训练,而是通过学习数据原始特征的低维潜在表示来分析数据是否异常,在异常检测领域中占据主要地位。然而,现有的无监督异常检测方法通常只对数据的原始特征进行粗粒度分析,而忽略了从不同角度分析潜在表示内部细粒度的维度信息对检测异常的贡献。为此,本文基于维度注意力特征表示学习方法,提出了基于维度注意力的无监督深度异常检测模型。为了获取原始数据包含更细粒度维度贡献信息的潜在表示,本文设计了基于维度注意力的稀疏自编码器(Dimensional Attention Sparse Auto Encoder,DASAE)。由于稀疏自编码器(Sparse Auto Encoder,SAE)通过抑制隐藏层一部分神经元的输出使网络仅通过部分神经元训练,能够避免传统自编码器对原始数据样本的简单学习。因此本文基于维度注意力机制改进SAE,通过维度注意力机制学习潜在表示不同维度的重要性权重,来放大重要维度的贡献信息和减小次要维度的贡献信息,以获取包含细粒度维度贡献信息的高质量潜在表示。为了利用包含细粒度维度贡献信息的潜在表示,并从不同角度更合理地分析其对检测异常的作用,本文联合基于维度注意力的稀疏自编码器DASAE和仿射变换(Affine Transformation,AT)设计了基于维度注意力的无监督异常检测模型(Dimensional Attention Sparse Auto Encoder and Affine Transformation for Anomaly Detection,DASAE-AT)。首先,利用DASAE获取包含细粒度维度贡献信息的高质量潜在表示;然后,设计变换网络对潜在表示做仿射变换,以分析潜在表示在不同变换子空间中的维度贡献;最后,设计特征提取器将这些变换子空间建模成多个超球子空间,以结合所有子空间的结果从不同角度综合地分析异常,从而进一步优化模型的异常检测性能。实验结果表明,与最新的异常检测方法相比,本文通过从不同角度分析原始数据包含更细粒度维度贡献信息的潜在表示来检测异常,使模型的异常检测性能得到显著提升。

关键词： 多视图聚类   低秩表示   稀疏约束   张量学习  

摘要： 特种设备安全预警是特种设备安全监管工作的重要组成部分之一,本文研究面向特种设备安全的鲁棒多视图聚类,为目前的特种设备安全预警提供有效的多源数据融合机制。当前来自不同类型传感器的多源数据在数据维度、数据量纲、数据语义上存在较大差异,导致无法形成有效的数据融合分析,进而限制了对数据资源的利用效率和分析能力。其次,由于使用环境复杂、数据传输不稳定等因素,特种设备数据具有高稀疏、高噪声等特点,限制了传统数据融合方法的实际效能。对此,我们研究鲁棒多视图聚类方法,将低秩表示、稀疏约束、低秩张量这类可以增强算法鲁棒性的方法引入算法模型。此外,现实场景中存在多种类型特种设备的监督信息。监督信息可用于增强算法对同类设备的辨别性。但用于全监督学习的信息在现实中极度依赖于专家经验,获取成本较高,并不具备可行性。若是无监督学习,特种设备的监督信息无法被利用起来,由于特种设备数据特征的稀疏性,聚类结果无法达到理想效果。因此,我们采用半监督学习方法来增强算法的聚类性能,即在实验中使用一部分带有标签约束的数据,避免了全监督学习数据和资源的浪费,同时解决无监督学习结果不精准的问题。本文主要研究工作如下: 1)在多视图聚类存在特征噪声的情况下利用低秩表示、稀疏约束等方法来解决噪声的影响。即提出一种新的鲁棒的子空间聚类方法,利用矩阵分解构造双层结构,联合低秩表示和稀疏约束。低秩表示可以更全面获取数据之间的关系,稀疏约束可以达到降噪的效果。两者的联合取得的效果优于传统的单层结构。 2)结合特种设备数据提出一种新的鲁棒半监督子空间聚类方法。通过受限非负矩阵分解嵌入部分样本标签信息,算法模型优先将具有相同标签的样本合并到同一新的表示中,使算法获得半监督性质。同时引入低秩表示,有效降低噪声对聚类结果的影响。 3)提出了一种基于关联信息张量多视图聚类的特种设备安全预警方法。该算法通过低秩张量表示对跨平台多源特种设备故障数据进行表示建模,利用张量表示学习能够获取不同数据源之间高阶关联性的能力,实现高稀疏、高噪声条件下多源特种设备故障数据的有效融合,并利用关联信息作为半监督信息增强聚类性能。进而为电梯安全状态的实时预警提供辅助决策。

关键词： 联邦学习   聚类   模型集成   预训练  

摘要： 随着信息化技术的发展,不同的数据中心,如医院,银行等,产生的数据越来越多。这些丰富的数据也成为了深度学习的重要资源。深度学习的一般要求是将所有数据都汇总到一起。然而,由于隐私保护以及受限的通讯条件,数据往往很难汇总到一起。为了利用这些数据,联邦学习算法应运而生,其联合位于不同地理位置的多个客户端数据集协作完成机器学习模型的训练。然而,如何将各个客户端模型联合从而获得泛化能力较好的全局模型,特别是在客户端数据分布不一致的情况下,至今仍然是学者们关注的问题。为了进一步提升服务端训练模型的泛化能力,本文首先对传统的联邦学习进行了改进,提出了基于分解-组合的联邦学习算法(Composition-Decomposition Based Federated Learning,CD-FL)。在基于分解-组合的联邦学习中,服务端全局模型由若干个相同架构的子模型集成,当全局模型分解成子模型后下发给每个客户端后,每个客户端从子模型集中随机选取一个子模型,并利用其本地数据对该子模型进行更新。更新后的模型上传至服务端,与原来的子模型进行聚类后,重新组合成服务端全局模型。迭代更新模型后获得最终的全局模型。在EMNIST,FASHION-MNIST,CIFAR-10,TINY-IMAGENET数据集上的实验结果表明,基于分解-组合的联邦学习算法相比于现有的有代表性的方法具有更好的泛化效果,同时降低了总的通信量。随后,为了进一步提升联邦学习算法的泛化性能,从模型生成的角度展开了研究,提出了基于集成和聚合的联邦预训练算法(Fed Pre算法)。在联邦预训练算法中,服务端通过保存多个子模型构造模型归档集。当模型归档集下发给每个客户端后,每个客户端从中随机选取一个子模型,并利用其数据对该子模型进行更新。更新后的模型上传至服务端,服务端将收到的模型进行聚合得到新的模型归档集。通过这种方式不断减小模型归档集内模型相似度,最终得到适用于联邦学习的高性能初始模型参数。在FASHION-MNIST,CIFAR-10数据集上的实验结果表明,基于集成和聚合的联邦预训练算法能够提升现有的有代表性的联邦学习算法的泛化效果。

关键词： 极端场景   深度学习   生成对抗网络   模型迁移   可再生能源  

摘要： 现代互联电力系统规模庞大,结构复杂。电网运行方式研究对于应对来自源、网、荷的不确定性给电网运行安全带来的潜在风险,保障电网运行安全具有重要意义。随着电力生产绿色低碳转型步伐的加快,以风电为代表的可再生能源装机容量急剧增长,传统以相对有限的典型运行方式研究为主的电网安全稳定分析已难满足实际调控运行的需要。研究高比例新能源电力系统极端运行场景生成方法对于提高运行方式研究的全面性,增强调控人员对电网极端异常工况的处置能力具有重要意义。 针对高比例新能源电力系统极端运行场景的生成问题,本文从新能源机组极端出力场景生成、电网高风险运行方式判定和电力系统极端运行场景生成等方面进行了研究,论文主要内容及成果如下: (1)提出一种基于条件生成对抗网络(CGAN)的风电极端出力场景生成方法。首先,在风电场历史出力数据的基础上,使用CGAN进行风电期望出力场景生成;其次根据预测误差置信度和极端波动置信度,采用基于Bootstrap的区间生成方法确定极端出力波动范围,所得到的风电极端出力场景可为运行方式研究提供更全面的源侧出力数据参考。 (2)基于静态安全风险等级划分的电网运行方式样本集构建。以节点电压与支路潮流的越限程度作为衡量电网静态安全风险的主要因素,首先采用功率介数与断面搜索在元件级别进行关键节点和支路的辨识,进而结合改进灰色关联分析法(IGRA)构建系统级风险指标实现电网静态安全风险的等级划分。最后,基于PSD-BPA仿真构建带有静态安全风险等级标签的电网运行方式样本集。 (3)提出一种基于CGAN与模型迁移的电力系统极端运行场景生成方法。在将所有运行场景样本引入基础生成模型并训练获得全场景生成能力的基础上,利用模型迁移与对抗训练建立目标生成模型,生成针对特定运行方式下的极端运行场景。最后,采用PSD-BPA仿真对批量生成的极端运行场景进行静态安全风险分析,以验证生成样本的有效率。

关键词： 学业自我效能感   生命意义感   学习投入   电影疗法  

摘要： 当前世界教育发展呈现终身化趋势,党的二十大报告指出,要“建设全民终身学习的学习型社会、学习型大国。”我国提倡青少年“乐学、善学”品质提升,《中国学生发展核心素养》明确指出,“学会学习”是学生必备的核心素养之一。学习投入是一种在学习过程中所产生的充实、积极的心理和精神状态,不仅可以反映出学生的学习效果和学习质量,而且对个体发展有着重要影响。如何有效提升中学生学习投入水平是当前学校心理健康教育的重点研究问题之一。已有研究表明,学业自我效能感作为个体在具体领域的能力信念与感受,对学习投入具有重要影响;生命意义感是个体关于一致性、一贯性和重要性的总体感受,个体能够领悟生活的目标和使命,在找寻人生目标并为之努力的过程中获得体验与满足。对于正处于自我意识发展关键时期的高中生而言,这种关于生命的整体性认识也可以成为学习投入的重要动力变量。因此,本研究在以往研究的基础上,进一步探讨学业自我效能感、生命意义感与学习投入这三个积极变量之间的关系,考察生命意义感在高中生学业自我效能感对学习投入影响中的中介作用,并且设计团体辅导方案以考察生命意义感的提升对高中生学习投入的影响。研究一采用问卷调查法,以福建省某两所中学的1309名高中生为对象,研究高中生学业自我效能感、生命意义感和学习投入的现状和关系。结果如下:(1)高中生学业自我效能感、生命意义感和学习投入总体处于中等偏上水平。(2)在性别变量上,高中生学业自我效能感和学习能力自我效能感因子存在显著差异,男生群体的得分显著高于女生群体,高中生寻求意义感因子也存在性别差异,女生群体的得分显著高于男生群体。(3)在年级变量上,高中生学习投入及其动机因子存在显著差异,高三年级的学生在学习投入总分上显著高于高一年级,高二和高三年级的学生在动机因子上的得分显著高于高一年级。(4)高中生学业自我效能感、生命意义感与学习投入两两之间呈显著正相关。(5)学业自我效能感可以正向预测生命意义感和学习投入;生命意义感可以正向预测学习投入。(6)高中生生命意义感在学业自我效能感对学习投入的影响中起部分中介作用。研究二采取实验组对照组前测后测实验设计,检验生命意义感团体心理辅导的干预效果。在研究一的调查基础上,本着自愿参与的原则,招募40名生命意义感得分排名后20%的高二学生作为研究对象,随机分成实验组和对照组,每组各20人,实验组以电影疗法团体辅导为干预手段,对照组不施加任何干预措施。团辅干预结束三个月后进行追踪调查,探究本干预方案的有效性和持续性。研究结果如下:(1)以生命意义感为主题的电影疗法团体辅导对高中生生命意义感的提升有显著效果,高中生学习投入水平提升显著;(2)本团体辅导干预方案能够有效提升高中生的生命意义感和学习投入水平,并具有良好的持续效果。

关键词： 零样本学习   广义零样本学习   图像分类   表征学习   域外检测  

摘要： 随着深度学习和图像处理等技术的进步,深度学习模型在图像分类任务中取得了显著的成功。这一成功在很大程度上依赖于对所有类别的大量训练数据。然而,在实际应用中,获取某些特定类别的数据并不现实,例如涉及个人隐私或濒危物种的数据。这导致了深度学习模型在未见类别数据上的性能受限。因此,零样本学习(Zero-Shot Learning,ZSL)的概念应运而生,其利用文本、属性等先验知识来识别未见类。广义零样本学习(Generalized Zero-Shot Learning,GZSL)是对传统零样本学习的一种扩展,更具实际应用价值。广义零样本学习可在测试阶段同时识别可见类与未见类的数据,在医学影像辅助诊断和自动驾驶领域等具有很高的应用价值。然而,受信息丢失、偏向可见类等问题影响,当前广义零样本学习相关方法的精度不高、模型不可靠。解决这些问题可以拓宽广义零样本模型的应用前景,丰富人工智能的技术手段。为此,本文分别设计了基于多任务间表征部分共享的广义零样本学习方法以及基于域外检测和知识蒸馏的广义零样本学习方法来解决上述问题。本文的主要研究内容和创新如下:(1)针对信息丢失问题,本文在第三章中提出了一种基于多任务间表征部分共享的广义零样本学习方法(PS-GZSL)。该方法采用多任务部分共享的思想,旨在解决在广义零样本学习的表征学习方法中,判别任务与视觉语义对齐任务之间的冲突导致的可迁移视觉信息丢失问题。具体而言,PS-GZSL采用部分共享的思想将视觉特征分解为任务共享和任务特定表征,并采用混合专家模块来防止表征退化。通过同时保留任务共享和任务特定表征,PS-GZSL在真实的可见类样本与生成器生成的未见类样本上学习到了更具迁移性的视觉表征,从而显著提高了广义零样本学习的性能。(2)针对偏向可见类问题,本文在第四章中提出了一个基于域外检测和知识蒸馏的广义零样本学习方法(OOD-KD)。该方法采用域外检测与知识蒸馏等技术,旨在解决模型在测试阶段倾向于错误地将未见类预测为可见类的偏向问题,并进一步提升模型识别未见类的性能。具体而言,OOD-KD由两阶段组成。在第一阶段,OOD-KD改进了已有的域外检测方法,通过Mixup得到虚拟的语义特征并在超球面上进行采样以生成虚拟负类,这有效地增强了模型区分可见类和未见类的能力,从而解决了偏向可见类的问题。在第二阶段,OOD-KD通过基于知识蒸馏的语义-视觉原型分类器,有机地整合了可见类和未见类的分类器,进一步提升了模型对未见类样本的分类能力。OOD-KD在广义零样本学习常用的五个基准数据集上均达到了新的技术水平。图35幅,表13个,参考文献88篇

关键词： 机器人   运动技能学习   强化学习   技能策略学习   互信息最大化   自监督序列化信息瓶颈  

摘要： 机器人运动技能学习能够基于交互经验数据自主获取期望技能,相比于离线编程等传统方法能更好地理解和适应不确定和动态变化的工作环境,是提升家庭服务、抢险救灾和军事侦察等领域机器人自主认知和自主决策能力的有效手段。强化学习依据智能体与环境交互收集经验数据,以最大化环境累计奖赏值为优化目标来学习技能策略,为复杂环境下机器人运动技能学习提供了可行思路。为了实现高效高鲁棒高性能的机器人运动技能学习,需要研究强化学习中状态表征学习、强化学习探索策略和带互信息正则化的智能体技能策略学习等方面。然而,针对以上方面现有研究尚存在如下问题:(1)现有状态表征学习方法提取到的状态表征马尔科夫性差、依赖于观测量重构,制约了运动技能学习的样本效率;(2)现有强化学习探索策略构建内在奖赏函数时易捕捉到新奇但与任务无关的状态新奇度,对观测噪声的鲁棒性差;(3)现有技能策略学习方法忽视压缩并保留状态序列中的预测信息来降低信息成本,影响所学技能策略的性能表现。 针对以上问题,本文以提升机器人运动技能学习的样本效率、鲁棒性和性能表现为目标,从自监督式状态表征学习、高鲁棒强化学习探索策略以及带信息约束的连续智能体技能策略学习3个方面展开具体研究。论文的主要工作和创新点如下: (1)基于互信息最大化和动力学模型的状态表征学习方法。针对无法提取到马尔科夫性好且不依赖观测量重构的状态表征的问题,建立了一种从高维观测量中提取低维状态表征并实现状态表征间互信息估计的神经网络模型,提出了一种基于时序互信息最大化、多视角互信息最大化以及动力学模型预测误差的自监督式状态表征学习优化目标函数,提高了机器人运动技能学习的样本效率。 (2)基于自监督序列化信息瓶颈的高鲁棒强化学习探索方法。针对构建内在奖赏时无法有效估计任务相关状态新奇度的问题,提出了一种基于自监督序列化信息瓶颈的优化目标函数,建立了一种用于参数化连续变量概率分布的神经网络模型,推导了一个序列化信息瓶颈目标函数的变分上界,构建了一种基于瓶颈变量时序互信息的内在奖赏函数,改善了机器人运动技能学习对观测扰动的鲁棒性。 (3)带序列化信息瓶颈约束的连续智能体技能策略学习方法。针对无法通过压缩和保留状态序列间预测信息来约束策略学习所需信息成本的问题,提出了一种带序列化信息瓶颈约束的强化学习智能体优化目标函数,推导了一种基于拉格朗日乘子法的实际智能体优化目标函数和一种信息增益奖赏函数,建立了一种共同优化连续技能策略、状态编码器和动力学模型的智能体优化方法,提高了机器人处理连续技能任务时的性能表现。 (4)移动操控机器人实验平台末端位置控制实验。在移动操控机器人实验平台上进行了末端位置控制实验,验证了本文提出的智能技能策略学习算法的有效性。实验结果表明,采用所提算法后机器人末端位置误差小,各关节轴运动平滑,能应用于处理实际的末端位置控制任务。

关键词： 联邦学习   个性化模型   聚类算法   知识蒸馏   联邦医疗诊断  

摘要： 在现实生产生活中,特别是智慧医疗、信贷金融风控、自动驾驶在内的强保密领域,由于隐私、存储或者通信等限制,边缘设备的本地数据无法被收集用来参与集中式机器学习训练,所以研究人员提出了联邦学习框架来解决这类问题。联邦学习是一种基于异构边缘计算环境的分布式学习范式,参与联邦学习的用户无需传输本地私有的数据集,从而避免了数据泄露的风险,而通过联合多方建模,联邦学习汇聚了更多可用的知识,提高了数据的利用率。但是,这种模型训练策略往往难以应对不同客户端之间存在的复杂数据分布问题,尤其是在客户端之间异质性较强的情况下,该方法难以有效处理数据分布带来的统计挑战。针对该问题,研究人员给出了个性化的模型优化方法,旨在为不同客户端提供个性化的建议,使其能够适用含异构数据的联邦学习环境。然而,现有的个性化优化方法,主要用于解决全局模型优化问题,缺乏适用于多模型问题的联邦学习方法。同时,现有的个性化联邦学习方法中,客户端每一轮的模型训练过程未利用历史信息,导致局部模型两轮通信之间的更新存在偏差。为此,本文提出了微调聚类策略,来合理构建多模型的个性化联邦学习框架,并在此基础上实现了个性化粒度更加精细的含客户端自知识蒸馏的联邦学习框架。首先,在无法获取客户端私有数据分布的情况下,借鉴已有的联邦学习多模型处理技术,将聚类算法与联邦学习相结合,提出了微调聚类策略,在联邦学习环境中引入了对聚类质量衡量的标准,并在此基础上进行不同类别之间客户端的调整。基于上述微调聚类的结果,在服务器端采用改进的模型聚合权重,构建了基于客户端损失值的自适应更新权重策略。通过在12个数据集上与自身变体和其他聚类个性化联邦学习算法进行比较,表明了提出的含微调聚类和自适应更新权重的个性化联邦学习算法能够有效缓解异构数据带来的统计挑战。其次,为了将个性化粒度从聚类层面扩展到更加精细的客户端层面,基于现有的联邦学习框架,在客户端引入知识蒸馏技术,给出客户端自知识蒸馏策略。进而,基于客户端局部模型在相邻两轮通信中存在的偏差,改进了现有的自知识蒸馏策略,构建了自适应多教师的客户端自知识蒸馏算法,使其在联邦学习环境下快速响应局部模型的性能下降,缓慢适应局部模型性能的提升。实验结果表明,所提基于自适应多教师的客户端自知识蒸馏的个性化联邦学习算法能够有效缓解异质用户带来的统计挑战,并且为客户端提供更加精细的个性化模型。最后,为了验证本文研究工作在实际生活应用中的有效性,综合微调聚类和客户端自知识蒸馏策略,在联邦医疗诊断场景下,提出了面向多源医学图像分类的个性化联邦学习算法。为了应对复杂的真实应用环境,所提算法设计了个性化层级逐步递进的框架,从聚类层面精细到客户端层面,最大程度缓解了参与联邦学习的用户异质性问题。通过3个真实医疗数据集的实验结果证明,面向多源医学图像分类的个性化联邦学习算法可以获得性能更佳、收敛速度更快的分类模型。上述的研究成果不仅丰富了面向异构数据的联邦学习算法理论,同时也为个性化联邦学习方式在面对统计挑战时提供了新的研究思路。该论文有图26幅,表16个,参考文献123篇。