关键词： 双线隧道   地表沉降   盾构掘进参数   数值模拟   机器学习  

摘要： 中国经济的飞速发展带动了交通基础设施的高速发展,各大城市对于地铁的建设需求也不断增长。绝大多数的地铁建设采用盾构法进行施工,由此带来的地铁施工安全问题也日益受到关注,而所有盾构施工的安全指标当中,最重要的就是盾构施工造成的地表沉降,因此隧道施工地表沉降预测工作具有重要研究意义。本文以徐州地铁6号线某区间盾构掘进工程为依托,通过工程调查、现场实测、数值模拟与大数据模型计算相结合的研究方法,分析了双线隧道盾构掘进施工沉降变形规律,结合盾构监测数据开展了基于机器学习法的数值模拟和数据驱动模型计算的沉降预测,弥补了盾构掘进施工地表连续沉降预测不准确的问题,为设计人员和施工人员预测盾构掘进施工下地表沉降提供了工程意义下的视角与手段。具体研究内容与结论如下:(1)在前人研究的基础上,系统的阐述了盾构施工对土体的扰动过程及由此带来的沉降的时间空间的发展过程,依托徐州地层条件下某地铁掘进工程建立了双线隧道施工三维有限元模型,研究了双线隧道施工沉降发展规律:双线隧道沉降发展具有明显的阶段性,先掘进线的开挖会导致后掘进线出现超前沉降,沉降量约占总沉降的30%;后掘进线开挖会导致先掘进线稳定的沉降重新发展并增大约30%;双线隧道开挖过程中,隧道最大沉降点由先行线中轴线逐渐转移至双线隧道中线处。模拟结果与实测对比相差较小,说明有限元模拟方法可以较为准确预测隧道施工地表沉降。(2)建立了地质参数、隧道埋深、盾构掘进等参数下的隧道沉降敏感因素分析。研究发现:隧道埋深小于特定值时,隧道埋深的增加会导致地表沉降增加,且沉降槽形态由“W”向“U”形转变,当隧道埋深超过特定值之后,隧道埋深的增加会导致地表沉降小幅减少。对于土层弹性模量、泊松比、黏聚力、内摩擦角以及浆液弹性模量,这些参数的增加会导致地表沉降减小,但减小幅度逐渐减弱,变化呈现非线性特征,说明隧道沉降是复杂的多因素耦合作用,单个因素经历了由“显著性影响因素”到“非显著性影响因素”的变化。(3)针对有限元模拟计算的即时性,提出了基于数据驱动的机器学习建模预测,并对数据建模要素进行提取,提出盾构掘进施工数据处理流程方法,对于参数间变化规律及相关性进行分析。结果显示,盾构掘进参数变化主要受地质条件、隧道埋深、人为因素共同影响。(4)基于徐州地铁六号线某双线盾构掘进施工掘进参数数据库,对比了三种模型结构及预测原理各不相同的的三种机器学习模型—人工神经网络(BPNN)、支持向量机(SVR)及随机森林(RF)的预测结果,利用网格搜索及交叉验证法对比寻优模型超参数并对盾构地表连续沉降进行预测,将数据库中80%数据作为训练集训练模型,20%数据作为测试集用于检测模型预测效果,以均方根误差(RMSE)为评价指标确定最优预测模型。研究发现,RF模型因为其模型结构对小样本集表现出友好性,对于地表沉降的预测表现出优异的性能。基于PSO粒子群算法结合RF模型实现盾构掘进参数寻优。可以认为机器学习模型预测方法有效的弥补了过往预测方法对于连续地表沉降预测的空白。

关键词： 深度学习   缺陷检测   自注意力   知识蒸馏   多任务学习   多示例学习  

摘要： 缺陷检测问题是计算机视觉领域中的研究热点之一。在深度学习的不断发展中,学者们提出了一系列基于深度学习的缺陷检测方法。在工业生产中缺陷样本出现的概率较低,难以获取大量真实有效的缺陷样本。因此,在学术研究中,缺陷检测问题的主要挑战是在小样本的情况下训练有效的缺陷检测模型。为了解决这个问题,本文采用了三种有效的策略,首先采用无监督学习;其次采用有效的样本生成方法;最后采用特殊的训练机制。基于此三种策略,本文提出了三种新颖的缺陷检测方法,可用于工业场景下的产品质量检验,并在缺陷检测公共数据集上进行的测试中取得了较好的检测效果,与一系列先进的方法相比,具有较大的性能优势。 采用无监督的训练方式,本文提出了一种基于自注意力机制的多层知识蒸馏缺陷检测方法。首先,本文分别构建了Teacher和Student网络,其中Teacher网络采用在Image Net数据集上预训练的复杂Swin-Transformer网络,而Student网络则采用随机参数的简洁Swin-Transformer网络。最后,通过对比Teacher网络和Student网络的多尺度特征差异和重构差异,检测输入样本是否为缺陷样本。本方法在公共缺陷检测数据集MVTec-AD的纹理数据上进行测试,与其他先进算法相比在AUROC(Area Under the Receiver Operating Characteristic Curve,接收者操作特征曲线下面积)指标上有4%～16%的提升,证明了本方法的有效性。 采用有效的样本生成方法,本文提出了一种基于深度学习的多任务学习缺陷检测方法。首先,通过泊松融合方法生成缺陷样本,以扩增缺陷样本数量。其次,本文设计了特征提取模块、主要任务模块和辅助任务模块。其中,主要任务模块用于缺陷样本中缺陷的修复工作,辅助任务模块产生的ROI(Region of Interest,感兴趣区域)掩码可用于降低噪声对主要任务的影响,两者共用特征提取模块提取的特征向量,以构成多任务学习架构促进各个任务的学习。最后,利用残差图对样本中缺陷进行定位和分割。本方法在公共缺陷检测数据集DGAM上进行测试,与其他先进算法相比在各项指标上均取得更好的检测性能,证明了本方法的有效性。 采用特殊的训练机制,本文提出了一种基于自注意力机制的多示例学习缺陷检测方法。首先,利用多示例学习中的样本包机制,将一张样本图像交叉分割为一组图像块,一组图像块组成一个样本包,通过样本包中样本的随机组合扩增样本包数量。样本包可分为缺陷样本包和正常样本包,其中缺陷样本包中至少含有一个缺陷样本,而正常样本包中均为正常样本。其次,本文采用Swin-Transformer网络作为特征提取模块用于提取样本特征,并设计了Clip Net网络,用于特征图的分割和分数预测。最后,通过样本包中的最大分数判断样本包是否包含缺陷样本。本方法在公共缺陷检测数据集MVTec-AD上进行测试,与其他先进算法相比在AUROC指标上有0.65%～27%的提升,证明了本方法的有效性。 本文分别从三个角度解决缺陷检测中的小样本问题,首先提出利用无监督学习策略解决小样本问题的方法;为了提升模型在纹理缺陷数据上的检测精度,随后提出利用数据生成策略解决小样本问题的方法;为了得到同时用于物体缺陷数据和纹理缺陷数据的缺陷检测模型,最后提出利用多示例学习策略解决小样本问题的方法。经过在公共数据集上的大量实验测试,本文中提出的三种解决缺陷检测中小样本问题的方法,在小样本的情况下均得到了有效的缺陷检测模型,证明了本文提出的三个方法的有效性。

关键词： 大学英语   教学   学习策略   学习方法  

摘要： 学习策略和方法在大学英语教学中发挥着重要作用，不仅可以强化学生的独立学习能力，而且还能提升学生的英语水平。学习策略与方法的优劣直接关系到大学生语言学习质量，大学英语教师应当以学习策略和方法为主要内容，帮助学生寻找到适合的学习方法，促使他们更加主动地学习。基于此，文章对学习策略和方法的内涵、特点进行简要概述，解析学习策略与方法的作用，通过分析当前大学英语教学中学习策略与方法应用现状，提出优化大学英语教学中学习策略和方法的路径，旨在提升大学英语教学成效，促使学生成长为时代需求的优秀人才。

关键词： 示范学习   手术机器人   远程中心运动约束   微创手术  

摘要： 机器人辅助微创手术可以缓解外科医生的身心疲劳,提高手术质量,并显著缩短患者的恢复时间。向训练有素的外科医生学习手术技能可以迁移医生的操作经验,提高手术机器人的自主性水平,并在手术过程中为外科医生提供帮助。然而,相关的手术机器人示范学习方法研究主要关注手术技能本身的学习,无法拓展到存在远程运动中心约束的微创手术中。针对这一问题,本文提出了一种将微创手术技能从外科医生转移到手术机器人的新方法,并且可以在操作过程中主动保持远程运动中心约束。通过引入任务参数化技术,将远程运动中心约束和手术任务约束变换到相同的约束空间中进行统一,并可以使机器人在新的任务条件下执行学习到的技能,提高技能泛化性。本文的具体贡献如下: (1)针对现有方法无法直接在远程运动中心约束下学习手术技能的问题,提出了一种允许手术机器人在远程运动中心约束下从外科医生演示中学习手术技能的新方法,并进行了实验验证。 (2)实现了一种可以为外科手术技能提供灵活和可变虚拟约束的方法。通过高斯混合模型的均值和协方差矩阵,将从人类演示中学习到的手术技能的隐含约束形式化为概率虚拟夹具,以保持外科医生手术的可变性和灵活性。 (3)引入任务参数化技术来解决远程中心运动约束空间和手术任务空间之间的不一致性。学习过程使用任务参数化技术将不同的笛卡尔约束空间转换为统一的关节空间,以保持每个空间内的约束与特征。 (4)提出了一种基于形状相似性的轨迹误差测量方法,用于计算具有非均匀时间和空间畸变的轨迹的跟踪误差。 本研究分别在仿真模拟和远程手术机器人平台中验证了所提出的方法。仿真模拟中,二维平面上的三连杆机械臂可以在远程运动中心约束下自主运动到达目标点。此外,本研究在自行搭建的远程手术机器人平台上先进行了腹腔镜微创手术的模拟操作演示,手术机器人进行学习该技能后可以在新的任务条件下自主完成任务并保持远程运动中心约束。实验结果显示,机器人根据所学到的技能模型自主执行任务的误差低于人类演示的平均值。由此证明本文所提出方法的有效性,并且在实际场景中尤其是需要面向复杂任务进行人工编程的运动控制场景中有很大的应用价值。

关键词： 聚类   大规模谱聚类   二部图   拉普拉斯秩约束   多视角  

摘要： 伴随着信息技术的发展,人类社会每天都会产生海量的数据。如何从这些数据中挖掘出有效的信息以作为人类各种社会活动的决策支撑,成为了信息时代的重点研究方向。作为一种无监督学习技术,聚类分析在数据挖掘中具有重要地位,常被用于探索无标签数据样本间的潜在联系。谱聚类算法由于在真实世界数据集上的良好性能受到了广泛关注,与二部图思想的结合使其能够快速地处理大规模数据集。然而,对于现存的二部图学习方法而言,它们有的只能捕捉到数据样本空间中的局部结构信息,有的只能捕捉到数据样本空间中的全局结构信息。这两种信息是同等重要的,任何一种的缺失都将导致次优的聚类结果。为解决上述问题,本文分别针对单视角数据与多视角数据,提出了两个可应用于大规模谱聚类的图学习方法,所提方法能够同时捕捉到数据样本空间中的局部和全局结构信息,进而提升聚类性能。本文的主要工作如下:(1)针对单视角数据,本文提出了结构化综合二部图学习方法。该方法在学习数据样本间的相似度时,将只能捕获局部结构信息的自适应邻域方法和只能捕获全局结构信息的最小化自表示误差方法结合为了一个联合优化问题。这两种方法的结合,将促使整个学习过程兼顾数据样本空间中局部与全局结构信息的综合性捕捉,因此,基于该方法所学习到的二部图将包含数据样本空间中的完整结构信息,进而增强最终的聚类效果。同时,该联合优化问题中还加入了拉普拉斯秩约束,以保证最终学习到的二部图直接具有聚类目标所期望的结构。在真实数据集上的消融实验和对比实验证明,该方法相对于其它同类方法具有优越性。(2)针对多视角数据,本文提出了多视角融合二部图学习方法。在所提出的方法中,结构化综合二部图学习中的联合优化思想被用于单视角相似矩阵的学习,以保证数据样本空间中局部和全局结构信息的综合性捕捉。考虑到不同视角中所包含的特殊信息在重要性上并不平等,该方法在多视角相似矩阵的融合过程中为各个视角增加了权重参数,并给出了使其自适应学习的策略。同时,拉普拉斯秩约束也被加入到融合过程中,以保证融合二部图具有理想的聚类结构。为促进各视角信息的充分利用,该方法中的单视角相似矩阵学习与多视角相似矩阵融合是联合进行的。在真实多视角数据集上的大量实验证明,该方法相对于其它同类多视角方法能够取得更好地聚类效果。

关键词： 超声导波探伤技术   小样本学习方法   裂纹方向   裂纹面积   智能探伤系统  

摘要： 超声波探伤技术是管道结构健康监测的一种主要技术,随着国家输油、输气、输水管网的建设,管道的长度已延伸至数百万公里,因此传统的逐点小面积的探伤方法,难以在实际中应用。超声导波可以通过一个检测点对管道进行长距离探伤,而且可以对被测区域实现全覆盖,同时实现对管道外表面、内表面和管壁内部缺陷的检测,与传统的逐点小面积的探伤方法相比较,超声导波大大提高了探伤效率。但是,超声导波存在多模态和频散现象,对探伤过程造成了干扰,一直以来没有一个满意的解决方法,成为超声探伤中急需解决的难点问题和研究焦点。本文在研究中发现,导波的波包能量在传播中不受多模态和频散现象的干扰,而且导波的缺陷反射波的能量分布与缺陷的形态具有相关性。根据此研究结果并针对上述问题,本文将缺陷反射波的能量分布用小波时频图表征制作图像样本,将管道的探伤问题转换成图像识别问题,借助深度学习强大的特征提取和表征能力,提出了一种超声探伤中的小样本学习方法,主要完成了以下研究工作:(1)对用缺陷反射波的能量分布识别缺陷的可行性进行了理论论证,并在此基础上进一步分析了缺陷反射波的能量分布与缺陷形态的相关性,为后续的研究工作奠定了理论基础。(2)裂纹是管道的一种主要缺陷,危害性最大,并且裂纹的定量检测是目前管道探伤中具有挑战性的课题。研究中发现,裂纹的面积、深度、长度及开裂程度的检测,都与裂纹方向相关。对于同一个裂纹,当方向不同时,其反射波的能量分布特征不同。因此,目前对裂纹面积、深度、长度及开裂程度的检测,大都是在裂纹方向已知的条件下进行的。但是在实际中,裂纹方向是未知的。因此,对裂纹方向的检测是裂纹定量检测研究中必须解决的问题,但一直以来没有一个满意的解决方法,成为裂纹定量检测研究中的难点问题。针对此问题,本文将不同方向的裂纹看作是不同的类别,作为模型的分类任务,设计了一种识别裂纹方向的小样本分类模型,并通过实验验证了模型的有效性。(3)裂纹面积也是裂纹定量检测研究的一个重要方面,由于裂纹面积的检测受裂纹方向的影响,所以长期以来没有一个满意的解决方法。本文在裂纹方向识别研究成果的基础上,借助于小样本裂纹方向识别模型,研究了一种裂纹面积的估算方法。首先通过概率统计的理论和方法,建立了不同方向的裂纹面积与其反射波能量的回归方程,然后利用插值算法将多个回归方程组合成一个通过裂纹方向求解裂纹面积的模型,最后借助于裂纹方向识别模型求解裂纹面积。经过实际测试,估算结果的相对误差为4%。(4)将深度学习模型应用于实际,是模型开发的目的。目前,影响模型走向应用的因素主要有三个:一是实际中难以提供足够数量的训练样本;二是模型的计算量大,训练时间变长,对服务器的计算资源要求较高;三是需要开发相应的智能系统。针对上述的第一个问题,本文设计了基于小样本学习的IPro Net模型,解决了实际中训练样本不足的问题;针对上述的第二个问题,本文在模型设计中采用了轻量化的设计思想,大大降低了模型的计算量和训练时间,能够适应当前服务器的计算资源。针对上述的第三个问题,本文研究开发了基于本文方法的智能探伤系统。智能系统采用Lab VIEW与Python混合编程的方法,实现了数据的自动采集、存储和管理;实现了对数据的智能分析处理;实现了对裂纹方向的智能识别过程;在裂纹方向识别的同时,实现了对裂纹面积的估算。

关键词： 苹果叶片病害   图像分类   特征提取   卷积神经网络  

摘要： 苹果是保障我国水果市场周年稳定供应最重要的大宗水果之一,而病害却严重影响着苹果产业的发展,每年导致近三成以上的苹果果实腐烂落果,造成了很大的经济损失。因此如何快速准确地分类识别出苹果叶片病害,进行精准施肥喷药等有效防治,对提高苹果单产水平和优质果率尤为重要。目前,苹果叶片病害识别大多依靠果农自身经验进行判断,带有主观性和片面性,效率低、工作强度大,精度无法保证,而且无法量化,不适用于现代标准化规模种植作业的生产实践。近几年来,机器学习算法在识别、检测任务中取得了不俗的效果,也逐渐成为了农业病害识别领域的优选方案。但对苹果叶片病害的识别研究中依然存在识别病害类型少、缺少对多种不同病害共生于同一叶片的识别、叶片图像背景单一等问题。本文以自然环境条件下单一的、多样化的苹果叶片病害图像为研究对象,并基于图像处理和机器学习方法对苹果叶片病害进行分类识别。论文主要工作如下:(1)构建苹果叶片病害数据集。从kaggle网站收集苹果叶片病害图像,收集到的数据集中,呈现单一病害的图像有5类,呈现多样化病害的图像有4类,还有健康苹果叶片类型,共有苹果叶片图像18965张。并通过图像增强的方法,平衡数据集,用于机器学习分类。(2)通过传统机器学习方法对苹果病害叶片进行分类识别。利用图像处理技术,并结合苹果叶片上不同病害种类的特征,调整HSV图像的颜色阈值,批量提取苹果叶片图像的病斑。提取病斑图像的颜色、形状、纹理特征值,并将不同维度的特征值融合、降维,在以RBF(径向基函数)作为核函数的SVM分类器上平均准确率达92%。(3)提出一种新的Multiple-BotNet网络模型。在BotNet50网络模型的结构上加入SE、MHSA注意力机制模块用于增强模型对苹果叶片病斑特征的关注度,并通过更换激活函数,融合损失函数的策略,提高模型的准确率。在训练集上,与其他五种卷积网络模型进行对比,性能有明显地提升,较原BotNet50网络模型准确率提升了6%。在测试集中,测试精度达到94.03%,表明该模型对苹果叶片病害实现了较精准的识别。(4)开发苹果叶片病害识别系统。为了方便用户操作和分类结果的可视化,进行基于Pyqt5的苹果叶片病害识别系统的开发。该界面判断病害图像耗费时间0.8s左右,且简洁、易于用户使用。

关键词： 联邦学习   Non-IID   知识蒸馏   分布共享  

摘要： 联邦学习因隐私保护和解决跨数据孤岛问题的能力,使得越来越多人关注到其应用于如医学领域中疾病的诊断这类数据敏感的行业的潜力。然而客户端数据分布的不一致,使得传统的联邦学习的性能下降较大。为了消除多个机构数据集中存在的非独立同分布(Non-IID)问题对联邦学习性能造成的不良影响,本文首先提出了基于分布共享和知识蒸馏的环状联邦学习方法,并对该方法在实验上进行了收敛性的评估。并在此基础上对该算法中生成器质量不高问题进行改进,通过迁移学习训练生成器来提升生成器的质量从而提升联邦学习任务模型的性能。本文具体工作内容如下: 1)研究了基于分布共享和知识蒸馏的环状联邦学习方法。针对Non-IID数据下联邦学习模型性能下降问题,本文综合考虑了数据层面以及算法层面结合的优化方式,在保障客户端数据隐私的前提下,较好的实现了Non-IID下联邦学习模型性能的提升。首先我们在各个客户端的数据集上训练局部生成器,并将该生成器传给相邻客户端生成虚拟共享数据以实现分布信息共享的目的。然后在虚拟共享数据上通过知识蒸馏这一算法层面的优化方式来解决Non-IID问题。我们在医学数据集和公共数据集上的实验表明所提方法与各种最先进的方法对比有着不错的提升,其精度接近集中式学习的性能。同时为了进一步评估该方法的收敛性,本研究从实验上进行了分析和验证,实验表明此方法具有收敛性。 2)研究了基于分布共享质量提升的环状联邦学习方法,该方法在基于分布共享和知识蒸馏的环状联邦学习方法的基础上进行改进。由于局部客户端数据较少且分布不均,造成局部生成器质量较差,生成的虚拟共享数据不能较好的反应客户端数据分布信息,从而降低了任务模型的性能。因此该方法为了解决此问题,采用迁移学习在与目标域数据集上具有强关联性的源域数据集进行预训练,并在目标域数据集上进行微调,从而提升生成器的质量。为了更深入的研究这种源域数据集与目标域数据集的关联性对任务模型的性能的影响,本研究从数据集的疾病类型和成像方式进行入手。同时也比较了采用迁移学习和不采用迁移学习来训练生成器时,其训练时间对任务模型性能的影响。在相关医学数据集上的实验表明,采用迁移学习训练生成器能有效提升任务模型的性能,但是缺陷是受限于苛刻的实际条件,即源域与目标域的数据集疾病类型和成像方式应当一致,因此应根据实际条件对算法进行选取。 通过分布共享和知识蒸馏的环状联邦学习方法有效提升了Non-IID下联邦学习任务模型的性能,这种从数据层面以及算法层面综合考虑来求解Non-IID问题的新思路为实际应用于像跨医疗机构以及金融领域等对数据敏感度较高的行业具有重要的实际意义和良好的商用应用前景。

关键词： 点云视频   自适应码率传输   滚动优化   强化学习  

摘要： 近年来,元宇宙概念逐渐崛起,传统视频形式已经难以迎合未来的发展趋势。而全息视频技术可以给用户带来更加沉浸式体验,并且可以和虚拟现实技术(Virtual Reality,VR)甚至增强现实技术(Augmented Reality,AR)相结合,因此受到了广泛的关注。全息视频形式主要包括点云视频和光场视频,点云视频相较于光场视频有着更小的数据量,并且有着更方便的采集方式,有着更加广泛的应用。点云视频给用户提供六个自由度(Degrees of Freedom,Do F)的信息,用户可以从各种角度观看点云对象。但是相应地,即使是点云视频,相较于传统流媒体也有着极其庞大的数据量,因此如何在有限的网络带宽资源下优化点云视频传输是一个值得研究的领域。 目前基于HTTP的动态自适应流技术(Dynamic Adaptive Streaming over HTTP,DASH)技术被广泛地应用于点云视频传输领域。这种技术先将点云原始视频从时间上分割成若干的帧组(Group of Frame,Go F),然后利用点云切块技术对每个Go F的点云内容进行处理,得到若干个点云切块。再利用差异化编码技术将切块编码成不同的质量等级。最后在传输过程中,不断地通过算法来动态调整每个Go F中点云切块的质量等级,以充分利用网络带宽资源。DASH技术还可以和用户视角相结合。在观看点云时,用户有着有限的视角/视场(Filed of View,Fo V),因此实时读取用户的视角,重点传输视角内的切块,可进一步较少带宽占用。 本文在上述技术的基础上提出了一种滚动优化框架。该框架不同于传统点云视频优化算法,该框架考虑到了后续Go F对当前Go F决策产生的影响,通过每次决策时的N步预测使得系统在应对网络带宽和用户视角的突然变化更有预见性,以提高系统性能,并进行了相关的理论证明。 此外,由于点云视频的优化问题规模庞大。传统数学方法难以保证求解的实时性,这使得点云视频难以实时传输。注意到优化问题虽然规模庞大,但是每次求解的问题形式是固定的,因此本文设计了一个基于深度强化学习(Deep Reinforcement Learning,DRL)方法的求解器,该求解器能够学习优化问题的求解规律,在短时间内给出求解方案,并且有着很小的训练开销。 最后本文进行了详细的仿真实验来验证系统性能。还搭建了基于Hololens2的传输系统原型,在实际系统下测试该方案可行性。试验结果表明,本文提出的方案性能优于其他典型基线方案。

关键词： 协作式机器学习   隐私保护   同态加密   差分隐私  

摘要： 随着信息时代的飞速发展,网络边缘设备的普及,数据多点分布爆炸式增长,协作式机器学习迎来了更广阔的发展前景。在协作式机器学习中,多个参与者在私有数据训练本地模型,通过交换模型信息或中间计算结果来训练共享模型。协作式机器学习已然成为当今解决数据孤岛问题、建立数据协作的新范式。然而,有研究表明通过分析参与者之间传递的消息依旧可以推理出用户数据中的敏感信息,因此协作式机器学习仍面临严峻的隐私泄露风险。本文针对现有协作式机器学习方法中隐私保护能力不足问题,根据数据不同分布形式展开研究,提出多种隐私保护机制下的协作式机器学习方法,在确保用户数据隐私不被泄露的前提下兼顾模型效用、计算效率及系统开销。本文主要的工作概括如下: 首先,面向数据横向分布场景,针对现有联邦学习方法在模型聚合过程中客户端模型参数泄露用户隐私问题,提出基于知识蒸馏和混洗模型的安全联邦聚合方法。该方法通过上传在公开数据集上的预测标签替代上传本地模型,避免服务器根据客户端上传的模型参数推理用户敏感信息。此外,利用混洗模型并结合本地化差分隐私技术,该方法将现有的联邦学习扩展到编码、混洗、分析安全架构下,使客户端输出的预测标签匿名化。经理论推导证明该方法满足差分隐私机制并且给出误差边界,实验结果表明引入混洗模型能够增强隐私保护效果,该方法在保持模型性能的同时优化通信效率。 其次,面向大规模图数据横向分布场景,针对现有基于参数扰动的联邦学习方法难以平衡隐私保护程度与模型效用问题,提出基于低维空间扰动的图联邦学习方法。该方法冻结图嵌入层,仅在本地进行图数据的特征提取,保护隐私同时减少通信开销。同时,在利用差分隐私扰动模型参数前,先将模型参数映射到低维空间再加入噪声,以减少所需噪声的尺度。在同等隐私保护级别下,通过减轻模型扰动来提升模型的预测性能。在社交网络数据集上进行实验,结果表明该方法可以同时兼顾模型效用、隐私保护及通信效率。 再次,面向数据纵向分布场景,针对协作式逻辑回归方法无法抵抗半诚实参与者攻击问题,提出两方协作和多方协作的隐私保护逻辑回归方法。上述两种方法均包含隐私保护的训练过程与预测过程。两方协作的隐私保护逻辑回归方法利用加法同态加密技术,使得两方在密文下完成梯度下降和模型更新。多方协作的隐私保护逻辑回归方法通过一个全局服务器进行消息传递,同时利用安全多方计算和加法同态加密技术实现安全计算。上述方法均实现密文下的预测,确保模型部署方无法获取模型使用者的输入数据。在多组数据集上进行实验,并进行安全性及性能分析,结果表明提出的两种协作式逻辑回归方法均可以在保证模型精度前提下,抵抗半诚实参与者的攻击,保护协作参与方的数据隐私安全。 最后,面向数据不均衡分布场景,针对传统迁移学习存在源域数据和目标域数据相互暴露问题,提出隐私保护的协作式迁移学习方法。该方法通过引入一个全局服务器,将集中式迁移学习架构改变成联邦学习架构。源域和目标域作为客户端在本地进行训练,并利用全局服务器进行通信完成模型学习和知识迁移。同时利用同态加密保证传输和计算安全,源域、目标域和全局服务器之间进行密文消息传输,并在密文下进行域间适配和模型更新。对本方法进行了安全性分析,证实源域和目标域在协作过程中无法获得对方的隐私信息,同时可以抵抗半诚实服务器和恶意第三方攻击。实验结果表明,此方法可以在几乎不损失精度的前提下,实现安全的知识迁移。 本文关于面向隐私保护的协作式机器学习方法的研究成果,将有益于进一步实现“数据可用而不可见”模式下的隐私计算,在满足用户隐私保护、数据安全和政府法规的前提下,为解决数据孤岛问题,实现跨组织的数据合作奠定良好基础,为构建协同互联、数据流通的新未来提供重要支撑。