关键词： 肝癌   肺癌   惩罚逻辑回归   支持向量机   人工神经网络   极限梯度提升算法   预测精度  

摘要： 近几十年来,人们收集、传输和处理数据的能力飞速发展。与此同时,带来了很多新问题和新挑战,机器学习方法提供了可行的方法。例如:大量基因序列信息、转录数据、蛋白质数据涌现出来。如果充分利用这些数据来筛查肿瘤的良性和恶性,那么能准确而有效地筛查出肿瘤是良性还是恶性。对病人的早期诊断和靶向治疗至关重要,从而降低人类的死亡率。常见的癌症中,肝癌和肺癌的发病率和死亡率都极高。本文主要利用机器学习方法研究肝部肿瘤良恶性问题和肺部肿瘤良恶性问题。对于肝部肿瘤良恶性预测问题,本文选取Kaggle大数据网站上的579例肝部肿瘤样本数据。以年龄、性别和8个肝功能指标作为预测变量,肝部肿瘤良性和恶性作为响应变量建立七个分类器:逻辑回归、支持向量机、极限梯度提升算法、Ridge惩罚逻辑回归、Lasso惩罚逻辑回归、Elastic-Net惩罚逻辑回归和Adpative Lasso惩罚逻辑回归。以492例病人作为训练样本学习预测模型,再用87例病人测试模型的预测性能,比较七种方法的不同预测精度和预测表现。Ridge惩罚逻辑回归的预测精度最高,获得精度为0.812,灵敏度为0.790,特异度为0.843。因此,利用Ridge惩罚逻辑回归可以有效预测肝部肿瘤的良性和恶性情况。对于肺部肿瘤良恶性预测问题,本文选取威斯康星大学UCI网站的603例肺癌肿瘤样本数据,年龄、病人是否转入普通病房(是,否),重症监护(是,否),血红蛋白和血小板等22个指标作为预测变量,肺部肿瘤良性和恶性作为响应变量。原始数据中肿瘤的良性和恶性之比为13:2,由于分类变量比值相差较大,现运用R软件的SMOTE函数进行数据处理后,数据中肿瘤的良性和恶性之比变为3:1,从而肿瘤的良性和恶性的数据更加平衡。再肺部肿瘤良性和恶性作为响应变量建立八个分类器:逻辑回归、支持向量机、人工神经网络、Ridge惩罚逻辑回归、Lasso惩罚逻辑回归、Elastic-Net惩罚逻辑回归、Adpative Lasso惩罚逻辑回归和组Lasso惩罚逻辑回归。以706例病人作为训练样本学习预测模型,再用176例病人测试模型的预测性能,比较八种方法的不同预测精度和预测表现。人工神经网络预测精度的预测精度最高,获得精度为0.925,灵敏度为0.898,特异度为0.933。因此,利用人工神经网络可以有效预测肺部肿瘤的良性和恶性情况。本文用逻辑回归、支持向量机、人工神经网络、极限梯度提升算法和四种惩罚逻辑回归模型预测肝部肿瘤良性和恶性问题,得出Ridge惩罚逻辑回归预测表现最佳,平均精度为0.812;逻辑回归、支持向量机、人工神经网络和五种惩罚逻辑回归模型预测肺部肿瘤良性和恶性问题,得出人工神经网络预测表现最佳,平均精度为0.925;对于预测肝部肿瘤良恶性问题可以采用Ridge惩罚逻辑回归模型,预测肺部肿瘤良恶性问题可以采用人工神经网络模型。

关键词： 多视图表示学习   一致性互补性   半监督学习   视图交流   可解释性  

摘要： 多视图表示学习旨在从多视图数据中学习一个统一的表示,它不仅是机器学习、人工智能中的重要研究方向,而且在实际应用中扮演着一个重要的角色。近些年,多视图表示学习研究受到广泛关注,大量方法被提出。根据前沿综述给出的方法分类,现有的多视图表示学习方法可以分为:基于连接的表示学习方法、基于对齐的表示学习方法和共享-独有表示学习方法。虽然这些方法在多视图表示学习领域取得了实质性的进展,但仍然存在一些问题亟待解决: (1)共享-独有表示学习方法中共享、独有信息分解与半监督学习问题。现有的共享-独有表示学习方法尝试将每个视图内的信息分解为共享信息和独有信息。然而这些方法没有意识到在没有任何约束的情况下,共享、独有信息并不会自动分解,而且无法有效分解的共享和独有信息会互相影响,并降低多视图表示学习的性能。因此共享、独有信息分解是一个亟待解决的问题。另外,有标签数据获取难,如何设计有效的半监督学习策略以利用无标签数据中的信息也是一个值得研究的问题。 (2)现有表示学习方法无法利用互补性实现视图间互相帮助的问题。多视图数据优于单视图数据的一个重要原因是多视图数据具有互补性,互补性利用是否充分也是一些多视图表示学习方法成功的关键。现有多视图表示学习方法将从不同视图学到的表示连接以利用多视图数据的互补性。然而连接不仅没有物理意义,而且在连接中不同视图之间无法利用互补性实现视图之间的互相帮助。因此,如何充分利用多视图数据的互补性实现视图间的互相帮助是一个值得研究的问题。 (3)现有多视图表示学习方法视图间信息交流有限,互补性利用不足问题。互补性是多视图数据最重要的特性之一。现有的多视图表示学习方法中,基于对齐的表示学习方法关注了一致性忽略了互补性;基于连接的表示方法和共享-独有表示学习方法使用连接将不同视图的表示融合成统一的表示,视图之间信息交流有限。而视图间互补信息交流是多视图表示学习方法充分利用互补性的前提,因此如何在多视图表示学习方法中实现视图之间的信息交流是一个非常有意义的问题。 (4)现有可解释多视图表示学习方法无法解释多视图数据语义相关性的问题。语义相关性是多视图数据最基本的特性之一。而现有可解释多视图表示学习方法一般是通用可解释方法在多视图数据上的应用,没有针对多视图数据的特点而设计,因此无法对多视图数据的语义相关性进行解释。因此提出可以解释语义相关性的多视图表示学习方法是一个值得探索的方向。 论文针对上述问题,抓住多视图数据一致性和互补性的特点,在多视图表示学习领域进行了深入研究,并取得了一系列有价值的成果: (1)针对共享-独有多视图表示学习方法中共享信息和独有信息无法有效分解与半监督学习的问题,论文提出了一种共享-独有半监督多视图深度鉴别表示学习框架。首先,基于前沿综述给出的方法分类,论文提出了一种新的多视图表示学习方法分类。其次,论文提出了共享-独有半监督多视图深度鉴别表示学习框架。此框架将每个视图内的信息建模为共享信息和独有信息,并通过引入对抗相似约束与正交约束,不仅能够将共享信息和独有信息有效分解,而且降低了所学表示中的信息冗余。最后,通过融合深度度量学习与密度聚类,论文提出了一种新的半监督学习策略,使得此框架能够利用无标签数据中的信息提升多视图表示学习的性能。 (2)针对现有表示学习方法无法利用互补性实现视图间互相帮助的问题,论文提出了一种半监督多视图表示学习方法——协同嵌入。该方法首先提出了一种基于临近信息的多视图样本相似性判别算法。之后通过引入加权度量学习,提出了一种视图间以样本为媒介交换互补信息的多视图表示学习网络,进而实现视图间利用互补性进行互相帮助的目的。最后,基于相似性判别算法,提出了一种标记传播策略以实现半监督学习,并设计了鉴别正则以提升此策略的泛化能力。 (3)针对现有多视图表示学习方法视图间信息交流有限,互补性利用不足的问题,论文提出了一种视图间以特征为媒介交流互补信息的有监督多视图表示学习方法。首先,受人在群体决策中所体现出的、以信息交流为形式的群体智能启发,论文提出了“视图交流”的概念。然后,通过模拟人的交流模型,论文提出了一种视图交流模型,并以此为基础提出了一种视图间具有互补信息交流的多视图表示学习方法。此方法以特征为媒介在视图之间交流互补信息,并实现了视图之间的多轮信息交流。相比于现有多视图表示学习方法,此方法更好地利用了互补性。 (4)针对现有可解释多视图表示学习方法无法解释多视图数据语义相关性的问题,论文提出一种基于对齐的语义可解释多视图表示学习方法。该方法首先利用基于对比学习的对齐多视图表示学习网络将不同的视图映射到同一语义空间。然后在此网络基础上提出了表示激活映射。表示激活映射与模型结构无关、与模态无关、与样本有无标签无关,可以解释多视图数据的语义相关性,而且不需要为可解释性训练额外的参数。最

关键词： 党史学习教育   高校   新时代  

摘要： 全面考察党史教育的历史沿革与发展历程，科学厘清和正确把握党史学习教育的发展路向，对于推进新时代党的建设新的伟大工程和中华民族伟大复兴的历史进程意义深远。高校是党史工作阵地，加强高校党史学习教育，有助于青年学子从党史学习中感悟思想伟力，把从党史中汲取的为国奋进、为民谋福的精神力量，切实转化为为国科研、为民造福的不竭动力。因此，高校需进一步加强新时代党史学习教育研究，挖掘高校党史学习教育红色素材，创新高校党史学习教育方法，加强党史育人工作队伍建设，推动大学生党史学习教育科学化、规范化、常态化。

关键词： 联邦学习   交通流量预测   差分隐私   门控循环单元   个性化隐私   鲁棒性  

摘要： 人工智能发展日益迅速,深度学习也被越来越多地应用于现实场景中。然而由于数据多源、信息安全、企业竞争等因素,在大多数行业中,数据以孤岛的形式存在,无法互联互通。联邦学习成为了应对方法。联邦学习是一种分布式机器学习训练方法。客户端通过对本地数据进行训练,上传模型参数至服务器,使得客户数据本地存储的前提下也能完成训练。在城市交通流量预测场景中,采集的交通流量数据来自于多个渠道,存储在不同的公共机构中,所以已有研究者使用联邦学习对城市交通流量进行预测。但联邦学习本身也存在隐患。客户上传的原始梯度,可能揭示有关本地数据的信息,以及普通的加权平均聚合规则也无法抵抗拜占庭攻击的威胁。本文针对以上问题,进行了如下工作。第一,针对联邦学习梯度隐私性问题,选择使用差分隐私技术对模型参数更新进行保护,提出了F-DPGRU(Federated Differential Privacy Gated Recurrent Unit)算法。相比于普通的联邦学习GRU(Gated Recurrent Unit)训练,本文客户端在本地GRU模型中,对梯度进行了加噪处理,再上传模型参数至服务器。它使得客户端算法实现了(ε,δ)-差分隐私,参数更新具有随机性,从而有效防止参数被攻击者窃取,保护了数据隐私。第二,针对F-DPGRU算法中普通加权平均聚合机制的脆弱性,服务器选择中位数机制对模型参数更新进行聚合,提升模型鲁棒性。它使得全局模型错误率保持在阶次最优错误率以内,即使个别工作结点出现故障也能保证全局模型收敛。第三,针对不同客户端可能存在不同的隐私保护需求,将本地差分隐私与用户差分隐私结合起来,提出了个性化差分隐私机制。将客户分为两类,不信任服务器的客户端进行本地差分隐私保护,上传干扰过的模型参数更新至服务器。信任服务器的客户端上传原始模型参数更新,再在服务器上进行差分隐私保护。从而在满足不同隐私需求的前提下,有效的提升了模型精确度。本文针对这三点工作,在两个交通流量数据集上进行了实验,在不同的场景需求下,都达到了良好的预测效果,体现了本文方法的可行性与优越性,对于交通流量预测领域具有良好的借鉴意义。

关键词： 半监督学习   裂缝   自动标注   渐进式   轮廓提取  

摘要： 对于建筑物而言,裂缝是最常见的病害,裂缝的出现加速混凝土结构的碳化、钢筋锈蚀,给结构物带来安全隐患;一方面给使用者带来更大的心理压力,另一方面严重威胁人民的生命财产安全。本文以墙体裂缝为研究对象,将图像处理与深度学习相结合,让计算机具有自动识别裂缝这一主题内容展开研究。首先,在样本采集和实地检测过程中,闪光灯的补光常常会造成阴影,跟真实裂缝相混淆。当手电筒亮度太低,图像整体过于阴暗,当亮度过高时,造成拍摄的裂缝像素点信息损失。本文设计了一种专业补光多用自拍杆,通过在手机夹持装置安装LED灯,实现在黑暗环境中补光并进行拍照,获取高质量的拍摄图片;作业人员可旋转调节环使得伸缩杆达到合适的长度,保证在黑暗的隧道内安全行走。其次,在样本训练过程中,采用组合式的预处理方法强化裂缝与背景的差异,从而让模型在样本识别上具有更好的兼容性;本文根据裂缝图像进行分类,对白墙黑缝以及混凝土裂缝两种类型,根据裂缝网网站获取到的裂缝照片,其四边小方格的像素平均值大小选择使用两种组合预处理方式进行处理,该方法对于裂缝识别性能提升的速度提升效果显著;再次,设计了一种新颖的裂缝掩膜轮廓坐标提取的算法;获取根据RGB空间模型优化后的掩膜坐标;对离散的掩膜坐标点进行删除后获取轮廓起始点;使用多矩阵依次遍历裂缝掩膜,于适当的部位处进行补点,或限制某点参与轮廓的搜寻;依据掩膜坐标点之间的关系即空隙率与共有率的关系依次提取轮廓;最后根据多项判定条件决定当搜寻到一段闭合轮廓后,是否继续执行搜寻或退出操作。从次,采用样本筛选剔除算法对训练样本进行筛检;在利用上一阶段的权重文件检测新样本过程中,首先对装置采集到的原图进行裁剪,得到的样本集中包含大量的背景图与少量的裂缝图;根据检测结果中是否包含裂缝区域的识别框、模型对于识别部位给出的置信度大小、掩膜坐标个数、掩膜坐标多次旋转后的投影区间分布状态、整体部位的长宽比与像素平均值等评价原则综合判断是否需要对样本集中的部分样本进行剔除。最后,本文提出了一种裂缝图像识别模型的渐进式学习方法;模型分三个阶段对裂缝样本进行训练:首先,在白纸上绘制黑线条模拟假裂缝,用形态学的方法找出黑线条轮廓,自动制作裂缝标签后进行训练,生成一级权重文件;利用一级权重文件识别白墙上的裂缝,掩膜优化后获取裂缝坐标,再利用掩膜坐标点8邻域、共有量关系提取有序的裂缝轮廓和裂缝图片信息,自动制作裂缝标签进行训练后生成二级权重文件;其次,用二级权重文件分批次检测混凝土裂缝,优化并提取掩膜轮廓,整合样本信息后继续生成标签,循环训练,最终生成三级权重文件。最后,持续获取裂缝网网站用户上传的裂缝照片,定期训练,在反复迭代训练过程中逐步提升权重文件的性能;经过训练的Mask RCNN模型,对三类图像的识别综合评价指标分别达到95.2%,83.3%,79.2%,具有较高的识别率,可用于建筑裂缝的快速识别。综上,论文基于裂缝图像识别模型的半监督学习方法开展了计算机对于建筑物墙体裂缝的研究,为变形监测领域提供了一种新的思路和方法。

关键词： 海洋平台   结构健康监测   结构损伤定位   深度学习   可解释性  

摘要： 实现结构损伤识别与位置诊断一直是海洋平台完整性管理技术升级所面对的挑战。近年来,随着数据信息化技术的蓬勃发展,深度学习方法因其在解决诸多高度不确定性问题上的突出表现,已成为建立海洋平台健康诊断算法的重要模型工具。然而,诊断算法落地应用所需的某些关键特质,凸显了算法可解释性的需求,具体体现在:1)基于监督学习机制的深度学习模型,样本集涵盖的有限损伤事件是诊断逻辑构建的唯一来源,算法可靠性需要决策机制的解释;2)基于无监督学习机制的算法,需要形成能够指示损伤来源的模型内部表征,对应规律挖掘过程的有效性,同样需要模型可解释性的论证。 由此可见,深度学习可解释性是形成健康诊断算法的关键。本文基于一座在役导管架海洋平台结构的损伤诊断问题,探索可解释深度学习方法的引入途径,形成主要研究成果如下: 首先,本文依托一个针对目标平台的二分类损伤识别深度学习模型,建立了算法学习可靠性的评价方法。该评价方法围绕环境耦合关联和结构拓扑逻辑两个角度展开,进一步通过引入高维互信息神经网络估算方法,形成可量化的评价指标。算法可靠性是能够落地应用的关键特性,可靠性评价方法的建立弥补了相关诊断技术的空白,为算法开发提供了有价值的参考和依据。 应用上述可靠性评价方法对二分类模型进行分析,结果表明模型表征与期望的解释属性相距甚远,模型难以处理响应信号中错综复杂的纠缠关系,导致模型的决策不可靠。由此本文引入变分自编码器框架,探索在模型层面解耦的架构设计,并通过提出的可靠性评价方法,考察瓶颈层表征的解释属性。经过多种尝试后发现,变分推断在进行解耦时缺乏针对性。由此,本文通过引入对抗学习,建立了一种条件对抗学习模型,模型在训练阶段要求表征能够对抗判别模型对于环境耦合的判定,使其能够针对性地实现与环境因素解耦。 诊断算法需要满足结构拓扑逻辑,本文提出一种数据—物理双驱动的全新可解释网络架构。该架构基于物理原理设计网络连接规则,使得解码网络的运算遵循结构拓扑逻辑。经评价方法检验,网络能够获得关联桩腿区域健康状态的表征。进一步的,本文提出一种并行交叉映射的深度学习模型,该模型按照结构响应的正交方向分别建立两个网络,从而可以根据双网络的瓶颈层表征计算相应结构区域的健康半径,进而形成综合全区域的结构健康诊断。该模型的有效性经过了可靠性评价方法和数值模拟数据的检验,进一步通过开展物理模型试验验证了模型的有效性。 为考察算法模型的应用性,本文开展了现场的应用实践与智能终端开发,首先对目标平台的现场数据采集系统和清洗过程进行介绍,随后检验诊断算法对现场数据的应用效果,结果显示算法模型展现出了良好的计算稳定性。为服务于现场应用,本文建立了实时交互的智能终端系统,包括对监测数据进行储存和管理的数据管理中心;包含本文提出的健康诊断算法在内的运算集成中心。智能终端可通过云端共享实现数据传输和用户之间的交互。智能终端的建立可为海洋平台的安全生产、科学决策、风险防范提供良好的数据支撑,显示出良好的应用价值和前景。

关键词： 偏标记学习   偏多标记学习   偏标记降维算法   生成对抗网络  

摘要： 作为两种重要的弱监督学习框,偏标记学习和偏多标记学习具有相似的特点,即每个示例的真实标签均被淹没在候选标签集合中。两者的不同点在于:1、对于偏标记学习,每个示例只有一个真实标签淹没在候选标签集合中。2、对于偏多标记学习,每个示例不仅具有多个真实标签,同时上述多个真实标签也淹没在候选标签集合中。偏多标记学习可以认为是偏标记学习的拓展,但是,相比于偏标记学习来说,偏多标记学习的真实标签数量未知,所以偏多标记学习更加困难。通过对特征空间应用降维算法也是一种偏标记学习的研究方法,现有偏标记降维方法旨在尽可能多的去除原有特征空间中的冗余信息。基于上述讨论,本文围绕偏标记学习算法、偏标记学习降维算法和偏多标记学习算法三方面展开研究。(1)针对现有偏多标记学习算法消歧过程中,指导消歧的结构信息模糊,导致消歧过程不稳定并产生累积误差的问题,提出一种基于语义差异最大化的偏多标记学习算法:在偏多标记学习中引入语义差异的概念,并通过语义差异最大化指导消歧过程。具体来说,首先根据示例间候选标签集合相交是否为空确定示例间的语义差异,然后将最大化整个训练集的语义差异作为优化目标,从而在偏多标记学习的消歧过程中引入语义差异作为指导信息。在人工数据集上,该算法在80%的情况下优于所对比算法;在真实数据集上,该算法在65%的情况下优于所对比算法。(2)现有偏标记降维方法均通过特征提取方法与基于平均消歧的近邻投票方法交替进行以达到降维目的,但是交替进行的两种方法会分别导致的降维后特征空间失去原有物理信息以及真实标签淹没在假阳性标签中的问题。针对以上问题,提出一种基于标签冗余和置信度传播的偏标记特征选择方法:该方法首先通过标签冗余衡量某一特征在特征空间中的相对重要性,并以此准确地剔除特征空间中的冗余特征,保留的特征依旧具有原来的物理信息,然后通过标签置信度传播的消歧方式,避免真实标签淹没在假阳性标签中,最终特征选择过程和置信度传播过程交替进行实现降维目的。实验证明了该算法的有效性。在人工合成数据集上,该算法在71%的情况下优于所对比算法;在真实数据集上,该算法在83%的情况下优于所对比算法。(3)目前有偏标记学习的相关学者将生成对抗网络成功应用到了偏标记问题的求解过程中,但是该算法中由于判别器同时承担判别任务和分类任务导致最终判别器无法收敛到最优分类器,针对这一问题,提出了一种基于三重生成对抗网络的偏标记学习算法:通过在原有二重生成对抗网络的基础上引入分类器,形成三重网络结构,将分类任务从判别器中分离并交由分类器处理,避免分类器因平衡收敛而无法收敛到最优分类器。在人工合成数据集上,该算法在60%的情况下优于所对比算法;在真实数据集上,该算法在70%的情况下优于所对比算法。

关键词： 迁移学习   子空间学习   不完整模态   不完整多视图   潜在的低秩约束  

摘要： 迁移学习已经被证明在图像分类、文本分类、情感分析等许多现实应用场景下是一种极为有效的技术,然而绝大部分迁移学习算法都是基于训练数据集完整的假设下来训练模型的。当训练数据集出现数据缺失、数据污染等情况时,传统的迁移学习方法对于此类问题则显得束手无策,如果强行进行模型训练可能带来错误的分类结果。近些年来,迁移学习领域发展迅速,不完整数据场景下的迁移学习已经吸引了部分研究者的关注,他们探索了子空间学习框架与潜在的低秩约束相结合来应对该场景,取得了较为显著的成效。现实场景总是复杂多变的,这为数据的采集带来了极大的挑战,例如光线、角度、阴影等都会对数据造成负面影响。如何处理此类极端场景下的数据集来训练迁移学习模型是一个值得关注的难题,传统的迁移学习算法对此无能为力。为了有效地解决这类问题,本文将基于潜在的低秩约束的子空间学习框架引入不完整模态与不完整多视图这两种场景中,提出了新的解决方案。本文的具体研究工作如下:(1)本文提出一种基于潜在的低秩约束的不完整模态迁移学习算法,所提算法通过两方面来解决不完整模态问题:一方面,基于低秩约束子空间学习框架,引入潜在因素来挖掘目标域中缺失的模态信息,然后借助具有完整模态的辅助数据集,通过跨模态或跨数据集方向的迁移学习来帮助模态或数据集之间的数据对齐。另一方面,利用少量标记目标数据来完成监督信息对齐,从而保持目标数据在迁移学习过程中的内在结构。实验结果表明,所提算法较之于传统的迁移学习算法有明显优势;即使对于不完整的目标数据,也可以显著地提高分类性能。(2)将基于潜在的低秩约束子空间学习框架从不完整模态问题中延伸至不完整多视图问题中,提出一种基于双重低秩分解的不完整多视图子空间学习算法。所提算法通过两方面来解决不完整多视图问题:一方面,基于双重低秩分解子空间学习框架,引入潜在因素来挖掘多视图数据中缺失的信息。另一方面,通过预先学习的多视图数据低维特征获得更好的鲁棒性,并以有监督的方式来指导双重低秩分解。实验结果证明,所提算法较之于之前的多视图子空间学习算法有明显优势;即使对于不完整的多视图数据,也可以显著地提高分类性能。

关键词： 层次强化学习   转移模型   进化算法  

摘要： 层次强化学习方法在解决复杂决策问题时具有巨大的潜力,在很多场景中都取得了很好的表现。在本文中主要研究了基于子目标的层次强化学习方法,该类方法包括一个上层策略和一个下层策略,上层策略每隔一段时间生成一个子目标,下层策略通过完成一系列子目标来完成整体任务。尽管层次强化学习方法在某些问题下已经表现出优势,但其子目标的设计仍然存在巨大问题,如一般的方法给予的子目标空间过于庞大。在这种设计下,上层策略在巨大的动作空间中探索出有效的子目标是很困难的,这些子目标对于下层策略来说绝大部分也是不可完成的,庞大的子目标空间同时加大了上下层策略的学习难度。基于上述问题,本文提出了基于进化策略推演的子目标约减层次强化学习方法(Fo Cu S)。本文首先基于进化策略的优势,将进化策略算法与世界模型相结合,构造了进化策略推演算法,从而加快了进化策略的学习效率并提升了模型推演的效果。而后将进化策略推演算法与层次强化学习算法相结合,通过下层策略轨迹训练世界模型,并由状态的分布作为目标优化进化策略,获得了下层策略k步内的可达状态集,在转移模型中探索出下层策略执行范围的边界。在此基础上,本文通过将子目标有效约减到这个边界下,来提升层次强化学习方法的效果。实验表明,本文方法可以超越目前的层次强化学习方法。

关键词： 分布式协作机器学习   联邦学习   拆分学习   个性化  

摘要： 随着互联网的发展,数据发挥着越来越重要的作用。分布式协作机器学习允许多个客户端设备参与训练,同时一定程度上保证了数据隐私,因此迅速兴起。联邦学习和拆分学习是其两种主流实现方式。拆分学习与联邦学习相比可以更好地缓解客户端计算资源匮乏的情况,且具有更好的隐私性。用户参与拆分学习的目的是要通过参与全局的训练提高预测精度,然而参与训练的客户端设备数据的非独立同分布问题可能会对训练模型产生负面影响,导致客户端参与训练后的预测精度提升有限。为了解决数据的非独立同分布问题,引入了针对拆分学习的个性化技术,对于不同的客户端设备,提供更适合的方式进行训练。本文对参与训练的所有客户端设备进行分簇,设置一个全局模型和多个局部个性化模型,提出了基于全局正则化的个性化拆分学习;为了解决基于全局正则化的个性化拆分学习采用人为分簇存在的主观性强的问题,进一步引入聚类算法进行分簇,提出基于聚类固定分簇的个性化拆分学习,并探究正则化参数的影响,进一步提高本地预测精度;为了解决基于聚类固定分簇的个性化拆分学习存在的隐私性较差的问题,提出基于聚类动态分簇的个性化拆分学习。实验表明,基于全局正则化的个性化拆分学习与传统的拆分学习相比,有1.5%左右的预测性能提升;而基于聚类固定分簇的个性化拆分学习进一步采用聚类算法分簇,将预测性能进一步提高3%左右;基于聚类动态分簇的个性化拆分学习的预测精度总体不如固定分簇方案,但在分簇时有更好的隐私性。