关键词： 联邦学习   数据异构   半监督学习   多目标优化  

摘要： 近年来,算力资源和数据量的爆发式增长促进了人工智能的繁荣发展。然而,传统的基于云计算中心的AI模型训练方式需要集中处理海量数据,这不仅给骨干网络带来巨大的传输负载,还对计算中心的存储和计算资源构成极大挑战。因此,如何有效利用远端设备的计算能力以缓解计算中心的负载压力,成为一个研究热点。在此背景下,联邦学习作为一种新型的分布式模型训练方法应运而生。联邦学习的核心思想是将原始数据保留在用户的本地设备上,通过聚合本地计算的模型更新来共同训练一个机器学习模型。 尽管这种训练模式有效整合了分散的计算资源,并避免了原始数据的传输,提高了用户数据的隐私保护能力,但与云计算中心相比,联邦学习在数据和资源两方面仍面临严峻挑战。在数据方面,由于地理环境和用户使用偏好的差异,不同设备间的数据分布存在较大差异,导致模型收敛困难、泛化能力不足等问题。此外,用户通常缺乏足够的专业知识或激励,不会对其收集到的数据进行人工标注,这种数据未标注的情况增加了模型训练的难度,并导致模型性能较差。在资源方面,不同设备的资源条件往往是异质的,完成同样的训练任务所需的时间存在明显差异。同步参数聚合会导致快速设备长时间空闲,训练效率低下;而异步参数聚合虽然能提高训练效率,但可能降低模型的准确度,并导致不同设备对全局模型的贡献存在显著差异。现有的异步联邦学习方法忽略了这种贡献差异,所有参与方共享同一个全局模型,这可能降低贡献较大设备的参与意愿,不利于联邦学习系统的长期稳定发展。 本文主要针对上述问题展开研究,旨在提高联邦学习在客户端数据异构、数据未标注及资源异构场景中的模型性能。具体的研究内容和取得的创新性成果如下: (1)数据异构场景中的联邦学习方法研究。通过分析数据异构场景中全局模型的性能及本地训练过程中客户端模型的行为变化,提出了一种基于双向知识蒸馏的联邦学习方法来缓解不同客户端之间数据分布差异对全局模型性能的影响。具体而言,在客户端本地训练过程中,将全局模型作为教师,通过基于模型预测结果和基于注意力图的知识蒸馏来指导本地训练,减轻客户端模型过度拟合本地数据导致的模型偏差问题;在服务器参数聚合过程中,将接收到的本地模型集合作为教师指导聚合后的全局模型微调,从而更有效地将不同客户端之间的共识传递给全局模型。实验结果表明,通过组合这两个模块,能够提升全局模型的测试精度和通信效率,并降低系统的通信开销。 (2)客户端数据未标注场景中的联邦半监督学习方法研究。通过分析联邦半监督学习设置中客户端未标注数据的使用情况,提出了一种基于一致性正则化和原型辅助的类对比学习的联邦半监督学习方法。该方法利用样本级别的一致性正则化来最大化未标注数据利用率,同时利用类级别的对比学习增加不同类的特征之间的可分性。实验结果表明,该方法提高了全局模型的测试精度和通信效率,降低了系统的通信开销。 (3)资源异构场景中的多目标半异步联邦学习方法研究。通过分析半异步学习中模型准确度与训练延迟之间的权衡关系及不同客户端的贡献度差异,提出了一种考虑协作公平性的多目标半异步联邦学习方法。该方法将半异步联邦学习建模为一个多目标优化问题,通过调整每一轮参与聚合的客户端数量、对过时模型的容忍度以及奖励分配函数中的利他主义因子,同时优化模型准确性、训练延迟和协作公平性三个目标。实验结果表明,该方法能够在优化这三个目标的同时,获得它们之间的不同权衡,从而满足不同训练任务和场景的性能需求。

摘要： 文章深入探讨了游戏化学习方法在小学英语教育中的应用及其效果。研究首先回顾了全球范围内英语教学的主要理论，特别是沉浸式学习法、情景教学法和互动式学习，及其在非英语母语国家，尤其是中国小学英语教育中的应用。接着，文章分析了中国小学英语教育的现状和面临的挑战，并探讨了如何通过游戏化学习方法激发学生的学习兴趣和提高学习效率。

关键词： 机器学习   杜洛克公猪   铁状态   精液品质   IPEC-J2细胞   铁吸收  

摘要： 优质的公猪精液不仅决定着公猪站的经济效益,也决定着与配母猪的繁殖性能。必需微量元素铁作为一系列生物活性分子的辅助因子,显著影响公猪精液品质。实验室前期已经证实了公猪血清、精子、精浆中的铁水平与精液品质的关系。然而,日粮中的铁经肠道吸收,随血液循环转运至睾丸中被生精细胞利用的过程中,经历了铁的吸收、转运、储存、摄取和利用等过程,这些过程共同决定了机体的铁状态,但影响精液品质的关键铁状态指标尚不明确。此外,有研究指出,当日粮铁来源相同时,随着铁水平的增加胃肠道内Fe2+水平增多,引发芬顿反应导致肠道和血清中炎症因子水平升高,从而上调肝脏的铁调素表达来影响铁吸收;当日粮铁来源不同时,不同铁源解离的Fe2+数量的差异可能导致机体铁调素水平变化,而铁调素对铁转运蛋白的调控作用也可能因不同铁源在肠上皮细胞的吸收转运形式差异影响肠道铁吸收转运效率。这提示,不同来源和水平的铁可能通过影响机体铁调素水平改变肠细胞对铁的吸收,且不同来源的铁可能也会因吸收转运形式的差异对铁调素的响应不一,从而进一步改变肠细胞对铁的吸收转运效率。因此,本试验旨在基于机器学习方法探究杜洛克公猪铁状态的评价指标与精液品质的关系;在此基础上阐明杜洛克公猪机体炎症状态与氧化应激水平对机体铁状态和精液品质的影响,并探索铁调素水平对不同铁源在肠细胞吸收中的影响作用。主要研究内容和结果如下: 试验一杜洛克公猪机体铁状态与精液品质的关系 在我国南方某大型公猪站收集了944头成年杜洛克公猪3个月内（2022年7月至9月）的精液品质数据,采集了公猪血液样品并检测了血红蛋白含量。根据血红蛋白含量将公猪划分为三类,即血红蛋白低于90 g/L的公猪定义为严重贫血公猪;90～110 g/L定义为临床贫血公猪;高于110 g/L为正常公猪。从944头公猪中,选择了全部的严重贫血公猪37头,并分别选择了30%的临床贫血公猪（116头）和正常公猪（160头）共313头公猪开展后续研究。检测了血清铁水平和反映机体铁稳态、铁储存以及铁利用的铁状态指标;基于机器学习方法,探究杜洛克公猪铁状态与精液品质的关系;检测了血清炎症和氧化应激水平的指标,探究了公猪炎症状态和氧化应激状态对机体铁状态和精液品质的影响。主要研究如果如下: 1.血红蛋白水平 944头公猪中,37头公猪表现为严重贫血,占3.92%;442头公猪为临床贫血状态,占46.82%;465头公猪的血红蛋白水平正常,占49.26%。 2.不同血红蛋白水平杜洛克公猪的精液品质 严重贫血公猪、临床贫血公猪的精子前向运动比例（P<0.05）和/或精液利用率（P<0.01）显著低于正常公猪;严重贫血公猪精子畸形率显著高于临床贫血公猪,高于正常公猪（P<0.05）。这些结果表明,随着贫血程度加重,公猪的精液品质显著降低。 3.不同血红蛋白水平公猪的机体铁状态 严重贫血公猪血清铁含量（1.06±0.03 mg/L）显著低于临床贫血公猪（1.42±0.01 mg/L,P<0.05）和正常公猪（2.04±0.01 mg/L,P<0.05）,铁调素含量（15.04±0.15μg/L）显著高于临床贫血（13.65±0.10μg/L,P<0.05）,总铁结合力水平（9.34±0.16 mg/L）显著低于正常公猪（10.52±0.04 mg/L,P=0.07）。这说明严重贫血公猪血清铁水平、总铁结合力低,而铁调素含量升高,铁吸收和铁的利用度均降低。 4.杜洛克公猪铁状态指标对血红蛋白的影响 基于随机森林回归模型、K邻近回归模型、梯度提升回归模型、支持向量机回归模型、贝叶斯回归模型、袋装法回归模型、弹性网络回归模型、极致梯度提升树回归模型、决策树回归模型和线性回归模型共10种机器学习算法,分析了血清铁、铁调素、铁蛋白、总铁结合力和可溶性转铁蛋白受体对血红蛋白含量的影响,并选择出拟合度高（R2=0.88）、偏差较小（MAPE=10.24%）的随机森林回归模型为最优模型。分析发现:SHAP全局点图中,总铁结合力和血清铁含量较大值位于x轴的正半轴,说明总铁结合力和血清铁对血红蛋白具有正向影响;铁蛋白和铁调素较大值位于x轴负半轴,说明铁蛋白和铁调素对血红蛋白具有负向影响;可溶性转铁蛋白受体特征值混杂,表明其对血红蛋白影响不显著。SHAP值结果显示,铁状态指标对血红蛋白含量的影响贡献度排序为:总铁结合力>血清铁>铁蛋白>铁调素。 5.杜洛克公猪机体铁状态对精液品质的影响 以公猪血清铁、铁调素、铁蛋白、总铁结合力、可溶性转铁蛋白受体和血红蛋白水平这些铁状态指标,以及公猪品系、月龄、栋舍和栏舍类型这些饲养管理因素为输入变量,分别以反映精液品质的精子前向运动比例、精液利用率和精子畸形率等指标为输出变量,基于机器学习方法,研究了机体铁状态和饲养管理因素对公猪精液品质指标

关键词： 半监督在线学习   概念漂移   资源约束   标签稀缺   伪标签  

摘要： 在许多现实任务中,数据通常随着时间的推移而大量积累。在这种情况下,很难一次性存储所有用于训练模型的数据,并进行一次性的离线学习。因此,所需存储空间更小,并且可以使用少量新数据进行实时连续更新模型的在线学习方法被提出,并得到了广泛发展。然而,在长时间的在线学习更新过程中,数据的分布可能会随着时间发生未知的变化,这种属性被称为概念漂移,是在线学习更新模型时需要注意的问题。同时,海量的流数据中还存在着标签稀缺的问题。因此,将半监督学习的思想应用在流数据的在线学习任务上,可以极大提高数据利用率。 在半监督在线学习任务研究中,如何在高实时性、低存储性这两个约束的前提下,提高半监督学习的无标签数据利用率是非常关键的。这是本文的研究重点。文章主要工作和创新点如下: 第一,总结了在资源约束条件下的半监督在线学习的具体研究场景,将其称为标签稀缺动态数据流学习,并从定义、解决思路、具体挑战等方面对其进行了详细的介绍与分析。提出了将伪标签技术扩展到在线数据流数据的核心思想以及基于KNN和LPA实现的两种在线伪标签技术。并将这两种技术分别与带遗忘因子的在线更新方法结合,提出了两种标签稀缺动态数据流学习算法。在多个数据集上与全监督的在线学习方法进行了对比实验,仅用少量标记数据就取得了超过全监督方法的性能,表明了基于在线伪标签技术的标签稀缺动态数据流学习方法的可行性和竞争力;并在不同标记比例的多个数据集上与进行了消融实验,验证了两种在线伪标签技术的有效性。 第二,分析了上述算法在使用无差别更新方法在线更新模型导致的不稳定问题。针对此问题提出了一种半监督自适应更新方法,使带伪标签的无标记数据以不同于标记数据的方式对模型进行更新。将这种自适应更新方法与适用度更广的基于LPA的在线伪标签技术结合,提出了半监督自适应动态数据流算法。与相关基线方法和其他半监督在线学习方法分别进行了消融实验和对比实验,并进行了参数分析和运行时间对比,证明了自适应更新方法的稳定性以及半监督自适应动态数据流学习算法在标签稀缺动态数据流学习场景下的优秀性能。

关键词： 自动驾驶   自动泊车   双延迟确定性策略梯度算法   探索与利用   自适应参数噪声   高价值优先经验回放  

摘要： 近年来,自动驾驶技术的迅速发展,使得智能车或车载智能装备的落地实用成为可能,汽车厂商们对智能车的建造和自主控制的关注度越来越高。自动泊车是智能车自动驾驶中的一个普遍却又十分重要的功能。与此同时,随着人工智能的发展,深度强化学习凭借其强大的学习能力和高度智能化的特性,成为了无人自主系统领域热门的学习算法。本文将采用深度强化学习算法实现自动泊车功能,分析、比较、改进基线算法,旨在提高算法探索和利用的效率。并在仿真平台上实验验证其可行性,主要工作和创新点如下: (1)在MATLAB平台上构建自动泊车任务场景,并选择基线算法。基于马尔科夫相关理论将泊车问题转换到马尔科夫框架下。定义智能车的状态空间,包括智能车的位置、速度、转向角、姿态信息、激光雷达的信息。定义智能车的动作空间,包含车辆在横向上的方向盘动作指令和纵向上的速度指令,并因贴合实际驾驶操作的需要,将其设计为连续空间。根据泊车任务的要求,设计合适的奖励函数,选定基线算法,在自定义的泊车场景中进行仿真实验,仿真结果表明,TD3算法比DDPG算法在泊车场景中有更高的效率,因此选择TD3作为后续工作的基线算法。 (2)从提高智能体的探索能力和对经验的利用能力两个角度出发改进现有的深度强化学习算法。为提高智能体的探索能力,本文提出了具有自适应网络参数噪声机制(Adaptive Parameter Noise)的TD3——A-Noise-TD3,给Actor网络的参数添加噪声,保证在相同状态输出动作稳定的同时,还能提高对新状态的探索能力,可以称为“稳定的探索”。仿真实验表明,A-Noise-TD3相较于原始的TD3算法在效率上提升了大约22%,在性能表现上提升了大约20%。为提高对经验的利用能力,本文提出了高价值优先经验回放机制(High-Value Prioritized Experience Replay,HVPER)。针对优先经验回放PER只使用单一评价指标TDerror评价经验价值的局限性,本文提出可以使用状态价值函数和TD-error共同来评价经验的价值,提高算法对经验的利用效率。将HVPER与TD3算法结合在一起,并在仿真实验中验证。实验表明,与原始TD3算法比较,HVPER-TD3在效率上提升了大约14.9%,性能表现上提升了大约20%。 (3)将上述两个机制融合,同时运用到TD3算法中,得到新的算法ANoise-HVPER-TD3,并在仿真平台上验证该算法的实际效果,消融实验发现,新算法比其它三种算法都要优秀,在算法效率上,分别比TD3,Adaptive Parameter Noise-TD3,HVPER-TD3提高了大约62.2%,51.4%,57.5%。 图27副,表9个,参考文献86篇。

关键词： 常微分方程反演   深度神经网络   非自治常微分方程   自治常微分方程   多步神经网络  

摘要： 本文针对常微分方程的反演问题,设计并构建了一种基于深度神经网络的常微分方程反演算法,开展了算法设计、算法性质证明和相关数值实验等方面的研究,主要包括: (1)设计并改进了一种基于多步神经网络的非自治常微分方程的反演算法 把用于自治常微分方程反演的基于线性多步法的多步神经网络进行改进,优化了多步神经网络的损失函数和训练数据形式,将非自治常微分方程转变为自治常微分方程的形式,利用神经网络对原方程中的函数进行拟合,以实现从数据中提取内含的非自治常微分方程,并介绍了改进算法的误差界。 (2)将改进的算法拓展应用于自治常微分方程 将改进的非自治常微分方程的反演算法拓展应用于自治常微分方程,使用改进算法的损失函数和训练数据形式,利用神经网络对原方程中的函数进行拟合,实现从数据中提取内含的自治常微分方程。 (3)数值实验 将数据加上不同强度的噪声,使用本文的改进算法与多步神经网络对几类非自治和自治常微分方程进行反演。对训练得到的方程求解得到数值解,计算数值解和真实解之间的均方误差和平均绝对误差;将数值解代入训练得到的方程得到的导数的近似值,将代入给定的常微分方程中的得到导数的真实值,计算近似值与真实值之间的均方误差和平均绝对误差。结果表明本文的改进算法对原方程中函数的泛化误差小于多步神经网络,从而验证了改进算法的泛化能力和鲁棒性。

关键词： 黑色素瘤分割   深度神经网络   非负矩阵分解   注意力机制  

摘要： 黑色素瘤由黑色素细胞恶变而来,是一种致死率极高的皮肤癌。在临床诊疗中,由于黑色素瘤病例繁多且病变区域分布不均匀,医生难免会出现误诊现象。近年来,随着卷积神经网络的发展,基于深度学习的计算机辅助诊断系统正逐渐用于临床诊疗。通过计算机辅助诊断系统代替手工标注病变过程在降低医生工作负担和减少误诊方面有重要的意义。在计算机辅助诊断系统中,算法对黑色素瘤病变区域分割的准确性将直接影响计算机对该疾病的诊断结果。然而,黑色素瘤医学图像存在病变区域和良性区域之间界限模糊、病变区域容易受到毛发和色斑等噪声特征干扰的问题,使得常规模型无法提取到更丰富的全局特征,极大地降低了模型的分割性能。基于以上问题,本文研究内容主要包括以下部分: (1)为了提取更丰富的全局语义信息,本文提出融合矩阵分解和自注意力的黑色素瘤医学图像分割方法,该方法使用非负矩阵分解和注意力机制两种不同的方式提取黑色素瘤医学图像的全局特征。不同于注意力机制建立的像素点间的长期依赖关系,非负矩阵分解使用特征图局部语义加权的方式构成图像的全局语义信息。本文提出了多尺度融合模块,有机融合了自注意力和非负矩阵分解两种不同方式提取的全局特征、以及卷积提取的局部特征。此外,对于非负矩阵分解在特征分解过程中会丢失图像的空间位置特征的问题,本文在模型中引入空间增强模块,进一步加强了模型对黑色素瘤病变区域的空间边界特征学习能力。 (2)为了保证模型分割性能的同时,进一步减少模型的参数量,本文提出基于矩阵分解的黑色素瘤医学图像分割方法,该方法使用非负矩阵分解方法分别在特征图的通道维度和空间维度上提取特征图的全局特征。考虑到特征图在网络浅层存在过多的噪声信息,使用非负矩阵分解的特性抑制图像在网络浅层的噪声信息,提高了模型的分割性能。此外,为了减少特征图在上采样时信息的丢失,融合了解码器端不同尺度特征图的语义信息。 (3)设计了一套黑色素瘤分割系统,将本文研究出的算法部署在安卓平台。该系统能够借助手机自身处理器快速地定位并分割出黑色素瘤病变区域,帮助医生在临床诊断黑色素瘤病症时能够得出更加准确的结论。该系统在推理过程中不需要和服务器端交互,方便临床医生在无网络环境下使用。 为了公正地评价本文所提算法,使用了ISIC2016、ISIC2017、ISIC2018和DSB2018数据集来训练和测试本文所提算法,实验证明了本文所提算法的有效性,能够做到黑色素瘤医学图像的精确分割。

关键词： 图表示学习   图数据增广   节点同质性   分子表示学习   图对比学习  

摘要： 图结构数据广泛存在于社交网络、化学分子、交通网络等诸多领域,能够自然表达这些数据的内在关系。图表示学习作为分析图结构数据的有力工具,通过将图映射为低维向量表示,使其能够较好地体现图拓扑结构、节点属性等内在模式和特征,为下游任务提供有价值的表示输入。然而,传统方法通常采用监督学习框架,依赖大量人工标注数据,获取代价高昂且易受噪声干扰,难以充分考虑图的拓扑结构和数据依赖关系,性能受限。因此,如何有效利用图数据进行表示学习,成为该领域迫切需解决的问题。本文以图表示学习为载体,针对节点分类和分子图分类问题,从对比学习角度探讨相关解决方案。 首先,本文提出了一种基于权重增广和节点同质性启发的图对比学习节点分类方法。不同于传统的随机或仅基于拓扑结构的增广方式,该方法采用了加权图增广策略,利用度中心性和两层图卷积网络的组合,增强了增广捕捉节点关系和信息传递的能力,使得增广能够全面考虑图的结构和节点特征信息,为获得更具鲁棒性的图表示奠定了基础。此外,该方法采用了孪生非对称图对比结构,利用交替优化和梯度停止操作,鼓励正负样本对在嵌入空间中拉开距离,以更好地表达图数据中的相似性和差异性,提升了模型的稳健性。更进一步地,该方法设计了一种有限同质性损失函数,根据图节点的同质性对正负样本进行重新划分,将正样本细化为完全正样本和有限正样本。通过调整两类正样本的权重,从不同角度捕捉相关信息,使得模型可以更加有效的学习,对模型的训练过程产生了显著的改进。 随后,本文对分子图的表示进行深入探讨,提出了一种基于自监督预训练和度量相似性启发的图对比学习分子图分类方法。该方法采用分子图对比学习预训练框架,首先利用原子级别的数据增广策略生成增广视图。然后使用图神经网络编码器和池化层将分子增广视图编码为对应分子嵌入表示。通过多层感知机操作,获得嵌入对应的分子输出表示,接着本方法设计了度量相似性对比损失函数,其包括归一化温度交叉熵损失、结构相似性损失和高维重构损失三个部分。不同于仅依赖对比损失的传统方法,本方法所提出的结构相似性损失通过约束表示空间中的结构一致性,从而避免表示混淆和结构失真;同时,高维重构损失通过高维信息重构约束特征和输出,增强了模型对细粒度结构信息的建模能力,从而获得更加鲁棒的分子表示。