关键词： 联邦学习   客户端选择   深度强化学习   模型聚合   个性化联邦学习  

摘要： 在移动边缘网络场景下进行联邦学习具有广阔的应用前景,但也面临着多项挑战。比如参与学习的设备在计算能力、存储容量和网络连接性能上的差异,影响了模型训练的效率和一致性;其次,数据异构性引起的非独立同分布问题,不仅影响模型的收敛速度和精度,还间接导致了模型异构性,不同设备可能需要采用不同的模型架构来适应其独特的数据分布;最后,在边缘计算环境中往往伴随着一定程度的通信开销问题,限制了联邦学习的可扩展性和性能。 面对上述挑战,探索实现移动边缘网络场景下高效的联邦学习方法已变得非常必要。本文从面向移动边缘网络的联邦学习客户端节点选择和模型聚合出发,针对现有研究的不足,提出了两种针对异构客户端的联邦学习优化方法,具体的研究内容如下: (1)针对客户端设备和数据异构引起的模型精度低和训练开销大的问题,提出了一种面向移动边缘网络联邦学习的异构客户端选择算法。首先,考虑通信时延和计算能耗来建立总成本最小化的问题模型,并提出了一种融合客户端模型精度的聚合策略;然后,将问题模型构建为马尔可夫决策过程,设计了一种结合聚合策略的基于深度强化学习的客户端选择算法FedCAB。仿真结果表明,FedCAB算法与基线算法相比,能够有效地降低联邦学习训练中的通信时延和计算能耗,并能在模型精度上有所提升。 (2)针对客户端数据和模型异构造成的模型精度低和训练收敛缓慢的问题,提出了一种基于异构客户端重要性的个性化联邦学习算法FedCTIE。该算法由两部分组成:首先,基于客户端本地数据量大小和模型间相似度来综合衡量客户端的重要性程度,以此调整聚合权重,得到一个泛化能力强的全局模型;然后,各客户端在本地更新阶段对全局模型和原有本地模型进行融合微调以得到个性化的本地模型。仿真结果表明,与基线算法对比,FedCTIE算法能够有效应对数据异构情况,提高联邦学习的收敛速度以及模型精度。

关键词： 三维重建   边界表示   深度学习   图像分割  

摘要： 在工业4.0时代,产品的三维（three-dimensional,3D）数字化在下游工程应用中（例如逆向工程、文物修复等）发挥着重要作用。产品的三维数字化模型有不同的表示形式,计算机辅助设计（Computer Aided Design,CAD）系统中常用的边界表示（Boundary representation,B-rep）模型是其中一种。本文聚焦于基于图像的三维重建方法,提出了一种从单张机械零件图像重建其边界表示模型（下称CAD模型）的方法。具体完成了以下内容: 首先,应用图像分割算法Graph Cut将零件图像的背景和前景分割。其次,基于Res Net网络和BSP-Net网络构造了一个新的神经网络将单张零件图像重建为网格模型,并在网络结构中加入了零件的形状先验知识和图像特征融合模块。最后,通过转换算法将网格模型转换为CAD模型。对现实拍照的螺母、螺栓和垫圈图像的重建实验验证了该方法的有效性。该网络在机械零件基准（Mechanical Components Benchmark,MCB）数据集上的重建结果可以获得0.761*10-3的倒角距离分数、0.830-3的法向量连续性分数和0.113-3的边缘倒角距离分数,优于Res Net+BSP-Net方法和IM-Net方法。网络训练过程的中间结果表明,加入形状先验知识和图像特征融合模块能够使重建效果得到提高。重建的CAD模型的尺寸比例和实际零件的偏差不超过0.15。此外,讨论了特征融合模块中多视图输入的数量对重建的影响,结果表明,20张视图输入可以使网络达到最佳性能。 然后,将上述过程中的网格模型进行点采样得到点云模型。再基于Point Net++网络和Deep CAD网络构造了另一个新的神经网络用于点云到CAD模型的重建。该网络通过Point Net++提取点云特征,再通过Deep CAD生成CAD模型,利用Deep CAD数据集训练了该网络。对螺母、螺栓和垫圈的点云模型的重建实验验证了该方法的有效性。重建的CAD模型的尺寸比例和实际零件的偏差不超过0.17。对网络的超参数设置进行了探究,使用Adam优化器加MSE损失（Mean Squared Error,MSE）函数可以达到网络最优性能,能够获得1.03*10-2的倒角距离分数和12.68%的无效比率。对网络的可解释性进行了评估,所有神经元归因分数绝对值之和为0.1203验证了网络能够学习到点云特征。此外,比较了不同的点云特征提取网络的重建结果,结果表明,Point Net++网络的重建结果明显优于PCT网络。

摘要： 随着新课改的不断深入，在初中英语阅读教学过程中，教师应积极探索新型的教学方法，以此提高学生的学习效率。阅读是英语教学中不可或缺的一部分，在英语阅读教学过程中，教师不仅要帮助学生提高对阅读材料的理解能力，更要帮助学生形成正确的价值观。群文阅读不仅可以提高学生对文本信息的理解能力和分析能力，还可以培养学生的核心素养和综合素质。本文就初中阶段英语群文阅读教学展开探究，提出以下策略，以期对广大英语教师有所帮助。

关键词： 异质图表示学习   动态异质图   无监督异配图   欺诈检测   联邦图学习  

摘要： 在数字化时代,信息爆炸式增长,蕴含复杂交互行为的图结构数据激增,如社交网络中的用户关系数据、电子商务平台的交易数据和智能交通系统中的交通流数据。有效理解和挖掘图结构数据中隐藏的信息,在社交网络分析、推荐系统和知识发现等领域具有重要价值。然而,传统的图分析模型在应用时存在明显的局限性。一方面,其受限于图结构的稀疏性,计算效率低下,信息提取不足;另一方面,计算资源的巨大消耗也限制了其在大型图数据上的应用。考虑到图结构中复杂交互涉及多种类型对象,异质图作为一种图结构数据的典型描述方法被提出并广泛应用于复杂交互行为的建模,其将多种类型实体（如用户、文本和产品）作为节点、实体之间多种类型的关系（如朋友、转发和购买）作为边,映射出现实世界中的复杂交互模式。 基于异质图的表示学习能够从复杂的图结构中学习节点的低维向量表示,为深入分析和挖掘复杂关联关系提供基础。但随着应用场景的扩展和数据规模的不断增长,当前的图表示学习方法面临着新的挑战和需求。首先,在处理动态变化的复杂交互数据方面,现有方法大多聚焦于静态同质图,难以充分保持图上的动态特征和异质语义,在捕捉邻域演化特征方面存在局限性。其次,在处理包含多样化异质交互关系的图数据方面,图中节点数量庞大且标签稀疏,不同类别节点的交互日益频繁,不满足传统的同类相连的同质性假设,限制了异质图表示学习方法在无监督学习场景下对异配图的泛化能力。第三,在欺诈检测的应用场景中,欺诈用户行为具有伪装性,其往往会伪装自身行为使其与正常用户的行为模式相似,使得现有的图表示学习方法面临生成的节点表示向量混杂的问题。第四,在跨机构协作的应用场景中,跨机构之间的交互行为需要保证数据的安全,而异质图表示学习集中式训练方式存在数据泄露的风险,同时直接将联邦学习方法应用于异质图表示学习则面临数据异构分布导致全局模型聚合效果不佳的问题。 针对上述问题,本文在节点交互动态性、节点标签稀疏性及交互异配性、欺诈检测应用和跨机构协作应用四个方面进行了深入研究,具体如下: （1）动态异质图表示学习。针对动态异质图表示学习邻域结构建模不足的问题,提出一种基于邻居增强的动态异质图表示学习方法（Neighbor-enhanced Dynamic Heterogeneous Graph Representation Learning,Nei Dy HGL）,旨在同时编码节点属性、邻居交互信息和图结构演化特征。该方法通过节点自注意力和边自注意力机制编码异质图中的共同邻居和邻居交互信息,同时设计了卷积操作细粒度刻画不同时间片的节点表示向量,并引入时序注意力机制捕捉节点在不同时间的重要性,进一步增强了模型对时间演化特征的学习能力。在多个公开数据集上的对比实验结果表明,Nei Dy HGL有效提高了动态链接预测的准确性,为动态异质图分析提供了新的解决方案。 （2）无监督异配异质图表示学习。针对无监督异质图表示学习对异配图泛化不足的问题,提出一种基于双自编码器的无监督异配异质图表示学习方法（Unsu-pervised Heterophilic Heterogeneous Graph Representation Learning,Un H2GL）。该方法在高阶邻居自编码器中设计了一种高阶邻居层次注意力机制,捕捉节点与其k阶邻居之间的重要性以及不同元路径间的语义重要性。在解码器中,通过反转编码过程来重建高阶结构。同时,设计了节点子图结构自编码器,将节点子图结构特征进行编码和解码,使距离较远但具有相同子图结构特征的节点表示向量相似。该方法不仅适用于同配异质图也适用于异配异质图,可在不依赖数据标注的情况下对数据集进行直推学习和归纳学习。在多个公开数据集上的对比实验结果表明,Un H2GL实现了对异配异质图有效的节点表示学习,并在无监督学习场景下有效提高了节点分类精度。 （3）面向欺诈检测的异质图表示学习。针对欺诈检测中伪装节点混淆表示的问题,提出一种面向欺诈检测的异质图指针网络表示学习方法（Heterogeneous Graph Pointer Network,HGPN）。HGPN利用指针网络进行节点过滤以选择与目标节点最相关的邻居,并提出了基于节点嵌入的欺诈节点生成方法学习欺诈节点特征,设计了一种双分类器联合训练方法降低对欺诈节点的预测偏差。在两个公开欺诈检测数据集上的对比实验结果表明,HGPN在欺诈检测任务中可以有效识别欺诈节点,提高了欺诈节点识别的准确率。 （4）面向跨机构协作的异质图表示学习。针对跨机构协作中异质图表示学习集中式训练方式存在数据泄露风险的问题,提出一种面向跨机构协作的联邦异质图表示学习方法（Federated Heterogeneous Graph Learning,Fed HGL）,旨在实现数据存储在本地的同时降低数据类别不平

关键词： 个性化联邦学习   推荐系统   元学习   客户端聚类   正则化   隐私保护   模型量化  

摘要： 联邦学习是一种先进的分布式机器学习范式,主要用于解决数据孤岛和隐私保护问题。推荐系统是一种信息系统,它的核心目标是预测用户对于不同项目的喜好。联邦推荐是联邦学习在推荐系统领域的应用,它旨在解决多个数据源协同推荐的隐私安全问题。近些年来,为了应对不同参与方数据高度异构问题,许多学者提出了个性化联邦学习方法,其核心思想在于针对每个用户或设备的数据特性,对全局模型进行微调或生成个性化的模型。 尽管个性化联邦学习具有许多潜在的优势,但是它也面临着一些挑战:(1)计算和通信成本过高:在联邦学习场景中,存在许多非独立同分布的数据集,现有的一些个性化联邦学习虽然在这些强异构数据集上提升了模型的性能,但是却牺牲了计算成本和通信成本。(2)模型泛化性:个性化联邦学习的目标是为每个客户端训练出适合其本地数据的模型,但同时也需要保证模型具有一定的泛化能力,以应对新数据和未知场景。如何在个性化和泛化能力之间找到平衡,是个性化联邦学习面临的一个重要挑战。(3)隐私和安全性:在个性化联邦学习中,尽管数据不直接共享,但模型更新和梯度信息仍可能泄露敏感信息。攻击者可能利用这些信息恢复原始数据,或者通过反转和推理攻击揭示用户隐私。 针对上述挑战,本文基于公共数据集ml-100K和ml-1M,充分考虑各个客户端之间的差异,利用深度神经网络技术对联邦推荐场景下的异构用户进行个性化训练,从而提高模型的性能。本文提出了两种有效的个性化联邦推荐方法,可以有效地解决计算通信成本高、泛化性以及隐私安全等问题。本文的研究工作主要包括以下二点贡献: (1)提出了一种基于MAML元算法的一次性聚类联邦学习方法(Fed EOC)。该模型利用元学习泛化性能和快速适应能力来不断地适应新的环境和任务,具体来说,通过元学习中的MAML算法在所有的客户端上快速学习得到一个能够快速适应新客户端的模型,该元模型在每个客户端上只需几个epoch的迭代便可以得到适应该客户端的模型,服务端执行一次聚类算法便可以高效地将这些客户端进行分类。上述过程无需多次聚类或上传额外参数,降低了计算成本和信息泄露风险。另外,Fed EOC提出的簇分解合并(Dec-Con)机制解决了极端簇问题,能够在一定程度上提升模型的性能。 (2)提出了一种基于隐私保护和模型量化的联邦正则化方法(Fed Reg)。由于一次聚类后簇中仍有可能会出现模型漂移现象,因此本文提出两个正则化项对簇内客户端模型进行正则化。第一种正则化是客户端模型和服务器模型之间的正则,因为在每一轮通信中,随着本地模型的更新,客户端模型参数与服务端模型参数差异会越来越大,为了防止下一轮通信需要更多的迭代次数,因此需要限制本轮客户端和服务器模型的差距。第二种正则化是客户端模型和簇心之间的正则,元学习之后本地模型只需几个epoch便可以达到全局最优解或局部最优解,过多的本地训练可能会使得本地模型发生过拟合,因此该正则项避免了本地模型的偏移。这两个正则项的加入不仅解决了联邦漂移问题,还提升了模型的泛化性能。另外,为了防止多簇环境下通信成本过高,本文提出利用量化算法降低客户端和服务器之间的通信成本。最后,Fed Reg引入了差分隐私算法用于防范模型推理攻击。

关键词： 贷款违约预测   机器学习   样本迁移学习   XGBoost  

摘要： 随着国家大力推行普惠金融政策、个人消费观念的转变,以及互联网的普及和便利贷款服务的兴起,贷款需求持续增加.然而,随之而来的是各类放贷风险不断涌现.尤其是在面对一些新兴领域的贷款业务时,往往缺乏足够的历史数据,这给银行等放贷平台的业务发展带来了重大挑战.为了提升业务运营效率及安全性,对借贷人的还款能力进行评估以及风险管理变得至关重要.这意味着需要建立有效的业务模型,以便在面对不同的借款情形时能够快速做出准确的决策,从而帮助平台更好地管理风险、提高贷款审批效率,确保放贷业务的可持续发展. 本文基于DataFountain网站中的某银行个人贷款和网络信贷两个数据集,使用机器学习方法和样本迁移方法构建分类模型,实现贷款违约预测.首先,通过对个人贷款数据进行描述性分析及变量间关系分析,初步发现贷款利率、循环额度利用率、工作年限、贷款等级等特征对贷款违约有显著影响;其次,通过绘制特征核密度图发现两数据集部分特征相似性较强,可使用样本迁移学习方法;然后,对两数据集进行预处理操作;最后进行特征工程衍生出13个特征,并利用Ⅳ值法、XGBoost法和相关系数法进行特征筛选,剔除8个无关特征. 在使用基准模型进行贷款违约预测中,对个人贷款数据分别构建了LR、RF、SVM和XGBoost四种贷款违约预测模型,发现XGBoost整体效果最好;XGBoost、LR和SVM模型稳健性较强,RF模型稳健性较差;RF模型预测正确率最高,但对违约用户的识别能力较差;SVM对于违约用户的识别能力最强,RF对于非违约用户的识别能力最强. 在使用样本迁移学习进行模型的构建中,首先使用LR从源域(网络信贷数据)中筛选出与目标域(个人贷款数据)相似的样本,并将筛选出的数据迁移至目标域中,利用迁移后的目标域搭建XGBoost违约预测模型,发现相比于只使用个人贷款数据构建的XGBoost预测模型AUC值有所提升,样本迁移有效,进而尝试不同的样本过滤器以及不同的筛选阈值来优化模型.在确定好样本过滤器以及筛选阈值后,重新利用第4章中的基准模型构建违约预测模型进行对比分析,发现相比于样本迁移前的模型,样本迁移后的各基准模型AUC值均有所提升,XGBoost依旧是整体效果最好的模型,且AUC值提升最多. 最后总结本文内容,并指出本文研究的不足以及对未来改进方向的展望.