关键词： 操作系统   机器学习框架   性能优化   页缓存预取  

摘要： 本论文旨在探索机器学习在计算机系统领域的应用,以机器学习的方式优化操作系统内部的启发式算法。当前,操作系统开发者相对保守,通常采用基于历史工作负载和人类直觉设置的启发式算法,然而这种方式无法灵活适应不断变化的复杂工作负载。因此,本文希望引入机器学习方法支持操作系统,使其内部的启发式算法更具适应性。本文涵盖了三个创新点。 首先,实现了一个运行于内核态的机器学习框架,用于在操作系统内核中实现机器学习任务,本文会详细介绍本框架的运行模式、模块划分和部分实现细节,随后还将本框架的推理性能与常见的AI框架Pytorch进行对比,对比结果表明:尽管随着模型规模的增大,本框架的推理速度急剧减慢并远落后于成熟的框架,但在轻量的神经网络模型上,本框架可以获得最高的推理速度,在10*10*10*5的网络模型上,推理时延仅为9us,甚至优于Pytorch的CPU推理时延(32us)。实验还表明,与GPU相比,在小规模网络上,采用CPU进行模型推理反而会更有优势。 其次,基于Tree Shap和贝叶斯优化,设计了一种参数选择和优化算法,用于解决多系统参数场景下的参数调优问题。本文将操作系统的性能优化任务视为黑盒优化问题,采取了贝叶斯优化的思路,进而具体分析了传统贝叶斯算法应用在本文场景下的缺陷:维度灾难、搜索效率慢、存在离散型特征的问题,随后引出了利用Tree Shap加权降维的方法和基于随机森林的局部贝叶斯优化方法来解决,并在进程调度器参数调优场景验证了该方案的可行性。为了检验算法本身的有效性,本章节还对主流的几种黑盒优化方法进行了横向对比,结果表明本章节的优化方法可以获得最高的搜索效率,相对于随机搜索是其效率的35倍。 最后,具体针对Linux内核文件子系统中的页缓存预取问题,结合前两个创新点设计了一种基于动态工作负载的预取算法优化方法,并在文件级别的微观负载和现实场景下的真实负载上进行验证。结果表明,在大多数场景下取得了一定的优化效果,微观负载上来看随机读和随机更新负载的性能有1.7倍的提升,顺序读和随机读写有着略微的提升,在真实场景下Mail-Server有着近3.1倍的吞吐量提升,File-Server有着1.2倍的吞吐提升,Web-Server负载下无效果并进行了原因分析。

关键词： 联邦学习   去中心化   区块链   集成学习  

摘要： 随着网络攻击和数据泄露风险日益严重,网络安全成为全球普遍关注的议题。联邦学习最早由谷歌公司提出,它是一种分布式机器学习框架,多个参与节点在不暴露原始数据的情况下联合进行模型训练,从而保证本地数据的隐私性。在传统联邦学习中,参与节点需要将训练后的本地模型上传至一个可信的中央服务器节点进行模型聚合。然而,现实场景中可信的中央服务器并不总是存在和可取的,因此去中心化联邦学习应运而生。与传统联邦学习不同的是,去中心化模式不再需要中央服务器节点,而是将模型聚合和更新分散至各个节点,降低了因单点故障导致的不良影响。虽然去中心化模式解决了传统联邦学习的单点故障问题,但仍易遭受不同类型的攻击。此外,因数据异构性导致的模型性能下降也是需要解决的另一问题。 针对上述问题,本文主要完成以下两个工作: (1)基于区块链架构的去中心化联邦学习。提出了一种鲁棒的去中心化联邦学习方法DBFL。DBFL利用区块链架构满足去中心化条件,并在区块链中加入验证机制用于验证节点更新的合法性来防御投毒攻击。具体来说,我们加入了验证者角色,它的任务是通过比较本地与收到模型在测试集上的准确率的差值来判定节点是否为恶意节点,并舍弃恶意节点提交的模型。此外,我们还设计了一种隐私保护机制。具体来说,我们对本地模型参数运用差分隐私技术来抵御半诚实节点施行的推理攻击。实验结果表明,DBFL能够有效的防御投毒和成员推理攻击。 (2)基于集成学习的去中心化联邦学习。现有的联邦学习工作大多集中于非结构数据,对图数据研究相对较少。因此,针对图数据提出了一种基于集成学习的去中心化联邦学习方法DFEL。DFEL利用集成学习的思想训练多个模型,然后节点间通过点对点方式进行模型共享,最后各节点在测试集上测试收到模型的准确率并选出最佳模型来对本地模型进行更新,一定程度上改善了因数据不均衡造成的不良影响。此外,DFEL还可以防御一定的投毒攻击,因为使用最优模型更新本地模型的方式不会受其余模型的影响,即使接收到所有模型均为恶意节点的扭曲模型的最坏情况,节点仍可仅使用自身模型来进行模型更新。实验表明,DFEL提升了模型有效性并对投毒攻击也有一定的防御能力。 本文面向不同类型的数据考虑了两种去中心化联邦学习方法,对去中心化联邦学习的有效性、鲁棒性以及隐私性方面做出一些探索。

关键词： 深度学习   三维模型生成   图神经网络   注意力机制   自回归生成  

摘要： 随着虚拟现实技术、工业三维建模的发展,人们对于三维模型内容需求日益增长,促进了三维模型的生成技术迅速迭代。本文设计的三维形状的生成式深度神经网络模型技术聚焦于三维点云数据。相关研究领域中的三维点云形状生成方法包括了基于层次结构分析的深度神经网络、循环神经网络、图神经网络等。这些基本方法在对三维形状编解码时,存在特征信息丢失、特征间相互作用信息表达不足等问题。 本文选取图神经网络作为基础以实现对组件结构更好的感知能力,对于传统的图神经网络生成方法存在以下问题:1)图神经网络方法的编解码器缺乏对几何结构的分析探索,导致组件间关系丢失的问题;2)以单步生成为基础的三维模型解码策略导致解码不可控的问题;3)图神经网络的节点间消息传递的定义不够明确,导致组件间关系重点不突出的问题。 根据上述问题,本文的研究工作做出的改进与贡献包括:1)提出了基于Transformer架构的多头注意力机制分组通道下的图神经网络,该网络在编码过程中通过Transformer的掩码机制的创新方法,实现了多种图定义下的注意力机制,实现更好地融合组件间结构特征的效果,强调组件间关系的侧重点。通过Transformer图架构的设计解决了上述组件间关系丢失的问题,通过分组通道解决了消息传递定义不够明确的问题;2)提出了采用基于Teacher-Forcing的自回归解码策略用于生成图结构中的节点与节点邻接关系,并同样通过多头注意力机制分组通道下的图神经网络进行数据更新,以实现对组件间关系的建模;3)本文在三个类别的数据集、重建和生成两种任务下进行了充分的消融实验以及与其他模型的横向对比实验,验证了本文的研究方法的有效性。实验表明,本文的研究方法在三维点云形状生成任务和重建任务中相比于现有的三维点云形状生成与重建模型具有更优秀的效果,生成与重建的三维点云形状更加完整,仿射信息更加合理。 综上,本文提出了一种基于Transformer架构的改进图神经网络,在三维点云形状的重建与生成两个任务中进行了相关实验,验证了本文的研究方法的有效性。

摘要： 我愉快地走进教室，温暖的阳光透过窗户照射进来，我的内心宁静而舒适。桌上整齐地摆放着各种英语教辅材料和音频设备，这为我们的英语学习之旅增添了一抹亮色。英语学习，一直是我的教育心得中的重要部分。经过多年的探索和实践，我深信听说读写的平衡是提高学生英语综合能力的关键。在这篇文章中，