关键词： 慢阻肺   软组织肉瘤   医疗辅助诊断   多层集成学习   机器学习  

摘要： 随着机器学习算法的快速发展,集成学习方法作为这一领域中的重要且有效的技术,在医疗辅助诊断中的作用日益凸显,展现出提升诊断准确性和效率的巨大潜力。本文聚焦于慢性阻塞性肺病(COPD)预测和软组织肉瘤MRI影像分割两大医疗挑战,探讨了多层集成学习方法在这些领域的应用。本文提出了两种创新的集成学习方法,通过结合多种机器学习和深度学习模型,旨在提高这两种疾病诊断的准确性和鲁棒性。 在慢性阻塞性肺病预测方面,本文构建了一个多阶段复合集成学习架构,该架构综合分析了患者的临床检验数据和基线数据。首先,通过特征工程对原始数据进行筛选和降维,然后通过两层集成学习架构深入挖掘数据信息,产生两组输出。最终,采用Murphy方法对这些输出进行集成,得到最终的诊断结果。在临床数据集上的实验表明,本文的方法显著提高了诊断的准确率,相比其他模型,本文提出的MSCELF方法在AUC值上从0.7409提升至0.8082,灵敏度从0.8301提高至0.8551,这表明了本文的方法在慢性阻塞性肺病早期诊断中的优势。 对于软组织肉瘤的MRI影像分割任务,本文提出了一种新颖的多阶段集成学习分割方法。该方法首先利用多个先进的神经网络架构进行初步分割,然后通过逐像素点的平均集成方法整合这些分割结果,得到最终的精确分割。在相关数据集上的测试结果显示,本文的方法在Dice系数上从次优模型的0.7951提升至0.8058,在敏感性上从次优模型的0.7769提高至0.7984,特异性从0.9989微增至0.9980,同时Hausdorff95距离从次优的6.538降低到了6.327,验证了该方法在提高分割精度方面的有效性。 综上,本研究的贡献在于证实了多层集成学习在疾病预测和医疗影像分割中的有效性,不仅提升了诊断精度,也为处理复杂医疗数据提供了新的视角和工具。通过整合不同模型的优势,本研究凸显了多层集成学习方法在医疗数据分析领域的巨大潜力,为未来医疗诊断技术的发展和临床应用提供了新的思路。

关键词： Webshell检测   CodeBERT   抽象语法树   Web安全  

摘要： 随着互联网技术的快速发展和网站应用的日益丰富,网络安全问题日渐突出,特别是Webshell这类服务器后门对网络安全构成了严重威胁。Webshell不仅能够控制服务器,窃取敏感信息,还可能成为攻击客户端的跳板,给互联网安全带来了巨大隐患。因此,研究如何有效识别并拦截服务器上的Webshell变得尤为重要。目前,针对Webshell的检测方法依旧存在特征提取不足、混淆后的语义信息难以准确识别、模型分类效果不理想等问题,本文在深入分析这些问题的基础上,提出了相应的检测方法。 本文的核心内容包括以下几个方面: (1)提出了一种基于双塔结构的特征提取网络,该网络结合了深度金字塔卷积神经网络(DPCNN)和归一化的双向循环神经网络(LN-BiGRU)并行提取特征信息。通过这种结合,既避免了梯度爆炸和梯度消失的问题,又有效提升了长短距离语义特征的提取能力,同时进一步引入自注意力机制放大有用特征的影响,提升模型的准确率。 (2)在模型输入序列的处理上,提出了将Webshell代码解析为抽象语法树(AST),并提取其特征节点作为模型输入的方法。实验结果表明,相较于传统文本特征,抽象语法树能更准确地反映代码的执行逻辑,有效识别混淆处理后的Webshell,显著提高检测准确率。 (3)在词向量提取上,采用了专为代码理解优化的CodeBERT模型,相比于其他词向量模型,CodeBERT在代码检测任务上表现出更好的适应性。同时,为了模拟实际攻击场景中Webshell的变形,在词向量后引入了对抗扰动,进一步提升模型在面对攻击变体时的鲁棒性。 (4)为了验证所提方案在现实环境中的实用性和有效性,设计并实现了一套Webshell在线检测系统。经验证,该检测系统能够有效完成Webshell的检测任务。

关键词： 联邦学习   知识蒸馏   差分隐私   隐私保护  

摘要： 随着数据隐私保护需求的不断增强,联邦学习作为一种能够在分布式数据环境下进行模型训练的技术受到了广泛关注,联邦学习可以通过分享模型而不分享数据的方式使多个参与方协同训练模型,可以打破目前许多企业与机构间面临的数据孤岛问题。 在联邦学习训练的过程中,通常有一个服务器对各个参与方的模型进行聚合,之后服务器将聚合后的模型发送给各个参与方,进行下一轮的训练。然而,联邦学习中不同参与方之间的数据可能来自不同的领域、地理位置或用户群体,导致数据分布存在差异,即参与方数据具有不同的特征分布。因此,联邦学习面临着数据异构问题的挑战。数据异构问题导致联邦学习训练的模型精度变差,学习的整体效果受到影响。同时,联邦学习由于需要参与方共享模型来更新信息,所以存在一定程度的隐私泄露风险,即黑客可以通过共享的模型信息分析出参与方的隐私信息,导致参与方分享数据的意愿下降。总之,数据异构问题和隐私安全问题始终困扰着联邦学习的发展与应用,为联邦学习相关理论的进一步发展带来了挑战。为了解决上述问题,本文的主要工作和创新点如下: (1)为了解决联邦学习面临的数据异构问题,提出了一种基于双层知识蒸馏的联邦学习方法。在服务器层,通过无数据知识蒸馏的方式对客户端模型中的知识进行提炼,使全局模型在聚合阶段更好地学习所收集到的客户端模型中的知识。在客户端层面,通过在客户端本地训练的过程中对非标签类进行知识蒸馏,使客户端模型在训练过程中学习全局模型中关于非标签类的知识信息,为客户端模型的训练打开全局视角,减少联邦学习客户端训练过程中对全局知识的遗忘。通过服务器与客户端双层的知识蒸馏使联邦学习过程中的知识得到传递,缓解联邦学习面临的数据异构问题。通过大量的仿真实验说明,同已有的其他主流联邦学习方法进行对比,本章所提出的基于双层知识蒸馏的联邦学习方法准确率较高而且收敛速度较快。 (2)为了进一步地解决联邦学习中面临的隐私安全问题,提出了一种基于个性化差分隐私和知识蒸馏的联邦学习方法。首先,通过本地化的差分隐私方法对联邦学习中的客户端模型进行隐私保护,使单个样本对模型梯度信息的影响始终保持在预先设定的阈值之内。然后,通过允许客户端自主设置隐私强度等级的方式实现个性化的差分隐私噪声控制,通过大量的仿真实验说明,基于个性化差分隐私和知识蒸馏的联邦学习方法同已有的其他主流联邦学习方法相比,在加入差分隐私噪声后训练出的模型性能更高,降低了噪声对联邦学习模型精度的干扰。 综上所述,本文通过研究与探索,为数据异构情景下的联邦学习方法的发展提供了一种新的思路,为大数据场景下的隐私保护与协同学习提供了有益的参考。

关键词： 铁电隧道结   隧穿电致电阻效应   载流子输运   机器学习   人工神经网络  

摘要： 铁电隧道结是一种非易失性的存储器件,因具有功耗低、存储密度高等一系列的优点,在边缘计算、神经形态计算等许多领域具有广阔的应用前景。其中,金属/铁电体/绝缘体/半导体结构的铁电隧道结由于具有较强的隧穿电致电阻效应,引起了许多研究者的关注。相关研究针对该器件已经提出了许多不同的仿真方法。然而,针对这些不同仿真方法的比较研究目前还为数不多,这些方法之间的差异以及它们的适用条件,有待进一步的研究。 另一方面,机器学习方法在最近的几年经历了高速发展。近期的一些研究也尝试将机器学习方法引入到半导体器件仿真领域,以解决传统仿真方法计算时间较长的问题,提高器件仿真、设计的效率。在此背景下,本文针对机器学习方法在铁电隧道结器件仿真中的应用进行了研究,本文主要的研究内容和创新点如下: (1)实现了两种针对金属/铁电体/绝缘体/半导体铁电隧道结载流子输运的数值仿真方法:第一种方法通过求解泊松方程得到能带结构,再使用WKB近似计算出铁电隧道结隧穿电流的密度;第二种方法还考虑了半导体电极中的载流子输运,通过自洽地求解泊松方程和引入了隧穿所致载流子生成率的漂移-扩散方程组来得到隧穿电流密度,其比第一种方法更复杂也更准确。 (2)建立了基于集成学习算法的机器学习模型对不同条件下两种仿真方法的仿真结果之间的相对误差进行预测。模型的预测结果与实际情况相符合,结果显示当器件中半导体电极对应的电压降达到一定程度而时,两种方法的仿真结果之间会出现较大的相对误差,此时方法一不准确,应选择方法二进行仿真;否则,两种方法的仿真结果之间的差异不明显,选择方法一能降低仿真的时间成本。该预测模型的建立可以对在不同情况下选择合适的仿真方法提供一定的帮助和参考。 (3)建立了基于神经网络的铁电隧道结电流密度的预测模型。使用由数值仿真生成的数据集对神经网络模型进行了训练,得到的模型在测试集上的平均相对误差仅有1.9%,显示出较高的准确度。同时,神经网络的预测速度达到了传统仿真速度的大约100万倍,能在保持较高准确度的同时降低仿真的时间成本。

关键词： 机器学习方法   硅酸盐水泥熟料   强度预测   混合优化算法   TransXRD模型  

摘要： 科学研究第四范式的提出标志着数据密集型科学研究方法时代的到来。机器学习和人工智能技术的发展为日趋复杂的材料设计提供了全新途径。机器学习方法建立材料影响因素与目标量间的映射关系:一方面实现材料成分、结构、组织、性能的精准预测;另一方面从不同尺度、不同维度深入认识材料的机理特征,理解材料问题的科学本质,揭示设计过程与材料宏观性能的关系,实现实验过程优化,改善依靠直觉和大量“尝试法”的材料研发思路,形成数据驱动的研究方法,从而加速材料设计与研发。 本论文基于大数据与ML方法,针对硅酸盐水泥熟料的结构和性能,开展了相关性分析、特征选择、数据建模等,实现了熟料强度有效预测及逆向配方优化。通过分析实验表征数据和生产物检数据的特征,探究水泥熟料组成-结构-性能的定性定量关系,分析挖掘数据中隐藏的客观规律。针对单一的神经网络模型的局限性和数据样本集不均衡等问题,收集不同企业的有效数据,在集成算法的基础上,提出了一种新型的混合优化算法,有效提高模型预测精度和泛化能力。针对熟料性能预测模型泛化能力有限,对异变工艺或新工况不能识别响应、误差增大甚至不适用的问题,通过XRD（X-ray Diffraction）表征熟料矿物组成,从熟料的本征属性出发,实现高精度强度预测。具体内容如下: （1）针对现有水泥熟料强度预测模型数据集样本较小且优化算法单一,模型泛化能力低这一问题,将XGBoost模型与贝叶斯算法,遗传算法相结合,提出一种混合优化算法的强度预测模型。基于来源于不同企业的1400多组有效数据,输入筛选后的特征参数,预测结果与试验结果整体拟合效果较好,其测试集R2达到0.84;与其它模型相比,该混合优化算法模型的预测精度最高,RMSE、MSE、MAE分别为1.42、2.04、1.10。结合SHAP值对模型特征进行可解释分析,结果表明:Ca O含量、终凝时间、Mg O含量是影响熟料抗压强度的关键特征变量。这一结果说明模型内在的预测逻辑与表现出的预测效果一致,具有较高的合理性与可靠度。 （2）基于混合模型的输出结果设定优化目标范围,选择BOA优化算法反复迭代地优化熟料配比。结果表明,其实际测量强度在[59.2 MPa,63.2 MPa]范围内,与设定的目标值范围[58MPa,60MPa]偏差在3.2MPa内。实验结果与目标强度值较为吻合,证明了该混合模型的可靠性与适用性。 （3）针对传统ML模型泛化能力差,对异变工艺或新工况不能识别响应、误差大甚至不适用的问题,通过输入XRD衍射数据来预测抗压强度,构建了一种名为TransXRD的深度学习模型。该模型通过将Transformer架构和CNN有效结合,用于处理XRD数据长序列的二维数组。其独特的注意力机制能够灵活处理各种输入扫描角度和采样间隔,减少信号损失,增强对各种输入格式的适应性。这一方法显著提高了预测准确性。在训练集中,MAE为0.93,MSE为1.33,RMSE为1.15,MAPE为1.76,100%的数据预测误差在2 MPa以内,而在测试集中,MAE为0.93,MSE为1.33,RMSE为1.15,MAPE为1.76,90%的预测误差在2 MPa以内。

摘要： 幼儿的有意义学习一直以来被许多学前教育工作者作为研究方向，《评估指南》更是提出了明确的要求：发现和支持幼儿有意义的学习，采用小组或集体的形式讨论幼儿感兴趣的话题，鼓励幼儿表达自己的观点，提出问题、分析解决问题，拓展提升幼儿日常生活和游戏中的经验。对幼儿园而言，践行“有意义”是较难把握的一点，有的教师习惯把成人眼中的意义和价值强加于幼儿的学习之上；有的教师盲目追随幼儿，缺失对幼儿均衡性发展的考虑。有意义的学习蕴藏在幼儿生活和游戏等各项活动中，当下践行有意义的学习确实存在一些挑战，但只要教师静下心来观察幼儿，基于高度的敏感性和专业能力回应幼儿，幼儿就会通过有意义的学习获得发展。

摘要： 语境理论在提升同学们学习及记忆英文词汇方面的作用非常突出。若同学们能够将语言学习融入具体情境中，并通过语境解析各种语言现象及具体句子的意思，许多生疏词汇的意思将变得清晰。在高中阶段，同学们的英语语言知识储备已经相当充足，在语篇理解和语言运用方面已打下坚实的基础。在这个阶段，同学们利用具体语境来把握单词的意义，可快速高效地通过语境推断文章的意图。