关键词： 纵向联邦学习   隐私保护记录链接   布隆过滤器   SecureBoost   Paillier加密  

摘要： 联邦学习是一种旨在解决跨组织或跨边界机器学习任务中数据隐私和安全性问题的方法,通过多个参与方共同训练模型,可使数据不需要离开本地即可完成训练。其中的纵向联邦学习作为一种跨组织、跨边界的机器学习方法,通过保护数据隐私和实现协作机器学习,为数据的合理利用和隐私保护提供了一种有效的解决方案。目前,纵向联邦学习在医疗健康、金融和物联网等多个领域都具有非常广泛的应用。 纵向联邦学习本质上是一种保护数据隐私的分布式学习方法,旨在促进不同实体间的合作学习,同时保持敏感数据的机密性。目前,随着技术的不断发展和改进,基于纵向联邦学习构建安全、可信的数据驱动应用和服务的需求日益迫切。然而,在纵向联邦学习中,存在隐私保护记录链接和模型通信方面的挑战,可能导致隐私泄露和通信效率低下等问题。基于此,本文对纵向联邦学习的隐私集合求交和模型通信优化两个方面进行了深入研究,主要研究成果如下: (1)针对纵向联邦学习隐私保护记录链接技术容易遭受隐私攻击的问题,提出了一种基于非定长编码和滑动窗口的隐私保护记录链接方法。该方法通过为实体信息进行非定长编码来隐藏位数组频率信息,有效避免了频率攻击。在记录链接计算过程中,使用基于滑动窗口的快速过滤策略极大提高了计算效率,并通过双向滑动窗口的精确匹配计算进一步提升了匹配精度。在公开数据集上的实验结果表明,所提出的方法相较于已有方法,能够在保证记录链接计算准确性的同时具有更高的安全性和编码效率。 (2)针对纵向联邦学习广泛使用的Secure Boost模型在训练中Paillier加密的巨大时间开销问题,提出了一种基于梯度分段累加的纵向联邦学习方法。该方法通过减少Secure Boost模型训练中同态加密的计算量来降低模型训练时Paillier加密的时间开销。此外,为了避免在累加过程中暴露分段信息,还提出了一种基于操作表的方法来传输分段信息,并通过在操作表中添加噪声和打乱顺序来保护用户数据的隐私。在公开数据集上的实验结果表明,所提出的方法可以在提高纵向联邦学习模型训练速度的同时保证用户数据的安全性。

关键词： 小样本   深度学习   MAML   原型网络   农作物病害  

摘要： 深度学习在图像分类领域的应用广泛,然而农作物病害数据集样本稀少且环境复杂,传统深度学习方法常难以适应小样本情境。在此背景下,小样本学习等元学习方法应运而生,以解决标注数据匮乏的挑战。小样本学习不仅能有效处理小样本情况,还具备适应多变任务的能力,展现出优异的泛化性和适应性,在农作物病害识别领域发挥着重要作用。本文聚焦于两大小样本学习方案,即模型无关元学习(MAML)和原型网络(Prototypical Network),通过进一步优化这些方案,旨在提升其在农作物病害识别领域的泛化效果。通过对这些方案的深入优化,可显著提升其在实际应用中的性能表现。 (1)本文对MAML和Prototypical Network算法的原理进行了深入剖析,详细阐述了从公式推导到模型构建再到最终训练结果的全过程,并进行了细致的分析。在文章中,对小样本学习方法的原理进行了深入介绍,并探讨了其在农作物病害识别领域的应用潜力。 (2)本研究通过引入ECA-Net层于基础学习器中,增强MAML算法的泛化能力。实验采集了10种农作物叶片的58类病害样本数据,并进行了12组N-way K-shot训练实验。结果显示,改进后模型在训练阶段性能提升0.7%至3.2%,测试阶段性能提升1.8%至9.31%。通过消融实验进一步验证其泛化效果。与PotoNet、BOIL、MAML、ANIL和MAML++等模型相比,改进后模型分类效果最佳。本研究成功提高模型泛化能力,实现最优分类效果,为农作物病害识别提供有效解决方案。 (3)本研究针对小样本学习中的Prototypical Network算法,提出两种优化特征提取能力的方案。方案一结合平均池化、SENet注意力机制和GCNet全局上下文学习,利用Adagrad算法调整历史梯度;方案二采用轻量级ResNet12作为特征提取器。通过12组N-way K-shot实验对比,两种方案分别提升了模型识别准确率0.5%至4.46%和0.53%至3.61%,有效增强了模型在农作物病害识别中的性能。 (4)农作物病害识别移动端开发。通过开发Android应用层软件,实现对农作物病害的实时、快速识别。这一应用通过深度学习算法,结合移动端的图像处理能力,能够准确识别出农作物叶片上的病害症状。用户只打开相机,即可获得病害类型、严重程度及防治建议等信息,为农业生产提供便捷、高效的病害诊断工具。这一开发的成功实施,将有助于提高农作物的产量和质量,推动农业生产的可持续发展。

关键词： 负样本采样   浅层滑坡   集成学习   聚类集成   风险评价  

摘要： 浅层滑坡是延边州的主要地质灾害类型,系统性的浅层滑坡风险评价是灾害治理的一个重要环节,可为研究区的防灾减灾工作和国土空间规划提供参考依据。从数据采集的角度而言,质量低的负样本在机器学习建模过程中会成为噪声数据,进而影响模型的泛化能力。同时机器学习模型对数据变化十分敏感,单一机器学习的分类效果会存在显著下降。另外,使用统计方法进行区域易损性需要人为赋予权重,这就使得评价过程主观性过强从而使评价结果不合理。 论文首先基于加权信息量法,结合支持向量机(Supporting vector machine,SVM)建模,进而选出质量较高的负样本,并通过共线性检测剔除冗余的评价因子。随后选取5个机器学习模型作为基础分类器,通过超参数优化进行模型调优,使用集成学习方法提升模型的泛化能力,以分类效果为首选指标,同时考虑拟合效果、计算效率,辅以统计指标,选出不同重现期下最可靠的评价模型。为了使得易损性评价流程具有客观性,选取了聚类模型进行评估,并基于相似度矩阵实现聚类模型的集成,提升了聚类模型的聚类质量和鲁棒性。最终使用矩阵分析法得到浅层滑坡的风险评价结果,主要的研究工作和取得的成果如下: 1.本文根据1971-2020年延边州11个雨量站的逐日降雨量数据,使用皮尔逊三型曲线获取每个站点的5年一遇、10年一遇、20年一遇、50年一遇的降雨强度,基于降雨强度和暴雨天数匹配相应的历史时期,以及土地覆盖和归一化植被指数(Normalized Difference Vegetation Index,NDVI)短时期无显著变化的特性,本文选择1990年、2000年、2010年、2015年匹配5年、10年、20年、50年重现期。 2.基于提出的加权信息量采样方法得到负样本的分布:信息量小于0区域967个,信息量大于0区域108个。根据皮尔逊系数的相关性分析结果,剔除降雨侵蚀力和地形湿度指数,将其他14个评价因子用于浅层滑坡危险性评价。 3.将逻辑回归(Logistic regression,LR)、决策树(Decision tree,DT)、极端随机树(Extreme-randomized tree classifier,ETC)、梯度提升决策树(Gradient boosting decision tree,GBDT)、极端梯度提升(Extreme gradient boosting,XGBoost)作为基础分类器,采用网格搜索优化、贝叶斯优化、模拟退火优化、学习曲线优化进行模型调优。使用同质集成(Bagging,Boosting)和异质集成(Averaging,Stacking)重组模型,得到了四个重现期下的最佳模型。 4.随着降雨强度的增加,高危险区在不断扩张。高危险区主要集中在敦化市中部、延龙图核心发展区的中部、汪清县东北部、珲春市中南部以及图们江兴边富民带。根据可解释性分析的结果可知,NDVI、到道路的距离、高程变异系数和地形粗糙度(Topographical roughness index,TRI)是最主要的孕灾因子。 5.使用三种聚类模型的聚类结果构造相似度矩阵,使用谱聚类实现聚类集成,延边州的易损性等级分布为:极高区占5.13%、高易损区占9.05%、中易损区占10.05%、低易损区占12.65%、极低区占63.12%。高易损区主要集中在敦化市中部、延龙图核心发展区中部、珲春市中部。聚类集成可以有效提高聚类质量和鲁棒性。最终根据矩阵分析方法得到延边州浅层滑坡的风险评价结果,随着降雨强度的增加,高风险区以较小幅度扩张,极低风险区更多向低、中风险等级转化。高风险区主要集中在:敦化市中部、龙井市西部和珲春市中部以及图们江流域附近的区域。

摘要： 课程资源的挖掘和利用是幼儿园课程建设的一项重要工作。我园地理位置独特，虽然位于市中心，却拥有开阔的户外活动场地和丰富的自然资源，充分满足了幼儿户外游戏活动的需要，这为户外资源的开发和利用提供了条件，为园本课程的建设和实施提供了保障。教育者应站稳儿童立场，树立科学的保教理念，以“幼儿发展优先”为出发点，以“盘活资源观”和“重塑儿童观”为引擎，相信每一个幼儿都是积极主动、有能力的学习者，并通过观察、记录、分析，发现、支持幼儿有意义的学习，从而助力幼儿游戏水平的不断提升。

关键词： 小样本学习   图像分类   局部特征   费舍尔得分   改进的κ-NN  

摘要： 近年来,随着深度学习的飞速发展,计算机视觉领域已取得一系列突破性进展,其中图像分类为该领域的重要课题之一。然而,该过程通常需要收集和标记大量的数据,这不仅操作困难且成本昂贵。同时,基于海量数据的图像分类机制与人类的图像辨别能力存在显著差异,人类能够仅通过学习少数几张图片对目标种类进行识别分类。在此背景下,为了减少对数据量的需求以及更加智能地模仿人类的学习能力,越来越多的研究者开始关注小样本学习。 小样本学习,顾名思义即为从少量有限的样本中学习并完成给定任务。考虑到在完整的全局特征集合中往往包含冗余信息,许多学者将注意力放在更具有判别性的局部特征上,并尽可能排除其他非重要局部特征的影响,从而提高图像分类的准确率与效率。但大多数现有的相关模型均将任务样本的所有局部特征均赋予等同的重要性,而且对应算法的性能受参数变化影响较大,进而降低了算法的有效性与可靠性。本文针对上述问题开展了相应研究,主要内容如下。 (1)为突出样本的重要局部特征,同时避免引入额外大量的参数,本文提出了一种基于费舍尔得分的局部特征注意力的小样本学习方法。在特征嵌入网络处理支持集图像之后,借鉴费舍尔得分指标的思想,采用两种不同的度量策略来计算每个局部特征的类内相似度和类间相似度之比,并将这一比值作为权重以强化对应特征的重要性。在四个标准数据集上的实验结果表明,所提出方法在性能上明显优于基准方法。特别是在CUB-200数据集的5-way 1-shot分类任务中,其相较于深度最近邻网络准确率提升了11.31%。 (2)为减轻在κ-NN模型中算法关于参数κ的敏感性,本文提出了一种改进的κ近邻算法分类模块的小样本学习方法。根据κ个最近邻局部特征到查询点的距离调整相应的权重,所提出算法能够自适应地凸显关键局部特征,同时降低对参数κ的依赖,进而有利于提高算法的鲁棒性和泛化能力。在Mini Image Net数据集上,所提出的改进算法与深度最近邻网络相比,分类准确率关于κ的波动幅度在5-way 1-shot和5-way 5-shot的情形下分别减小了1.74%和2.17%。

关键词： 生存分析   meta分析   神经网络   Stacking   前列腺癌  

摘要： 前列腺癌是中老年男性最常诊断出的一种非表征性癌症,近年来,随着人们生活习惯、饮食习惯、环境的改变,我国前列腺癌的发病率呈现逐年上升且年轻化的趋势,目前根治性手术是早期前列腺癌主要治疗手段,但晚期转移性前列腺癌或去势抵抗前列腺癌尚无有效治疗手段,每年有大量的患者因为该疾病而死亡,因此对前列腺癌患者的生存分析就十分有意义,通过结合机器学习中较为成熟的算法模型,去提高前列腺癌患者生存分析预测准确度,当精准度达到可以用于实际临床辅助时,就可以为医生在为前列腺癌患者给出治疗方案时提供帮助。 本文在基于了解到的前列腺的腺体组织结构、腺体病理分区以及现行诊断和治疗方案等临床知识的基础上,从数据库中取出与前列腺癌相关的数据,如患者的年龄、种族、前列腺特异性蛋白(PSA)以及发生转移类型等前列腺癌患者数据,再根据临床医学数据的筛选标准,结合统计学上处理和分析数据方法,对数据进行预处理,得到想要特征及标准数据后,再对数据进行一些基础分析和假设验证,建立模型预测了前列腺癌患者在六个月之后的生存状态,并使用了四个指标对预测效果进行衡量,分别是C＿index、AUC、nbll和brier分数。在模型方面,首先建立了Cox比例风险模型以及多个单一的机器学习模型,包括随机生存森林、GBM和神经网络模型,其次建立了多个连续时间和离散时间Cox+机器学习的模型,通过比较各种不同方法下模型的效果,选择表现最佳的两个模型作为初级学习器,在选择神经网络作为次级学习器构建了两个Stacking模型,分别是RSF＿net模型,Meta＿Stacking＿Survival模型。 通过验证,本文所考虑的这两个模型在前列腺癌数据集上均取得了较好的预测效果,C指数最高可达0.8939,AUC值最高可达0.8803,brier得分最小为0.0154nbll分数最小为0.0106,同时本次实验所使用的所有模型都是在同一数据集下运行。结果表明,本文提出的融合模型对于拟合前列腺癌数据集具有更高的可靠性和准确率。

关键词： 知识表示   知识图谱补全   链接预测   语义分层   多元关系  

摘要： 知识图谱提出后便迅速得到学术界和工业界的广泛关注,常见的知识图谱包括WordNet、FreeBase和YAGO等,随着互联网技术的发展知识图谱成功应用于推荐系统、问答系统等方向。虽然经过很多努力,但是知识图谱仍然存在不完备性。机器学习的发展推动了知识图谱补全技术的进步,知识表示学习的出现解决了传统知识图谱补全技术效率低下的问题。知识表示学习通过将知识向量化,在向量空间内高效计算以捕获潜在的实体或关系来进行知识图谱补全的任务。 现有的知识表示学习方法主要对四种关系模式即对称关系、反对称关系、逆关系和组合关系模式以及多元关系进行建模,大多都忽略了现实中实体间存在的语义联系。在现实语义丰富的信息世界,一个有效的知识表示学习方式应当能够建模四种关系模式以及多元关系,同时能够捕获实体间存在的语义信息。由此,本文提出一种基于圆柱坐标系语义分层的知识表示学习方法(Knowledge Representation Learning via Semantic Layering in Cylindrical Coordinate System,SLCY),该模型可以同时建模四种关系模式和多元关系,同时能够捕获实体间的语义信息,实现对实体的语义层级划分。本文主要研究内容如下: (1)目前知识图谱中主要存在四种关系模式(对称关系、反对称关系、逆关系和组合关系)以及多元关系(一对一关系、一对多关系、多对一关系和多对多关系),同时知识图谱中的实体间存在大量的语义信息。本文提出SLCY模型具备建模上述类型的关系的能力同时能够捕获实体间的语义信息实现实体层级划分。SLCY将实体和关系表示为低维空间向量,然后将向量表示到圆柱坐标系中,利用圆柱坐标系的同心圆柱面特性实现对实体语义层级的划分。 (2)本文在多个数据集上进行链接预测实验,以此验证SLCY对关系的建模能力,通过可视化分析,验证了SLCY对四种关系的建模能力以及实体层级划分的能力。实验结果表明,在FB15k-237数据集上,与RotatH相比,SLCY在Hits@10上的结果提高了2.4%。在WN18RR数据集上与RotatH相比,SLCY在Hits@10上的结果提高最大,提高了3.6%。 (3)实现对两类实体的划分,使用PΘZ坐标系表示方式来表示圆柱坐标系。SLCY为了能够对语义层级进行建模,必须能够分辨出两类实体,即相同语义层级的实体和不同语义层级的实体。不同于传统的笛卡尔直角坐标系的表示方法,本文将圆柱坐标系表示为极坐标系向Z轴延伸的PΘZ坐标系表示方式。SLCY将实体和关系嵌入到圆柱坐标系中,通过圆柱面的不同半径识别不同层级的实体,利用方位角和高度识别相同层级的实体,关系表示为实体间的旋转,以此来对知识图谱中的语义层级建模。 (4)利用SLCY训练后的向量,在关系丰富的数据集FB15k-237和NELL995上进行进行规则挖掘。经过对FB15k-237数据集中组合关系的规则挖掘实验,证明了基于SLCY的规则挖掘算法可以挖掘出合适的规则,同时侧面验证了SLCY对组合关系模式建模的有效性。经过对FB15k-237和NELL995数据集的规则挖掘实验,实验结果显示基于SLCY的规则挖掘算法不仅可以在关系丰富的FB5k-237数据集上挖掘出高质量规则,同时也能够在仅有12个关系的NELL995数据集上挖掘出高质量规则。