关键词： 小样本学习   数据增强   生成对抗网络   图像生成   自注意力机制  

摘要： 随着信息化和智能化时代的到来,对海量数据的利用、分析与挖掘已成为广泛关注的焦点。尽管数据来源日趋丰富且总量持续增长,但为这些数据标注正确的标签所需的人工和时间成本都非常高。而且在空间遥感、军事安全、罕见疾病等特殊场景中,由于数据量有限,难以利用大规模数据进行模型训练。因此,模型如何在有限的数据中高效地学习受到了越来越多的关注,小样本学习领域逐渐成为研究和应用的热点。目前,领域内对于小样本问题的解决主要集中在基于度量和基于元学习的方法。这两种方法更多地关注于模型和算法的优化,而并未从数据的视角深入研究解决方案。若能对数据集进行适度扩充,便可将小样本问题转化为常规的回归或分类问题。因此,本文聚焦于基于数据增强的小样本学习方法,旨在利用有限的标注数据或其他未标注数据来产生更多的等价数据,以此对样本集进行扩充。本文主要的研究工作和成果总结如下: (1)针对小样本学习中因缺乏足够的数据而导致模型鲁棒性低、泛化性差等问题,本文提出了一种结合残差网络和权重掩膜正则化技术的条件生成对抗网络(RWM-CGAN)作为小样本增强方法。该方法在原始条件生成对抗网络的结构基础上,在生成器中引入了残差单元,提高了生成器的网络深度和生成样本的质量,在判别器中结合权重掩膜的正则化方法,有效地抑制了差分图像中的干扰点,使判别器充分学习到小样本类别特征并进行增强。本文通过训练所提出小样本生成模型,得到了合成样本,对小样本数据量进行了有效扩充,极大程度上缓解了少量样本所带来的弊端。通过对比实验证明,本文提出的方法相较于基准数据增强方法,在公开数据集上,小样本检测精度提升3%,小样本分类准确度提升了4%。 (2)针对小样本学习中常见的深度学习网络生成模型在图像特征提取方面通常表现不足,且特征呈现模糊等问题。本文提出了一种融合自注意力机制与宽残差单元的渐进式增长生成对抗网络(AWR-PGGAN)作为小样本增强方法。该方法在生成器和判别器中,均采用了经过改良的宽残差块替代了传统卷积块,并使用自注意力机制来评估输入样本特征的权重参数,而且将数据的维度信息与其语义特征相结合,从而提高了图像分布特征的提取精度。同时,在生成器中加入图像标签信息作为约束条件,更有效地指导了图像生成。此外,在对抗过程中,采取了渐进式增长策略,提升了训练效率和稳定性。通过对比实验证明,本文所提出的AWRPGGAN方法不仅在增强样本清晰度、多样性、还原原始数据分布及纹理细节等方面具有更好的优势,而且相较于现有基准数据增强方法,在多个公开数据集上,小样本检测和分类准确度最高提升了3.5%的效果。

关键词： 非平衡数据   Meanshift算法   SMOTE算法   机器学习   防返贫监测  

摘要： 非平衡数据是指不同类别的样本数量存在显著差异,这种显著差异会使得很多分类器丧失对少数类的识别能力,故产生了数据非平衡问题。这种数据非平衡问题在现实生活中普遍存在,如信用卡违约、罕见病诊断、金融欺诈。在上述问题中,对少数类的精准识别尤为重要。为解决数据非平衡问题,提高分类器对少数类的识别效果,众多算法相继被提出。其中合成少数类过采样技术(Synthetic Minority Over-sampling Technique)一经提出便受到普遍好评,基于SMOTE的改进算法也不断被提出,但改进后的算法大多原理复杂。k-means-SMOTE算法是一种将k-means聚类和SMOTE相结合的简单有效的过采样方法。然而,该聚类算法需要人为给定聚类簇数,这在实践中难以确定。因此,本文提出了一种改进的过采样算法:Meanshift-SMOTE算法。该算法借鉴了k-means-SMOTE算法中k-means和SMOTE的结合方式,充分保留了k-means-SMOTE算法的优点的同时使用Meanshift聚类替换掉k-means聚类,使得改进后的算法可自主确定最优聚类簇数,无需人为给定。随后,将改进后的算法与经典SMOTE算法和k-means-SMOTE算法在公开数据集上做比较,对比了该算法在逻辑回归、KNN、决策树三种基线分类器上的提升效果。对比结果表明:(1)使用过采样算法比不使用过采样算法分类效果更好,过采样算法对于逻辑回归和KNN的分类效果提升作用更明显;(2)Meanshift-SMOTE算法与k-meansSMOTE算法相比,对分类器的提升效果显著,较经典SMOTE算法也有一定提升;(3)Meanshift-SMOTE算法对于决策树基线分类器的提升效果明显高于另外两种过采样算法。将上述算法组合应用于防返贫监测数据集,得到的结果仍支持上述三点结论。实证方面,本文选取了我国防返贫监测信息系统中的数据,用来做防返贫监测研究,并基于研究结果提出了政策建议。在巩固脱贫攻坚成果、防止发生规模性返贫、顺利衔接乡村振兴等新时代的工作要求下,实现“有返贫风险户”的精准识别、及时干预具有重要意义。“有返贫风险户”的精准识别正是典型的数据非平衡问题。本文将改进后的过采样算法用于防返贫监测模型建立。表现最好的模型为调参后的逻辑回归模型,其分类结果表明:在与Meanshift-SMOTE算法结合下,“有返贫风险户”的召回率提升至0.8712,高出经典SMOTE算法1.51%;综合评价指标G-mean提升至0.8184,高出经典SMOTE算法0.61%;AUC值提升至0.82,高出经典SMOTE算法1%。

关键词： 输油泵   故障诊断   自学习   复合故障  

摘要： 输油泵是石油工业中的关键设备,其可靠性和稳定性对于油品传输工作至关重要。随着智能化、无人化场站建设,企业对输油泵故障诊断技术的要求也越来越高。目前,利用机器学习算法进行输油泵故障诊断已经取得了一定的成果。然而,现有的故障诊断方法都只能针对模型训练集中已包含的几类故障进行诊断,但在企业的实际使用中,仍有其他不包含在训练集中的故障出现而不能被正确自动识别、诊断,特别是复合故障诊断。针对上述问题,本文采用GWO-FCM和零样本学习开展了输油泵故障诊断模型自学习及复合故障诊断研究。针对企业现有故障诊断模型不能识别非预置故障的问题,设计一种输油泵故障诊断模型自学习框架。通过信号处理技术结合深度学习的方法提取深层故障特征,提高工业现场数据的可分性;通过无监督聚类结合相似度度量的方法判别已知故障和未知故障,对出现的未知故障模式进行识别和记录,并利用频繁出现的未知故障数据重训练模型。通过为现有故障诊断模型添加上述的自学习机制,使其在原有诊断功能的基础上,增加对未知故障的识别、诊断及学习能力。为了验证方法的有效性,本文使用工业现场采集的输油泵数据进行实验。结果表明,本文所提出的输油泵故障诊断模型自学习框架能够实现对未知故障的准确识别。工业现场识别出的未知故障以复合故障居多,但企业缺少足量的复合故障数据供模型进行训练学习,难以自动诊断复合故障。针对这一问题,设计一种基于零样本学习的复合故障判别与诊断方法。通过定义故障语义,建立单故障与复合故障之间的联系;通过故障语义嵌入,将语义嵌入至特征空间,并在特征空间内对语义和特征进行比较和匹配,实现在复合故障样本数据缺失的情况下的故障判别与诊断。为了验证方法的有效性,本文分别使用苏州大学轴承数据集和工业现场采集的输油泵数据进行实验。结果表明,在复合故障不参与训练的情况下,本文所设计的方法对复合故障的诊断准确率在试验台数据集上达到75.7%,在工业现场数据集上达到67.25%。

关键词： 隐私安全   秘密分享   聚合签名   鲁棒性   联邦学习  

摘要： 近年来,在大数据与机器学习技术的推动下,企业与研究者的数据需求量变得越来越高,单一公司或组织的数据难以满足变得难以满足需求。但又由于各方对于自身数据隐私安全的考虑,彼此之间数据难以互通,数据孤岛问题由此显现,成为一个全新难题。针对这一难题,联邦学习技术应运而生,在保护用户原始数据隐私的基础上,进行机器学习训练。然而,最新的一些研究表明,在目前的主流联邦学习方案中,用户的原始数据并没有得到足够的保护。特别是在聚合服务器与部分非诚信用户的勾结下,存在利用联邦学习方案中暴露的梯度数据反推出原始数据的可能性。此外,聚合服务器本身还存在篡改聚合梯度以破坏最终的模型的可能性。这一系列问题严重危害了联邦学习方案的安全性与可靠性。因此,为了解决这些问题,本文基于文献研究法与科学实验法等研究方法,研读了大量相关文献,了解了目前主流学术思潮后,提出了具有高精度高效率的联邦学习安全方案。本文的工作主要为以下两点:(1)针对联邦学习中数据的隐私保护和有效性验证等安全性问题,基于秘密分享技术与聚合签名技术提出了一种面向企业的联邦学习的安全方案,证明了该方案的安全性,对该方案进行了性能分析,且设计仿真实验将该方案与其他相关方案进行了对比。最后的结论表明,该方案能够在拥有高精度及高效率的同时,完成对数据的隐私安全性及可验证性的保障。(2)针对上一个方案中效率依旧不高且不具备系统鲁棒性的缺点,提出了一种具有更高效率与更强安全性的面向企业的联邦学习的安全方案。此方案基于秘密分享技术设计了一个安全多方分享方案且通过聚合签名技术对数据进行验证,然后再通过具体的方案协议设计保障了整个系统的鲁棒性。针对此方案,本文进行了性能分析和与相关方案的仿真实验对比,论证了此方案相较于其他相关方案具有更高的效率及安全性。

关键词： 结直肠癌   病理图像   卷积神经网络   注意力机制   核分割与识别  

摘要： 结直肠癌又称为大肠癌,是全球常见且致死率极高的一种胃肠道恶性肿瘤疾病。结直肠癌起源于结直肠粘膜上皮,其起病隐匿,往往在发展到晚期之前基本没有明显症状。然而,结直肠癌治疗的关键在于早期发现与早期诊断,癌肿早期切除是目前唯一的根治方法。如果能够在早期发现病症,不仅治疗难度较小,且预后恢复也更好。目前,结肠镜下的活检病理检查是诊断结直肠癌的金标准,主要由经验丰富的病理医师来完成。尽管随着内镜技术和成像技术的不断发展,病理图片质量已得到显著改善,但是在检查过程中,漏诊误诊仍然很难完全避免。因此,对病理切片进行准确定量分析的计算机辅助系统成为迫切的需要。而随着数字化病理技术的出现以及计算机硬件的快速发展,深度学习也逐渐展现出了其在医学图像处理领域的优越性能。Hover-Net正是针对于病理图片细胞核分割与分类非常有效的网络模型,对计算病理学的下游分析和结直肠癌的辅助诊断有很大的帮助。本文则基于Hover-Net深度学习模型和结直肠组织病理图片Lizard数据集,通过引入注意力机制和Swin Transformer,对原网络进行改进,取得了更好的分割与分类效果。主要内容包括以下方面:(1)使用新公开的、专注于结直肠组织最大的半自动化标注数据集Lizard来对Hover-Net模型进行训练,以获得对结直肠组织病理图片细胞核分割和分类精度更高的预测模型。(2)针对于卷积神经网络对全局特征信息提取不足的问题,在解码器和编码器之间引入在计算机视觉领域取得巨大成功的Swin Transformer,同时对原模型做一些细节改动,以提高网络的预测能力。(3)在将原始Hover-Net模型和Swin Transformer相结合的基础上,再分别添加各种不同的注意力模块,如:SE模块、ECA模块、CBAM模块、SimAM模块等,比较使用不同注意力模块的改进模型对预测准确率的提升效果,选择时间成本较小且对分割和分类精度提升较明显的注意力模块作为改进的方向。

关键词： 网络表示学习   多任务学习   多视图学习   自动编码器   图卷积网络  

摘要： 网络可以有效地描述自然界中的复杂系统,其中实体用顶点表示,实体间的交互用边表示。在现实世界中,大多数网络通常包含多种类型的对象及其之间交互形成的多种链接,导致网络的规模不断增大,网络的结构也愈发复杂。这种网络也被称为异构信息网络。许多现实世界的任务,如引文网络、社交网络、生物网络和交通网络的分析,都依赖于图形数据挖掘技术。因此,网络表示学习一直是网络科学的一个重要课题,其目的是设计识别潜在感兴趣图形模式的算法,对数字时代下各种场景与任务中的信息网络进行计算、分析与挖掘。网络表示学习的基本思想是学习网络节点的潜在低维表示,同时保留网络拓扑结构、节点内容和其他信息。本文专注于面向多任务的网络表示学习,具体研究内容如下:首先,本文提出了一个面向多任务学习的自适应双通道图卷积框架TAD-GCN。该模型解决了现有网络表示学习算法基于两阶段或非面向任务以及图卷积在节点属性和拓扑结构融合方面存在的问题。TAD-GCN模型不仅考虑了面向任务,而且通过联合优化多个损失函数同时完成多个任务。通过改进的特定图卷积层与公共图卷积层,在拓扑空间和属性空间上分别获取节点的信息;相应地,对两种类型的图卷积层设计了一致性和差异性约束条件。这克服了图卷积在节点属性和拓扑结构融合方面存在的问题。在多个真实数据集上的大量实验表明,TAD-GCN模型在节点分类、节点聚类、链路预测、节点可视化等多个任务上的性能优于对比算法的性能。然后,本文提出了一个面向多任务学习的对抗性异构网络表示学习模型TAM-AE。现有的针对异构网络表示学习模型,通常通过元路径来处理网络中存在的多种链接。然而这需要专家提前对每个数据集的元路径进行定义,并且基于元路径学习的算法不能充分捕获节点间的信息。针对这些问题,TAM-AE模型首先将异构信息网络转换为从多个网络视图进行多视图学习,使用图卷积自动编码器捕获每个视图的一致性与互补性信息,然后使用对抗训练模块强制每个视图的潜在表示匹配先验分布,最后引入注意力机制学习多视图之间的关联。TAM-AE模型同样面向多任务,联合优化各部分损失函数,同时完成多个任务。在多个基准数据集上的节点聚类、链路预测、视图重建等多个任务的实验结果表明,TAM-AE模型的性能优于基准算法的性能。

关键词： 机器学习   爆炸荷载   钢筋混凝土板   动态响应预测   损伤识别  

摘要： 近年来,国内外频繁发生爆炸事故,给建筑物带来严重的破坏,迫切需要对建筑结构进行抗爆研究,提升其抗爆能力。钢筋混凝土板是结构中的重要构件,因其自身特性,当发生爆炸事故时,板件所受的爆炸荷载面积较大,极易导致板件发生破坏,板件的破坏失效会引起梁柱等关键构件的失稳,进而引发连续坍塌等一系列严重后果。因此,开展钢筋混凝土板在爆炸荷载下的动态响应分析和损伤破坏机理评估,具有重要意义。 传统钢筋混凝土板的抗爆研究主要是从理论、试验以及模拟三个方面开展,上述的方法在实际中均有着一定的局限性。而机器学习方法是利用计算机系统来解决问题的技术,可以让计算机通过分析输入的数据,学习出正确的结果,并将其应用到新的问题上。因此,本文将机器学习方法运用到钢筋混凝土板的抗爆分析中,利用机器学习方法中的监督学习方法,提出了爆炸荷载作用下的钢筋混凝土板的最大位移预测模型和爆炸后损伤评估模型。通过模型性能对比、与既有方法对比和模型解释分析所提模型的适用性。本文主要开展的研究工作如下: (1)从公开数据库中检索收集钢筋混凝土板在爆炸荷载作用下的相关研究文献,并从69篇公开文献中收集整理了563个普通钢筋混凝土板在近场爆炸作用下的相关数据,建立数据量大、参数信息详尽数据库。 (2)利于MATLAB软件搭建了4种机器学习模型用于预测在爆炸荷载作用下钢筋混凝土板的最大位移值,并从不同的性能指标度量对比分析了4种机器学习模型的优劣,将最优模型预测结果与既有方法预测结果进行对比,通过排列特征重要性和Sobol敏感性分析方法对机器学习模型进行解释,验证了利用机器学习方法用于预测爆炸荷载作用下钢筋混凝土板的最大位移的准确性与适用性。 (3)基于现有的损伤评估准则,提出了钢筋混凝土板爆炸后快速损伤评估的两阶段模型,通过位移预测模型对未知板件最大位移的样本进行预测,将预测的最大位移值依照现有的损伤准则进行损伤判别,并将不同准则下的两阶段模型的判别结果进行对比,得出基于支座转角损伤准则下的两阶段模型识别效果最佳。 (4)利用SMOTE过采样方法对不平衡损伤类别进行平衡,用平衡样本训练机器学习分类算法搭建的一阶段损伤识别模型,将一阶段损伤识别模型与两阶段损伤识别模型进行对比,表明了两阶段损伤识别模型具有更好的识别效果,将两阶段模型与既有经验预测方法对比,证明了机器学习方法快速识别爆炸后板件损伤程度的准确性;并探讨了爆炸事故发生后板件的应急抢险与加固流程。

关键词： 联邦学习   异质性数据   模型聚合   客户端选择  

摘要： 随着物联网和人工智能技术的飞速发展,接入物联网的设备愈来愈多,用户设备上的数据也日益剧增。深度学习可以利用这些海量数据训练出更好的模型,为用户提供更智能的服务。但这种数据的处理往往需要将数据传输到云中进行集中式训练,大量原始数据的传输会造成网络的拥塞并带来隐私数据泄露的风险。联邦学习的诞生解决了这一问题,它允许众多客户端不必上传原始数据,在本地就可以联合训练全局模型,可有效地保护数据隐私并减少通信成本,并且在客户端数据独立同分布(Independent and Identically Distributed,ⅡD)情况下可得到与集中式训练相差无几的性能。但在实际场景中,用户设备上的数据往往是非独立同分布的(Non Independent and Identically Distributed,Non-ⅡD),即数据具有异质性,这将导致联邦学习的性能急剧下降,限制其在实际中的应用。因此,数据异质性已成为联邦学习应用到实际场景中的一个挑战。 在联邦学习的训练过程中,模型聚合和客户端选择是两个关键的步骤。模型聚合决定如何基于现有本地模型得到性能更优的全局模型,客户端选择决定能否挑选到高质量的本地模型。在异质性数据场景下,现有的联邦学习算法中模型聚合和客户端选择仍存在以下问题:在模型聚合环节,现有方法未充分考虑客户端数据分布差异性,使得数据分布情况较差的客户端拥有较大聚合权重,从而导致全局模型准确率下降。在客户端选择环节,现有方法未考虑到异质性数据带来的本地更新偏离全局更新的问题,无法精确选择高质量的客户端,导致全局模型收敛速度降低。本文针对以上问题,主要工作如下: (1)针对模型聚合方法未充分考虑客户端数据分布差异性,导致全局模型准确率降低的问题,提出一种动态加权聚合方法DW-Fed。该算法在现有算法对客户端数据量大小的考量上,使用概率学中常用的JS散度(Jensen-Shannon divergence)对客户端本地数据集的平衡程度进行量化,再引入客户端模型精度,根据这三种指标组成联合权重,设计新的模型聚合策略。在MNIST和CIFAR-10数据集下的实验结果表明,与FedAvg和Scaffold算法相比,本文提出的方法可有效提高异质性场景下联邦学习的准确率,且能加快收敛。 (2)针对联邦学习中无法精确选择高质量客户端,导致全局模型收敛速度降低的问题,提出一种动态客户端选择方法DCS-Fed。异质性数据会对客户端更新方向造成影响,本文采用余弦相似度定义该影响,并联合客户端训练损失值组成客户端质量指标。通过频繁选取质量高的客户端加入训练,来缓解异质性数据对联邦学习的负面影响。在MNIST和CIFAR-10数据集上与FedAvg和FedProx算法进行对比实验,结果表明,在异质性数据场景中该方法可有效提高联邦学习的收敛速度和准确率。

关键词： 半监督学习   网络表示   标签信息   图神经网络   自监督学习  

摘要： 在半监督网络表示学习中,节点标签对于网络在不同空间中映射关系的建立具有重要指导作用。然而,在许多实际任务中,可用标签因为存在比较有限、难以获取或是分布不均衡等问题,导致学得的网络表示在进行节点分类、节点聚类等下游任务时区分性不足,难以确保表示结果的有效性。为此,本文开展了一些针对性的研究,具体工作如下:(1)针对半监督网络表示学习中,因可用标签信息有限,导致学得的网络表示在进行下游任务时缺少区分性的问题。本文设计了一种双通道半监督网络表示学习模型,该模型以自编码器为基本框架,由自监督和半监督两个信息传递通道构成。自监督信号与标签信息分别在两个通道中对网络表示映射关系的建立提供指导,同时二者之间形成信息互补与增强。考虑到两个通道间可能存在的信息冗余,在互信息视角下设计了冗余识别与消除机制。在此基础上,构造了一体化优化模型,实现了自监督学习与半监督学习的协同作用,使学得的网络表示更好的捕捉和保持网络的结构和特性。在真实数据集上的实验结果表明,本文提出的模型学得的网络表示在节点分类、聚类和可视化等任务中能够获得优于基线方法的性能。(2)针对半监督网络表示学习中,标签信息分布不均衡,即各个类别的标签信息不均等,且有些类没有标签信息的问题。本文设计了一种基于完全不平衡标签的半监督网络表示学习模型,该模型主要由图自编码器模块、自训练聚类模块以及类语义信息模块三部分组成。图自编码器模块用于网络表示的生成同时确保生成的网络表示保持有原网络信息;自训练聚类模块和类语义信息模块,能够对未见类信息进行捕捉学习。自训练聚类模块通过对节点类别分布进行划分,使同类节点尽可能相近,不同类节点尽可能远离;类语义信息模块利用已知的标签信息生成类语义信息指导监督模型训练,使学得的网络表示更具判别性。本模型在真实的数据集上,与一些典型的半监督网络表示学习算法相比,实验结果有明显提升。(3)设计实现了半监督网络表示系统。该系统集成了一些经典算法和本文所提出的两个半监督网络表示学习算法,主要包括数据加载、初始化、模型评估三个模块,能够获得学到的网络嵌入向量,进而用于节点分类、聚类以及可视化等任务。

关键词： 注意力机制   缺陷检测   YOLO   Dynamic RCNN   Cascade RCNN  

摘要： 缺陷检测作为计算机视觉的一个重要的分支,在工业生产中具有广泛的应用。虽然基于传统图像处理技术已成为主流检测方式,但仍然存在着一定的局限性,例如无法迅速检测钢板表面的缺陷且检测的精度较低。基于卷积神经网络的方法能够通过数据训练出能够检测钢板表面的模型,该模型在检测钢板表面时花费的时间较少,检测的精度较高,但该方法在小样本数据集训练上存在模型检测精度低和模型拟合程度差等问题。为此,提出了三种针对钢板表面缺陷的模型,YOLO-C算法,ID-RCNN算法和Cascade Detection Network算法。它们不仅能够解决上述所遇到的问题,而且也验证了其有效性。论文的内容主要包括:针对深度学习方法在钢板表面缺陷检测上所遇到的小样本训练问题,提出一种将注意力机制与YOLO模型进行相互融合的方法。在YOLO架构基础上,加入注意力机制模块来增强模型对数据的训练能力,并对通道和空间维度进行注意力加强,充分利用数据特征并提高了模型泛化性。另外对生成的特征图进行计算分析成具有感知方向和敏感位置的特征图,这样不仅能够利用特征图的输入,也能够增强对象的特征表示。最终在小样本数据训练下得到具有较高缺陷检测能力的模型。针对深度学习方法在钢板表面检测精度低的问题,提出了ID-RCNN算法,根据二阶段网络精度较高的特点,设计一种注意力机制,通过对MLP层进行重新设计,并将设计的注意力机制融合到Basicblock层和Bottleneck层,以此来提高模型检测精度和泛化能力。针对防止小样本数据集在模型训练中可能出现的过拟合问题,提出了Cascade Detection Network算法,利用设计的注意力机制对前端数据输入层进行增强,并充分利用Cascade RCNN级联检测器的特点,对每个阶段采取递增阈值,让每个阶段都有足够的数据处理能力防止过拟合问题的出现。在此基础上,利用DAGM,NEU-CLS钢板表面缺陷数据集对上述模型进行验证与评估。其中,YOLO-C算法的精确度比其他模型提高了4%,ID-RCNN算法的精确度比其他模型提高了1.1%,Cascade Detection Network算法的精确度比其他模型提高了2%。实验结果表明,设计的算法能够有效地检测钢板表面缺陷。