关键词： 旋转机械故障诊断   不完备数据   多源信息   元学习   图神经网络  

摘要： 机械设备状态监测与故障诊断是机械设备高质量运行的重要保障,数据驱动方法能够使用智能模型自动建立数据和健康状态之间的映射关系,但是在设备实际运行中,噪声、数据采集和存储成本以及机械设备大部分时间是在非故障下运行等因素导致传感器获得数据不完备,故障特征难以提取,故障诊断模型难以对故障进行有效识别。为提高旋转机械设备故障辨识的准确性,利用模型特性来提取不完备数据下的特征,为机械设备状态监测与运维提供策略。本文以旋转机械设备为研究对象,建立适用于不同不完备数据集情况的深度学习故障诊断模型,并探讨各模型的优势,提出相应的基于不完备数据的旋转机械深度学习故障诊断方法。 针对含噪声故障样本的故障周期性特征被淹没,导致故障识别准确率低的问题,提出一种利用小波变换和注意力机制的改进双流残差网络。首先通过改善小波阈值函数,有效降低噪声对机械设备周期故障特征信号的影响,从而有效改善输入数据的质量;然后采用一维和二维卷积网络分别提取故障特征,并将特征进行融合来综合全局和局部信息的特征,充分提取数据的关键特征信息。最后通过仿真和实验验证了该方法可以有效减少噪声干扰并且比列出其他几种传统故障诊断方法准确率更高。 针对故障诊断中深度学习模型在训练的样本数量很小情况下产生过拟合的问题,借助元学习提出一种基于小样本的机械设备故障诊断方法。通过综合考虑多源信息和元学习,使深度学习故障诊断模型具备了解决小样本问题的能力,从而提高诊断精度。引入注意力机制进一步提高了模型的特征选择能力,并对模型进行了框架化处理,形成基于多源信息元学习的深度学习诊断模型。通过对Paderborn多源信息故障诊断平台和圣朗格瓦尔工程技术学院圆柱滚子轴承多源信息故障诊断实验平台数据集进行实验,实现了对两种机械设备轴承的小样本条件下的故障诊断,证明结合元学习、多源信息和注意力机制的方法在故障诊断方面优于文中对比的深度学习方法。 针对不平衡样本下深度学习模型难以提取少数类特征的问题,考虑图神经网络对特征提取增强的优点,建立多源信息融合的图卷积网络,采用混合融合方法整合更全面的信息,以提高诊断性能。同时,引入图转换方法,将欧式数据转换为非欧式数据,以更好地结合特征和结构之间的相关性,并重新设计双流分类器,提高不平衡样本下机械设备故障诊断性能。通过实验验证,该方法可以在不平衡样本下实现旋转机械设备的故障诊断,并且在诊断效果上明显优于所对比的传统深度学习诊断模型。 最后针对不同工况下数据分布不同的问题,提出一种基于属性和特征转移的双分类器跨域故障诊断方法。提出基于卷积神经网络和图卷积网络的特征编码器来同时从输入数据中提取特征和关系,使用特征转移模块实现跨域,并利用特定领域注意力模块及其相应的损失函数实现属性转移,最终在有限和不均衡数据条件下设计了双分类器和有效的跨域故障诊断。通过双分类器和伪标签学习,在统一的深度网络中迁移特征和属性,实现跨领域故障诊断,实验结果证明了该方法的有效性和优越性。

关键词： 值分布强化学习   脉冲神经网络   分位数回归   梯度替代策略  

摘要： 近年来,脉冲神经网络(Spiking Neural Networks,SNN)因其生物和理论上的优势,以及在智能芯片上的低功耗潜力,受到了研究学者们的广泛关注,并被视为第三代神经网络。值分布强化学习(Distributional Reinforcement Learning,DRL)算法因其独特的价值分布视角,被认为与神经科学有着内在联系,并在部分任务中展现出超越传统算法的性能和稳定性。值分布脉冲强化学习近年来被认为是一个拥有巨大潜力的研究领域,然而,关于如何将脉冲神经网络与值分布式强化学习相结合的研究仍处于起步阶段。尽管目前存在一些转换方法能够直接将训练好的人工神经网络(Artifact Neural Networks,ANN)转换为SNN网络,并取得了一定的实验效果,但是与ANN版本的值分布强化学习算法之间存着着较大的差距。 为解决上述问题,本文首先提出了一种直接训练的值分布脉冲强化学习框架。该框架通过值分布贝尔曼方程和脉冲梯度替代策略实现了脉冲神经网络的直接训练。然后,在该框架基础上,引入分位数回归和全参数分位数理论,设计并实现了一种基于SNN的全参数值分布强化学习算法(Spiking Fully Parameterized Quantile Function,SFQF)。最后,在14个雅达利游戏上,通过与值分布强化学习算法和脉冲强化学习算法的对比,验证了本论文所提出框架的有效性。具体来说,本文的主要研究内容和贡献如下: (1)提出了一种可直接训练的值分布脉冲强化学习框架,该框架基于值分布贝尔曼方程和脉冲梯度替代策略,主要包括一种基于SNN的状态特征提取网络和结合脉冲编码的值分布构建方法。这一研究为脉冲强化学习与值分布强化学习有效结合提供了一种可行的方式。 (2)在可训练的分布式脉冲强化学习框架的基础上,引入分位数回归和全参数分位数理论,设计并实现一种基于SNN的全参数值分布强化学习算法,并且在雅达利游戏平台上对该算法的效果进行了充分的实验验证,实验结果证明该算法与出传统值分布强化学习相比具有优秀的性能和优越的稳定性。 (3)设计并实现了一个应用于雅达利游戏的强化学习系统,该系统实现了强化学习算法的训练参数调整和模型测试等功能,并且以可视化的形式展示出来。

关键词： 自监督学习   点云上采样   点云补全   点云分析  

摘要： 近年来,三维重建和智能驾驶领域得到了快速发展,元宇宙概念也引起了广泛的关注。此外,随着3D传感器的普及,进一步降低了获取点云数据的难度。这些都推动了3D点云数据在自动驾驶、机器人、遥感和医疗等领域的广泛应用,也进一步促进了点云理解和分析技术的进步。然而,先前依靠有监督学习的大多数方法,需要大规模准确标注的数据集,或者依靠对比学习的自监督方法,需要大量准确区分的正负样本对,这些都在很大程度上限制了它们的应用性。同时,由于光亮度变化、测量距离、自遮挡和其他干扰等各种环境因素的影响,在实际场景中获取的点云数据往往存在不完整和稀疏的问题。 针对这些问题,研究人员正在探索无监督和弱监督学习方法,以减少对标注数据的依赖,并扩大点云分析技术在各个领域的应用范围。 本文围绕上述问题,针对现实场景中获取点云的稀疏和残缺的状态,分别提出了基于点云稀疏语义理解的自监督学习方法和基于点云残缺语义理解的自监督学习方法。而本文提出的方法的核心是通过上采样和补全操作来捕捉更多点云的高级语义信息和低级几何信息,从而提供更加全面和丰富的特征表示。同时,这些方法在点云下游的分类和分割等任务中能够明显提高准确性和效率。本文主要贡献如下:(1)研究基于点云稀疏语义理解的自监督学习算法。本文提出了一种基于上采样预训练模型的点云自监督学习方法。同时,本文还设计了一种新颖的上采样自编码器(UAE),并采用联合损失函数来确保上采样的点与原始点云相似。在形状分类,局部分割和点云上采样任务上,本文通过大量的定性和定量实验来验证了该方法的有效性。(2)研究基于点云残缺语义理解的自监督学习算法。本文提出的UAE框架是基于密度稀疏但语义完整的点云自监督表征学习算法,它并不能高效准确地解决语义残缺的点云问题。因此,本文还提出了一种基于点云补全预训练模型的自监督学习方法。并设计了一个新颖的点云补全框架,称为结构先验引导点云补全网络(SPAC-Net)。它有效地解决了补全过程中局部语义丢失的问题,并在最终的补全结果上生成了更好的细节。同时,在形状分类,局部分割和点云补全任务上,本文通过大量的定性和定量实验来验证了该方法的有效性。

关键词： 早期故障识别   剩余寿命预测   健康指标构建   迁移学习   Transformer   卷积神经网络  

摘要： 早期故障识别(Early Fault Detection,EFD)与剩余寿命(Remaining Useful Life,RUL)预测作为预测性维护的关键技术,近年来备受关注。其中,EFD能检测旋转机械的初期微弱异常,便于提前采取维护措施;RUL预测为合理的维护计划提供决策支持。目前,深度学习在EFD与RUL预测中已得到较为广泛的应用,但现有方法仍存在以下三点不足。第一,现有EFD方法在特征提取的过程中,缺少初期异常数据的引导;第二,现有RUL预测方法未充分考虑运行时间对设备状态的影响;第三,现有方法未充分研究目标设备无退化数据的场景下的EFD和RUL预测。针对上述问题,本文提出了一种无监督序列分割卷积神经网络,利用包含初期异常的全生命周期数据来建立EFD模型。然后,基于早期故障识别结果,提出了一种基于形状约束卷积Transformer网络,将时间信息引入RUL预测过程中。随后,面向目标设备无退化数据场景,对所提方法进行了改进,并进行了工程实例验证。主要研究内容如下: 针对EFD特征提取过程中缺少初期异常数据引导的问题,提出了基于无监督序列分割卷积神经网络的EFD方法。利用全生命周期训练数据状态变化的时序特性,将状态识别问题转化为序列分割问题,并通过模拟退火算法进行求解。使用最优分割数据训练卷积神经网络,从而对状态进行识别。实验结果表明,所提方法与其他方法相比,能准确且更早地发现早期故障。 针对RUL预测未充分考虑运行时间对设备状态影响的问题,提出了基于形状约束卷积Transformer的RUL预测方法。首先,对早期故障进行识别,针对退化阶段数据进行RUL预测。其次,提出了形状约束卷积Transformer网络模型,考虑形状约束构建健康指标。最后,提出了一种时间编码,将时间信息引入预测模型中。实验结果表明,所提方法RUL预测精度优于其他对比方法。 针对实际应用中目标设备缺少退化阶段数据的问题,提出了一种基于多域解耦表征融合的EFD方法。首先,利用生成对抗解耦表征学习来提取源设备与目标设备的共有健康状态特征。然后,设计了一种堆叠结构融合时域、频域和时频域深度特征。最后,仅使用正常数据训练一分类模型,从而实现无退化数据下的早期故障识别。实验结果表明,所提方法能够提取具有泛化性和判别性的特征,与其他方法相比,能更及时、可靠地发现早期故障。 面向目标设备无退化数据场景,提出了一种基于迁移Transformer网络的RUL预测方法。首先,通过最小化源设备与目标设备数据特征的最大均值差异,解决数据分布漂移的问题。然后,提出了一种缩放对齐策略,将源设备与目标设备处于相同退化阶段的数据在位置信息上对齐。最后,对健康指标进行递归预测,实现RUL预测。实验结果表明,所提方法在不使用目标设备退化数据的条件下,取得比使用目标设备退化数据的方法更高的预测精度。 综合以上方法,对某风力发电机轴承和数控机床主轴电机进行EFD和RUL预测。针对实际生产场景中目标设备无退化数据的问题,使用实验平台的轴承数据作为源设备数据,建立EFD模型和RUL预测模型,并取得了良好的应用结果。 最后,总结了全文的工作和创新之处,并展望了未来的工作。

关键词： 机器学习   振动光谱   近红外光谱   卷积神经网络   光谱数据合成   医学图像分析   新型冠状病毒肺炎   模型的可解释性  

摘要： 众所周知,化学、物理、材料及生物医学等学科领域的研究过程中充满了“大数据”,从实验设计、实验过程、相关测试到实验验证等环节,科学家们都离不开数据的搜集、选择和分析。而建模分析是通过对已有实验事实（量测数据）进行归纳分析并形成可供应用之模型（模式）的基本思路。人工智能是计算机科学的一个分支,最擅长在海量数据中寻找“隐藏”的因果关系,毫无疑问它也逐渐被应用到各个学科领域中。随着以机器学习为代表的人工智能快速发展与应用,人们对于建模分析的研究与应用也有了更加深刻的认识。 本学位论文基于化学图谱和医学图像开展了系列机器学习方法及其应用研究,主要围绕两个问题展开:一是基于机器学习和深度学习的化学图谱建模分析方法的探索及其应用（第二章、第三章、第四章）,二是基于迁移学习的可解释深度学习医学图像分析方法研究（第五章）。各章节主要内容如下: 正如新型冠状病毒肺炎（Coronavirus disease 2019,COVID-19）大流行期间的大规模核酸检测工作,快速准确地检测感染患者对于控制传染病的传播至关重要。因此,必须通过早发现、早治疗和阻断病毒传播链来降低新冠病毒的传播。本章工作提出了一种基于改进灰狼优化算法（Grey wolf optimization,GWO）的支持向量机（Support vector machine,SVM）分类模型GWO-SVM,用于受试者唾液傅里叶红外（FTIR）光谱和血清拉曼光谱的分析,以快速筛查COVID-19患者。为了获得具有更好泛化性能的分类模型,我们通过改进GWO优化并确定SVM的最佳超参数（惩罚系数和核函数系数）组合,建立了分类预测模型,分别用于区分唾液FTIR光谱和血清拉曼光谱,并计算分类模型性能评估指标。同时,还测试了包括线性判别分析、k-最近邻、随机森林、朴素贝叶斯和基于网格搜索（Grid search,GS）的SVM（GS-SVM）在内的其他五种机器学习方法作为参考。结果表明,对于唾液FTIR光谱测试数据集,GWO-SVM模型的准确率、特异性和F1-score值分别为0.9825、0.9714和0.9778;对于血清拉曼光谱测试数据集,GWO-SVM的平均准确率、特异性和F1-score值分别为0.9085、0.9552和0.9036,优于其他分类模型。因此,基于唾液FTIR光谱和血清拉曼光谱的GWO-SVM模型有望用于COVID-19患者的临床快速筛查。根据实验结果,与其他机器学习技术相比,本论文所提出的GWO-SVM模型具有更好的预测性能。因此,振动光谱结合GWO-SVM模型可应用于COVID-19检测,以提高临床及时诊断的准确性。（第二章） 数据合成是通过对已有数据添加微小改动或从已有的数据新创建数据,以增加数据量的方法,缓解了深度学习中数据不足的问题。作为一种数据获取的补充方法,数据合成主要是增加训练数据的多样性,从而提高模型泛化能力。本章工作比较了两种数据合成技术在有限光谱数据条件下在两种深度学习模型上的性能表现。数据合成方法包括基于统计学方法的加权混合和一种深度生成模型变分自编码器（Variational Autoencoder,VAE）。我们在COVID-19拉曼光谱数据集上训练了一个卷积神经网络（Convolutional Neural Network,CNN）和一个全连接神经网络（Fully-Connected Neural Network,FCNN）,用于识别新型冠状病毒的健康与阳性患者。与加权混合方法相比,VAE需要更多的训练时间,合成数据结果是非确定性的,并且需要对参数空间进行详尽的搜索。但是,通过改变模型架构、潜变量空间设计和添加的噪声量,VAE可以使新样本保持在一个真实的样本空间中。即使在训练数据有限的情况下,VAE也可以产生大量且规律变化的逼真合成光谱。研究结果证明了数据合成方法具有改善深度学习模型和克服过拟合以及维度诅咒等问题的潜力。（第三章） 近红外光谱（Near infrared spectroscopy,NIR）通常具有较高的数据维度,其中许多波长数据点可能对所关注的分析目标没有贡献。深度学习技术在NIR分析中的应用已经取得了显著的进展,它能够处理大规模和高维度的数据,提高了模型的预测准确度。尽管NIR检测技术在药品检测中有着广泛应用,但检测模型共享问题成为该技术推广应用的瓶颈。本章构建了一种基于深度学习技术的NIR一维卷积神经网络模型共享方法,实现了药片主要活性成分检测模型的智能共享和更新评价。采用基于高斯过程回归（Gaussian process regression,GPR）的贝叶斯优化（Bayesian optimization,BO）对模型超参数进行优化。结果显示,BO-CNN定量模型在数据集1和数据集2上的预测2分别为0.986和0.

关键词： 统计学习   多组学数据   多分类   层次结构学习   乳腺癌   胃癌  

摘要： 层次结构在生物系统中十分常见,例如出现在细胞分化和肿瘤克隆演化过程中。明确层次结构对解决生物多组学数据的多分类问题非常有帮助。然而,大多数现有的多组学分类器都忽略了对于层次结构的学习,只是直接进行多分类或者使用主观定义的层次结构进行分类,例如在肿瘤亚型分类中,乳腺癌内在亚型分类采用的是一步多分类方式,胃癌分子亚型分类采用的是依据医学经验定义的层次结构分类方式。这些分类方法并没有主动去学习类别之间内在的生物学关系,从而导致非最优分类结果。本论文从生物多组学数据出发,通过统计学习推断类别之间的层次结构,改进多组学数据分类效果。本文主要在三个方向开展了多组学数据层次分类的统计学习方法研究。 一是提出一种新的数据驱动的层次结构学习算法OmiHier(Omics Label Hierarchy Learning)。该算法创新了多分类问题层次结构分类推断模式,以适应多组学数据高通量、高维度、高稀疏度的独特性质,从而提高对复杂多组学数据的分类准确性。该方法首先利用由数据驱动的适应性机器学习方法进行有监督学习,构建类别相似性矩阵;其次基于类别相似性矩阵,利用自底向上无监督聚类算法初步构建类别层次结构;最后将迭代算法整合到分类器训练过程中,得到最优类别层次结构和样本分类器。 二是基于模拟和真实多组学数据集(包括微生物组、单细胞转录组、癌症空间转录组数据等),验证了该算法在层次结构学习和多组学数据分类上的高准确性。首先在不同条件下生成多类别模拟数据;然后利用OmiHier算法得到对应的最优类别层次结构,并与预设真值进行比较验证;最后在多个已知真值的真实数据上,将OmiHier算法的分类结果与直接多分类结果进行了比较。 三是将OmiHier算法应用于乳腺癌与胃癌大规模多组学数据集,构建了UGES(Unified Genetic and Epigenetic Subtyping)乳腺癌内在亚型分类器与HCG(Hierarchical Classifier for Gastric)胃癌分子亚型分类器,并结合生物信息学分析验证了该算法所建立的层次分类器的分类准确性和层次结构正确性。实证结果表明,UGES分类器的AUC值为0.963,比非层次结构分类模式提高了0.074,同时改进了乳腺癌患者的临床分型,使得各类别患者的生存差异更加显著(p=9.7e-55(UGES)vs 2.2e-47(非层次结构))。基于UGES和HCG亚型的关联分析给出了多种可能的亚型特异性新分子生物标志物,将有助于这些癌症的早期分型筛查。