关键词： 单细胞RNA测序   半监督非负矩阵分解   联合学习  

摘要： 单细胞RNA测序技术(scRNA-seq)分析了单个细胞的转录组,这使得通过使用无监督聚类可以发现细胞类型或亚型,但不能很好的利用标签信息。由于sc RNA-seq数据的高噪声和高维性,目前的算法一般会在细胞聚类之前进行降维。然而,降维和聚类的独立性也会导致不理想的性能。 因此,本文尝试基于非负矩阵分解理论建立半监督降维和聚类联合学习的算法,希望该算法能得到较为优良的性能。本文结合半监督非负矩阵分解和联合学习的理论,提出了自己的算法。具体来说:一方面本算法有效利用了标签信息,在传统的非负矩阵分解算法中引入两个互补的正则化器,即相似性正则化器和差异性正则化器;另一方面本文利用联合学习的理论将降维和聚类结合起来,把本算法构造成一个约束优化问题,并采用了一种有效的交替迭代算法进一步求解。 本文在六个scRNA-seq数据集上进行实验验证,其中单个细胞的数量从49到3500不等,细胞类型的数量从3到14不等。通过大量实验证明,本算法在来自不同组织的不同sc RNA-seq数据集上都是高效的。本文将实验分成了三部分,首先,在降维性能方面,本文比较了在三个数据集上利用本算法降维前后的细胞集群可视化图,实验结果展现了本算法良好的降维性能。其次,在聚类性能方面,本文比较了在六个数据集上本算法和其他六种算法的聚类效果,实验结果展现了本算法优秀的聚类性能。最后,本文研究了三个正则化项对于聚类性能的影响效果。本文将三个正则化项分别存在与否分成五种情况进行实验,实验结果表明,本文提出的算法聚类效果显著优于其他四种情况,突出了完整引入三个正则化项的必要性。 本文所提出的模型和算法为分析scRNA-seq数据提供了一种有效的途径,能够显著提高细胞聚类的效果。聚类算法广泛用于分析大型数据集,这在单细胞测序结果分析中尤为关键,合适的细胞聚类分群结果有助于细胞类型鉴定等下游数据分析工作。

关键词： 织物缺陷检测   深度学习   因果推理   无监督学习   复杂花纹织物  

摘要： 复杂花纹织物是一种重要的高利润纺织产品,其缺陷检测对纺织企业提升质量把控效率有着重要意义。由于复杂花纹织物表面覆盖有色彩及纹理信息丰富、形状无规律的背景花纹,其缺陷检测需要面临花纹信息差异大、背景视觉干扰强等工程难题。本文对复杂花纹织物的缺陷检测问题展开研究,构建了基于无监督学习的多种类复杂花纹织物缺陷泛化检测边界分析方法,设计了复杂花纹织物缺陷检测的因果导向学习方法以及缺陷导向检测神经网络。本文的主要研究工作如下:(1)针对工程中采集的复杂花纹织物图像标注成本高、背景花纹种类多的特点,研究复杂花纹织物缺陷泛化检测边界的分析方法。根据织物背景花纹的色彩以及形状特征,构建了基于卷积神经网络的织物图像特征编码器,实现对于多复杂花纹织物图像特征的采样和编码;引入特征度量方法对特征空间中特征编码的相似度进行评价,实现对图像信息近分布的复杂花纹织物缺陷泛化检测边界的划分。实验结果表明,所提出的方法成功实现了无标签情况下对于织物背景花纹特征信息的获取,并将九种复杂花纹织物划分为两个缺陷泛化检测边界,为复杂花纹织物缺陷泛化检测提供了数据基础。(2)针对复杂花纹织物背景花纹视觉干扰强的特点,研究视觉干扰下复杂花纹织物的缺陷检测方法。构建并分析复杂花纹织物缺陷检测的结构因果模型,获取精准缺陷检测的因果干预策略;构建包含多尺度特征差分机制的缺陷导向检测神经网络,实现对背景花纹视觉干扰特征级别的因果干预;提出两阶段因果导向学习方法,实现缺陷检测网络对于缺陷特征精准导向识别与检测。实验结果表明,所提出的方法在两个泛化检测边界的织物数据集上分别达到了94.04%以及93.95%的检测准确度,优于当前主流的织物缺陷检测模型。同时,通过可视化实验证明了所提方法对于特征-标签间因果数据关联的学习,以及对缺陷特征敏感性提取的有效性。(3)为满足复杂花纹织物缺陷检测的实际需求,搭建了复杂花纹织物缺陷检测的原型系统,为工程检测应用提供有效的解决工具。本文的研究成果为复杂花纹织物的缺陷检测提供了理论分析和实际技术,为纺织企业实现复杂花纹织物高质量缺陷检测效率的提升有着重要价值。

关键词： 网络表示学习   自监督学习   对抗训练   生成模型   对比学习  

摘要： 随着网络规模的不断增长,传统网络分析模型受到模型存储和计算需求的限制,给网络表示技术带来了挑战。基于图神经网络的网络表示学习模型多采用监督或半监督的学习方式,存在着人工标注成本高、泛化效果不佳、鲁棒性弱等问题。而基于自监督的网络表示学习模型从数据本身自动获取监督信息,不需要手动标注。这类模型能够从未标记数据中学习更多的信息,从而在各种下游任务中表现出更好的性能,当前自监督网络表示学习已经展现出较好的效果。本文对自监督网络表示学习模型现状进行了研究,并结合对抗训练的方式改进了模型,提出了三个自监督的网络表示学习模型。 首先,针对基于生成的自监督网络表示学习模型缺乏对原始图特征概率分布重建的问题,本文提出基于生成对抗网络的网络表示学习模型(NRL-GAN)。NRL-GAN模型最小化原始图节点特征和重建图节点特征距离,同时通过对抗训练使得原始图和重建图的节点特征概率分布非常接近,从而生成性能良好的网络表示。然后,针对基于生成的自监督网络表示学习模型隐藏层缺乏约束,存在着编码信息丢失和隐藏层缺乏组织性的问题,本文提出基于对抗训练的伪标签约束图自编码器模型(AT-PLGAE)。AT-PLGAE模型通过伪标签约束减少了编码过程中的信息损失,同时采用对抗训练的方式隐性地组织隐藏层特征的概率分布,增强模型的泛化能力。最后,针对如何提高基于对比的自监督网络表示学习模型的互信息下限的问题,本文提出基于对比聚类的网络表示学习模型(NRL-CC)。NRL-CC模型通过节点聚类互信息最大化,提高图编码器的性能,得到更高质量的网络表示向量,从而达到增强对比学习的目的。 在Cora、Citeseer和Pubmed数据集上的节点分类实验中,三个模型的表现优于基准模型。相较于基准模型,NRL-GAN模型通过重建原始图节点特征的概率分布,提升了模型学习关键信息的能力,节点分类准确率提升明显。与基准模型的最高分类准确率值相比,在Cora数据集上提升0.1%,在Citeseer数据集上提升3.2%,在Pubmed数据集上提升0.6%。在消融实验中AT-PLGAE模型的伪标签约束项减少了自编码器编码产生的信息损失,改善了学习效果,提高了下游节点分类实验的准确率;同时针对伪标签约束图自编码器的对抗训练,增强了模型的泛化能力。与基准模型的最高分类准确率值相比,在Cora数据集上提升1.8%,在Citeseer数据集上提升3.3%,在Pubmed数据集上提升1.3%。相较于基准模型,NRL-CC模型的聚类级对比学习进一步提高模型对比学习的互信息下限,增强了模型的对比学习能力,节点分类准确率提升明显。与基准模型的最高分类准确率值相比,在Cora数据集上提升0.5%,在Citeseer数据集上提升1.0%,在Pubmed数据集上提升0.4%。

摘要： 自主学习强调学生在学习过程中的主动性和参与性,倡导学生独立思考、探究与解决问题的能力,将自主学习能力引入英语阅读教学中,成为促进学生深入探究主题意义的有效途径。而主题意义探究作为一种全面而深入的学习方式,能够帮助学生理解文本中蕴含的丰富信息和意义,培养学生批判性思维和跨文化交际能力。因此,研究如何基于主题意义探究,并以自主学习能力为导向进行高中英语阅读教学具有重要意义。

关键词： 低同质性   可扩展性   图神经网络   表征学习  

摘要： 社交网络、分子结构等复杂系统中的实体与实体关系信息常被建模为图结构数据,对图结构数据进行表征学习获得低维向量表示,从而简化复杂系统的分析流程。近些年,以图神经网络(Graph Neural Network,GNN)为代表的图表征学习技术应运而生,其核心是消息传递机制,即先聚合邻域信息再通过神经网络提取特征,以此获得图中目标节点的低维向量表示。这种方式基于同质性假设,即图数据中目标节点同它的大部分邻居节点具有较高相似性,因此邻域信息可以增强目标节点的向量表示。尽管图神经网络在众多领域被广泛使用,但是仍然面临一些问题。首先,许多真实场景下的图数据具有低同质性,目标节点的邻域存在较高比例的非相似性节点,传统GNN的聚合方式无法区分低同质性邻居,导致学习的目标节点向量表示混淆。其次,为了应对具有海量实体和复杂实体多关系的图数据,越来越多的应用场景需要可扩展的表征学习方法,而现有面向低同质性图数据的表征学习方法大多仅针对单种关系、计算复杂度较高,因此面临可扩展性不足的问题。针对上述问题,本文主要做了三个方面的工作。 首先,针对传统GNN在低同质性图数据上表征学习质量欠佳的问题,本文提出的HLA-GNN方法使用基于同质性估计和标记传播的增强消息传递机制,提高了传统GNN的表征学习能力。本文给出了同质性程度的度量方法并对低同质性图数据建模,分析了低同质性对图神经网络的表征学习质量的影响。随后提出了同质性估计方法来引导邻域消息聚合,由此缓解低同质性图结构的噪声干扰。进一步,本文设计了标记传播与特征传播融合策略,利用部分观测到的标记信息来增强节点向量表示。 其次,为了满足表征学习方法的可扩展性需求,本文提出了基于离线分组聚合的可扩展表征学习方法GAGA。离线分组聚合方法将消息传递中的聚合与更新阶段解耦,在预处理阶段聚合邻域信息,在训练阶段更新节点向量表示。该方法优化了消息聚合的复杂度,提升了海量实体表征学习阶段的样本吞吐量。此外,本文设计了可学习的信息编码策略,刻画原始图结构中的复杂实体多关系和高阶邻域信息,同时将观测到的标记信息用做节点特征增广。 最后,设计并实现了面向低同质性图数据的可扩展表征学习系统。为了进一步验证本文提出的表征学习方法的有效性,对系统的设计进行多方位的需求分析,依据图表征学习的三个阶段,分别设计和实现了图数据处理模块、表征学习模块、推断和可视化模块。同时基于东南大学云计算集群进行系统开发,验证本文表征学习方法的有效性。 实验结果表明,在8个数据集上,HLA-GNN方法可以有效改善传统GNN在低同质性图数据上的表征学习质量,且具有较好的泛用性。此外,本文还在2个公开数据集和1个来自百度的大规模多关系图数据集上实验验证,GAGA方法具有较好的表征学习能力和可扩展性。

关键词： 数据不平衡   太阳能电池   缺陷检测   卷积神经网络   目标检测  

摘要： 太阳能光伏发电技术是我国绿色发展的重要动力,使用光致发光(Photoluminescence,PL)成像和电致发光(Electroluminescent,EL)成像技术对太阳能电池片进行缺陷检测是保证光伏产品质量的重要手段与关键技术。由于太阳能电池缺陷种类繁多、尺度不一、形态复杂等特点,传统机器视觉方法难以具备足够的准确性。近年来,随着人工智能技术的不断进步,基于深度学习的智能识别方法已经被广泛应用于太阳能电池缺陷检测中。然而,太阳能电池图像中的数据类别不平衡与局部缺陷尺度不平衡问题也同样给深度学习缺陷检测算法的准确性与泛化性带来挑战。因此,本文应用深度学习算法针对数据不平衡问题下的太阳能电池图像分类与局部缺陷区域检测方法展开研究。本文的主要研究内容与贡献如下:(1)在类别不平衡下,传统分类模型容易在学习过程中偏向多数类,将少数类样本错误预测为多数类,导致对多数类别样本预测的低精确率和对少数类别样本预测的低查全率。因此,针对太阳能电池图像数据集的类别不平衡问题,本文提出了一种基于深度类别表征与投票机制的图像分类算法V-Res Net。首先,通过重采样与训练方法,实现对样本的平衡采样与数据增强;随后,在本文改进的卷积神经网络(Convolutional Neural Network,CNN)结构CA-Res Net基础上,设计弱分类网络框架,来提高模型的类别表征能力与鲁棒性;最后,使用投票预测机制来获得最终预测结果,进一步提高分类精度。t-SNE可视化和对比实验结果表明,与传统方法相比,本文提出的算法具有更强的聚类能力与泛化能力,有效解决了电池片图像数据集类别不平衡导致的过拟合与性能不足问题,提高了算法的综合精度。最终,所提出的V-Res Net在太阳能电池PL图像数据集分类问题中达到了0.982的F1精度和98.04%的总体准确率,并通过在EL数据集中的应用证明了算法具有较强的通用性与泛化能力。(2)在尺度不平衡下,使用单一特征层进行预测的传统目标检测算法难以充分利用浅层的细节信息、位置信息与深层的全局信息、语义信息;容易导致其对多尺度缺陷,尤其是对小缺陷的检测精度不足。针对上述问题,本文提出了一种基于多层级特征融合的缺陷区域检测算法MLF R-CNN,以提高模型对太阳能电池多尺度缺陷检测的综合性能。该算法首先利用注意力机制与可变形卷积来增强主干CNN对缺陷的特征提取能力;进一步地,利用双向路径聚合网络来充分利用特征提取器中不同层级的特征图,通过特征融合来预测多尺度缺陷;同时,针对边界框定位精度不足问题,优化模型的回归损失;最后,使用在线困难样本挖掘OHEM方法加强模型对于易错样本、低精度样本的学习,缓解训练中存在的不平衡问题。实验结果表明,该算法实现了对太阳能电池多尺度局部缺陷的高精度边界框检测,尤其提高了对小缺陷的检测能力,在PL数据集9类缺陷检测中达到了78.4m AP的精度。并且,算法在检测过程中能够保持20FPS以上的推理速度,满足电池片检测速度要求。此外,MLF R-CNN在应用于EL数据集四类缺陷检测过程中,提升效果同样显著,精度达到89.3m AP,证明了算法具有较强的通用性和泛化性。

关键词： 迁移学习   域适应   概率分布适配   对抗学习   多源迁移学习  

摘要： 数据分类是人类从海量数据中获取知识的重要手段,也是机器学习的基本任务,在各行业中均得到广泛研究与应用。机器学习方法通常利用大量有标注数据学习一个分类模型,并将其应用于无标注数据的预测任务中。然而,在真实动态环境中数据的分布通常不断发生变化,已有的模型在新领域的泛化性能通常大幅度下降。迁移学习是一种新型的学习范式,可以利用一个或多个与新领域相关的辅助领域的知识,提升模型在新领域的性能,实现跨领域的知识复用与模型学习。但是在跨领域分类任务中,迁移学习仍然存在欠适配及负迁移等亟待解决的问题:首先,多分类数据的分布通常呈现多峰结构,难以准确度量并最小化领域间的特征分布差异,在模型中引发欠适配问题;其次,在模型学习到的共享子空间中,目标领域特征的判别性较弱,处于决策边界附近的样本容易被分类器误分类;再次,尽管多个辅助领域可以为目标领域提供更丰富的信息,但多个辅助领域对目标领域分类任务的贡献难以准确评估,导致负迁移问题;最后,当多领域数据分布式存储而无法直接共享时,难以有效进行知识迁移,导致分布式场景下模型跨领域泛化能力不足。本文面向跨领域分类任务,以基于深度神经网络的迁移学习方法为研究对象,针对上述问题开展研究并提出解决方案,具体的贡献与创新如下: (1)针对基于对抗学习的迁移学习方法难以充分适配域间特征分布问题,提出基于对抗学习与最优传输的迁移学习方法。该方法利用对抗学习在特征空间中适配域间特征的边缘分布,并利用Sliced Wasserstein距离在标签空间中最小化域间条件分布差异,不仅可以充分适配域间特征分布,还可以有效减小目标域特征与分类器决策边界的距离,增强目标域特征的判别性,解决对抗学习方法中存在的未能有效对齐域间特征分布与特征判别性缺失问题。此外,为进一步提升特征的迁移性,该方法还冻结了预训练网络的参数,并在模型结构中增加了瓶颈层用于训练。理论分析证明了该方法能够有效优化模型在目标域的泛化误差上界,实验结果表明该方法的平均分类准确率优于现有的迁移学习方法。 (2)针对基于语义对齐的迁移学习方法难以准确对齐域间语义信息问题,提出基于可信语义中心对齐的迁移学习方法。该方法首先利用相关性对齐方法对模型进行预训练,用来提升训练初期目标域伪标签的准确率。然后利用输出概率高于预设阈值的高置信度目标域样本计算目标域中每个类别的质心,并在特征空间中搜索目标域高置信度中心点,最后利用提出的语义中心损失精确对齐域间语义信息。与现有的语义对齐方法不同,该方法能够在语义对齐过程中增强特征的判别性,进一步提升模型在目标域数据的泛化性能。此外,为在训练过程中准确估计目标域质心,该方法构建全局目标域质心并在训练过程中对其迭代更新。在多组跨领域分类任务进行了实验,结果表明该方法相较于其他基准算法获得了最佳性能。 (3)针对分布式场景下多源迁移学习中的负迁移问题,提出基于联邦学习与假设迁移的多源迁移学习方法。该方法利用加权模型聚合在多个领域间无法共享训练数据的限制下将多个源域中的知识转移到目标域,并利用信息最大化与自监督学习优化目标域模型的特征提取器,在不访问源域数据的前提下实现域间分布适配并增强目标域特征的判别性。此外,为缓解与目标域相关性较低的源域引发的负迁移问题,该方法还设计了一种源域动态加权策略,通过计算多个源域模型对目标域任务的贡献为源域分配权重。在四个公开数据集上的实验结果表明,该方法的性能优于基准算法,并能够有效缓解负迁移问题。 (4)针对多个异构领域间难以有效适配特征分布问题,提出基于双重对抗网络的多源异构迁移学习方法。该方法中包含两个对抗学习过程,其中领域级对抗学习通过减小每对源域与目标域特征的Wasserstein距离在多领域共享的特征空间中适配多个异构领域的边缘分布;类别级对抗学习利用改进的最大最小熵方法适配域间条件分布,并能够降低由有监督训练带来的目标域内部的特征分布差异,同时提升目标域特征的判别性。此外,该方法通过引入参数弱共享机制约束多个领域特征提取器中的部分参数,在训练过程中构建多个源域与目标域间的关联以提升模型表现。在大量多源异构迁移任务的实验结果证明了本章方法的有效性。

关键词： CRSwNP   GEO数据库   机器学习   WGCNA  

摘要： 目的: 本研究基于加权基因共表达网络分析（WGCNA）和机器学习的方法,利用现有数据,挖掘出慢性鼻-鼻窦炎伴鼻息肉（CRSwNP）疾病相关的关键基因（Hub基因）,分析Hub基因在CRSwNP中的表达情况和可能的分子机制,探讨Hub基因在CRSwNP中的生物学功能及意义,并对Hub基因进行RT-q PCR实验验证,为寻找治疗靶点提供理论依据。 方法: 1.从GEO数据库下载GSE136825、GSE72713、GSE36830三个数据集,结合现有测序数据集,划分为分析组和验证组两组。针对分析组,利用WGCNA识别出与CRSwNP正相关度最高的模块（The module with the highest positive correlation with CRSwNP,TMHPCWC）基因和负相关度最高的模块（The module with the highest negative correlation with CRSwNP,TMHNCWC）基因,结合差异分析筛选得到的差异基因,取交集得到TMHPCWC和TMHNCWC中具有差异性的基因,并绘制韦恩图和提取数据集。 2.利用机器学习算法（LASSO、Boruta、SVM-RFE）,分别对TMHPCWC和TMHNCWC中具有差异性基因数据集进行筛选,获得候选Hub基因;基于候选Hub基因在验证组中的表达水平情况,识别出Hub基因。 3.通过GO和KEGG富集分析,探究TMHPCWC和TMHNCWC中具有差异性的基因相关分子通路及生物学功能;以Hub基因表达水平中值,将分析组内鼻息肉样本分为Hub基因高表达组和低表达组,通过GSEA分析,探究Hub基因高表达组富集上调的GO条目和KEGG通路情况。 4.通过免疫浸润分析,探究鼻息肉组和对照组组间免疫浸润差异、Hub基因与免疫细胞的相关性。 5.采用实时荧光定量聚合酶链反应（real-time quantitative polymerase chain,RT-q PCR）法,探究Hub基因在息肉组和对照组中的表达水平情况。 结果: 1.本研究利用WGCNA筛选分析组数据集识别出8个特征模块,其中MEblack为TMHPCWC,相关系数为0.54,包含1011个基因;MEbrown为TMHNCWC,相关系数为-0.74,包含1154个基因。同时,对分析组数据集进行差异分析筛选出772个差异基因（DEGs）,其中426个明显上调,346个明显下调。将DEGs与MEblack取交集得DEG-MEblack,包含207个基因;将DEGs与MEbrown取交集得DEG-MEbrown,包含395个基因。 2.利用三种机器学习算法筛选DEG-MEblack,LASSO识别出11个特征基因,Boruta筛选出61个特征基因,SVM-RFE筛选得到32个特征基因,取三者交集得7个候选Hub基因,并利用验证组验证,最终确定了4个Hub基因HMOX1、PXDN、SCG2、CYSLTR1。同时,以相同的方法筛选DEG-MEbrown,LASSO识别出19个特征基因,Boruta筛选出86个特征基因,SVM-RFE筛选得到83个特征基因,取三者交集得10个候选Hub基因,并利用验证组验证,最终,确定了6个Hub基因MCOLN3、CYP2J2、IL4R、OSMR、ADAM28、PRB3。其中,相对于对照组,在鼻息肉组中表达水平上调的有HMOX1、PXDN、SCG2、CYSLTR1、IL4R、OSMR、ADAM28,即为高表达的Hub基因;表达水平下调的有MCOLN3、CYP2J2、PRB3,即为低表达的Hub基因。 ***富集分析,发现在DEG-MEblack中,生物学过程（BP）主要有白细胞介导的免疫、免疫反应激活等;细胞组成（CC）包括质膜外侧、内吞囊泡等;分子功能（MF）与免疫受体活性、趋化因子受体活性等有关。在DEG-MEbrown中MF主要与信号受体激活剂活性等相关。KEGG通路分析,发现在DEG-MEblack中确定的通路与细胞因子-细胞因子受体相互作用、趋化因子信号通路、金黄色葡萄球菌感染等相关;DEG-MEbrown中鉴定的通路与细胞因子-细胞因子受体相互作用等相关。 4.通过GSEA分析,发现Hub基因高表达组富集上调的GO条目有适应性免疫反应（SCG2、PXDN、OSMR、HMOX1）,免疫应答调节信号通路（SCG2、PXDN、OSMR）。SCG2、PXDN、HMOX1的高表达组富集上调的KEGG通路有趋化因子信号通路、细胞因子-细胞因子受体相互作用通路、NOD样受体信号通路、自然杀伤细胞介导的细胞毒性。 5.鼻息肉组免疫细胞浸润分析中巨噬细胞M2、中性粒细胞和静息树突状细胞相比对照组为正显著相关。 6.相比于对照组,在鼻息肉组中,高表

关键词： 不确定信息   深度学习方法   差异结构   智能技术应用  

摘要： 由于全球经济的依赖和融合程度逐渐加深,新冠疫情使世界产业链、供应链循环受阻,加大了全球经济的脆弱性。然而,新冠疫情对于世界经济社会发展带来较大冲击的同时,也为大数据、人工智能、以及云计算等新兴技术带来了需求刺激。这些技术不仅能够在疫情防控、社会治理以及复工复产等领域产生重要影响,而且还能在后疫情时代的全球经济复苏甚至是进一步发展中发挥关键作用。基于此,上述新兴技术作为新一轮智能技术发展的驱动力,其重要性得以逐步显现,同时也增加了人们对智能技术在实际生产与生活中的发展需求,这也为智能技术的进一步发展带来了契机。对于国家或企业来说,智能技术市场还有一些问题有待进一步考虑,如智能技术评价和决策等。然而,智能技术作为迅速发展的新兴事物,其评价和决策过程往往难以得到足够数量或者有效的定量数据,这时定性数据便显示了其必要性和重要性。在实际评价和决策过程中,定性数据通常可以采用多种不确定信息表述方法得以描述,而对于不确定信息可能具有的犹豫性和模糊性,犹豫模糊信息能够对其进行较为完整且合理的表述。基于此,本文涉及的不确定信息为犹豫模糊信息,并且该信息将被进一步引入作为智能技术评价的研究基础。此外,犹豫模糊信息主要应用于一般的决策领域,而较少应用于智能技术选择的评价或决策中。为此,本文将进一步设计差异结构下的深度学习方法,并将其与适应于不同数据特征的多种犹豫模糊信息进行融合以应用于适当的智能技术评价。例如,将离散、连续、并联、以及串联信息分别融入到卷积神经网络(Convolutional Neural Network,CNN)、生成对抗网络(Generative Adversarial Network,GAN)、深度信念网络(Deep Belief Network,DBN)、以及循环神经网络(Recurrent Neural Network,RNN)中,从而提出差异结构下的深度学习方法,并将这些方法应用于不同类型的智能技术选择过程中。因此,将多种形式的犹豫模糊信息、差异结构下的深度学习方法、以及不同类型的智能技术选择进行结合,能够在较短时间内有效处理定量数据无法获得或者难以获得的智能技术选择问题。基于此,本文的主要研究内容如下:本文设计了不确定信息与离散CNN结构下的深度学习方法并将其应用于图文识别技术,提出了不确定信息与连续GAN结构下的深度学习方法并将其应用于智慧监测技术,建立了不确定信息与并联DBN结构下的深度学习方法并将其应用于新闻推送技术,构建了不确定信息与串联RNN结构下的深度学习方法并将其应用于自动驾驶技术。基于上述提出的引入不确定信息的差异结构下的深度学习方法,本文能够完善离散、连续、并联、以及串联信息表述方法,为应用多种犹豫模糊信息进行智能技术选择的进一步研究提供了借鉴作用。依据这些新的犹豫模糊信息,本文能够设计差异结构下的深度学习方法,即离散CNN结构下的深度学习方法、连续GAN结构下的深度学习方法、并联DBN结构下的深度学习方法、以及串联RNN结构下的深度学习方法,为进一步研究差异结构下的深度学习方法提供了理论依据。根据上述多种形式的犹豫模糊信息和差异结构下的深度学习方法,本文能够优化进行图文识别技术、智慧监测技术、新闻推送技术、以及自动驾驶技术选择的决策工具,为进一步进行不同类型的智能技术选择提供理论支撑和应用基础。上述内容能够实现模型架构的优化和智能技术领域的应用,因此,将提出的引入不确定信息的差异结构下的深度学习方法应用到不同类型的智能技术选择中具备一定的可行性和合理性。

关键词： 异质信息网络   高阶结构   异质图元   不完整性   图神经网络  

摘要： 随着大数据时代的发展,现实世界中的数据越来越体现出实体类型多样和实体间的交互复杂的特点,这种数据被建模为异质信息网络,如学术网络、生物信息网络、社交网络等。异质信息网络表示学习旨在学习网络中实体和实体间交互关系的低维表示,同时保留实体的特征和结构特点。然而,随着网络规模的迅猛增长,数据中的实体类型更加多样,交互关系更加复杂,高效地表示网络中的复杂交互关系面临着诸多难点。第一,由于数据的稀疏性,网络中实体的结构特点难以刻画;第二,网络的异质性逐渐增强,需要专家知识对数据提前做大量的工作,来描述网络中的复杂异质结构,且常常存在语义冗余的问题;第三,现实网络数据的不完整性也逐渐凸显,体现为实体的特征不完整和结构不完整,如何有效利用原始数据,既不损失信息又不引入噪声,也是亟待解决的问题。本文从异质信息网络的高阶结构切入,按照节点结构由简单到复杂,由局部到全局演化的逻辑关系,开展节点邻域高阶结构表示学习、元路径与元结构组合表示学习、泛化类型异质图元表示学习和不完整高阶结构表示学习四个研究内容。通过开展背景调研、模型设计和实验验证工作,提出创新性的异质信息网络表示学习模型,系统地解决异质信息网络中高阶结构表示学习的问题。本文的具体工作和主要贡献可总结为以下几个方面:(1)为探究节点邻域高阶结构对节点的表征能力,本文提出一个基于节点邻域结构相似度的图神经网络模型。模型将节点邻域的度序列作为节点的结构特征,并提出一个不同规格度序列的相似度计算算法,计算节点间的结构相似度,实现对节点邻域高阶结构特点的刻画;同时,利用该结构相似度改进图卷积网络上的节点间消息传递模式,实现结构上相似的节点间的信息聚合。本文在公开数据集上进行节点分类实验,验证高阶结构对节点的表征能力。结果表明,该模型在结合节点结构相似度的条件下,提升了节点分类的准确率。(2)为探究元路径与元结构对节点的表征能力,针对元路径只能表示链式结构的问题,本文提出一个元路径与元结构组合的异质图神经网络模型。模型通过局部注意力机制学习元路径或元结构内节点的权重和全局注意力机制学习不同元路径与元结构间的权重,并依据这些自适应权重聚合节点信息。通过元结构对元路径的语义补充,解决了元路径表示结构单一的问题。本文在几个公开数据集上进行节点分类实验,并探究不同结构组合对节点的表征能力。实验结果验证了模型的有效性,并展示了元路径和元结构对结果的不同作用。(3)为了弥补元路径和元结构刻画结构类型有限且依赖于专家知识预定义的不足,本文提出一个基于泛化类型异质图元的异质图神经网络模型。模型提出一个频繁异质图元挖掘算法,利用几何分布将异质图元挖掘过程随机化,自动地生成泛化类型的异质图元,同时解决结构单一和对专家知识的依赖的问题。针对多种结构存在语义冗余的问题,本文提出了一种去冗余排序方法,找到优化的高阶结构组合,并将异质图元转化为相应的欧拉路径,通过学习自适应权重聚合路径上节点信息,实现最小化语义冗余的节点表示。本文通过将该模型应用到几个公开异质网络数据集上开展实验,实验结果验证了模型的有效性。(4)针对现实数据中高阶结构面临不完整性的问题,本文提出了一种基于格的不完整异质图神经网络模型。模型通过计算节点特征和结构的偏序关系构建特征格和结构格,解决不完整异质图建模过程损失信息和引入噪声的问题。模型通过聚合特征格和结构格中的信息来更新节点表示,生成的结构格中包含原始数据中出现的所有结构组合,实现对结构语义的充分覆盖。本文在几个公开的不完整图数据集上开展实验,验证模型在表示不完整异质图上的有效性和稳定性。综上所述,本文对异质信息网络中高阶结构表示学习问题进行了深入研究,并提出相应的模型有效提升高阶结构的表示能力、降低结构的语义冗余、丰富节点结构语义。