关键词： 网络表示学习   图卷积神经网络   拓扑优化   全局结构信息   节点分类  

摘要： 图是一种当今受到广泛关注的数据重要呈现形式,为了处理高维稀疏的图数据,网络表示学习将其映射到低维空间中,在保留原网络有效信息的同时降低了网络信息的存储成本,便于完成后续的分析任务。图卷积神经网络不仅保留了卷积神经网络强大的表征提取能力,还能够有效的处理不规则图数据,是近期的研究热点。基于拓扑优化的图卷积网络是一类旨在通过优化网络拓扑结构来逼近节点真实联系状态的图卷积神经网络模型。当前对基于拓扑优化的图卷积网络模型的研究面临诸多挑战:(1)主要注重优化相邻节点之间的关联权重,却忽略了网络全局结构信息对节点表征的影响,不能很好的处理信息缺失下引起的分类性能下降的问题。(2)仅对节点结构链接关系形成的信息传播路径进行优化,却没有考虑属性相似节点的信息交互对节点表示的影响。针对上述问题,本文对其中一个具有代表性的模型:图学习卷积网络(GLCN)进行了如下改进工作:针对第一个问题,本文提出融合全局结构信息的拓扑优化图卷积网络(Global Structural Information Enhanced Topology Optimization Graph Convolutional Network,GE-TOGCN),将类向量作为全局结构信息引入到模型中,首先利用每类的标记节点计算可靠的初始类中心向量;然后抽取部分未标记标签对类中心向量进行修正,使其能更真实的反映类内节点的整体类信息;最后使用更新后的类中心向量更新节点表示,并使用半监督损失约束类中心向量。在Cora与Citeseer两个真实网络数据集进行实验,通过在标签信息缺失的情况下进行的节点分类任务与节点可视化任务效果来评估模型的性能,实验表明该模型能减少标签信息缺失对原模型学习效果的影响,同时能够使节点表现出更明显的类特征。针对第二个问题,本文提出双空间拓扑优化图卷积网络(Double-Space Topology Optimization Graph Convolutional Network,DC-TOGCN),利用KNN算法构建属性图,在拓扑与属性两个空间中同时进行图拓扑优化,并引入一个共享图卷积模块来学习拓扑与属性空间的深层关联信息。在Citeseer,ACM,Blog Catalog数据集中进行了节点分类与节点可视化任务,结果表明属性空间与关联信息中节点表征的学习可帮助节点学习到更准确的类信息,节点可视化任务结果表明节点可呈现更清晰的类簇关系。

关键词： 流形学习   度量学习   降维   核函数   特征融合  

摘要： 近年来,在机器学习等领域中,针对图像数据的分类识别已经成为广大研究者的重点关注问题。传统的算法大都基于欧氏空间计算样本相似性,虽然简单有效,但是由于没有考虑图像数据的高维、稀疏和流形等特性,无法准确地度量样本点之间的相似性。越来越来多的研究者基于黎曼流形的度量学习方法展开了大量的研究工作。流形假设是指人类所看到的数据为嵌入在高维空间中的低维流形。相对于传统算法而言,黎曼流形度量学习可以很好的利用样本数据的非线性结构特征,找到合适的度量进行相似性计算。同时能够直接对图像集进行流形建模,保持其内在几何结构,提取更加完备的特征信息。针对上述问题,本文主要研究内容为:1.基于Grassmann流形的度量学习方法。首先,将图像集通过子空间建模构建Grassman流形,利用投影映射降维到更具判别性的低维空间中,然后通过建立正则项,将原始流形上的元素矩阵转换成对称正定矩阵,并定义散度矩阵,在对数欧氏空间中,设计目标函数使得类内样本点之间的距离更加紧密,类间样本点的距离更加分离,实现图像数据集的分类识别。该算法在多个数据集上进行验证,得到了较好的实验结果。2.基于多流形融合的度量学习方法。该算法采用子空间、协方差对图像集进行多流形建模,并通过黎曼度量将多种特征映射到高维核空间中进行融合,增加特征的互补性,并提出一种基于Log Det散度的目标函数,计算马氏度量矩阵,使得类间样本距离增加,同时减小类内样本点距离。该算法在多流形图像数据集上取得了较好的实验结果。3.设计并实现了一个针对本文所提出的黎曼度量学习算法的可视化系统。该系统主要包括四个模块:数据模块、算法模块、日志模块和可视化模块,包含了本文所提出的两个算法和经典的度量学习算法,不仅可以将数据进行可视化,还可以调整参数的数值展示参数对实验结果的影响。并且数据集和算法都可以进行添加,具有较强的可扩展性。

关键词： 心态   教材   习惯   课后复习   考试  

摘要： 近年来随着中考制度的不断改革,相对于语数外科目而言,政史地科目在升学考试中所占的比重也不容忽视。而历史学科中考的范围涉及中国史跟世界史两大范畴,时间跨度、空间跨度都极大,给学生的学习带来极大困扰,为此,如何教会学生灵活运用学习方法,快速有效地提高历史科目的成绩,结合这几年的教学经验,根据各学科特点,谈几点思考与探索。

关键词： 语音情感识别   特征学习   分布一致性   半监督学习  

摘要： 语音情感识别在人机交互领域具有广泛的应用场景,例如呼叫中心、移动服务等。在实际应用中,语音情感的复杂性,不仅使得需要采用高维的特征来对每个状态进行刻画,而且也令数据标注的代价高昂且费时。因此,学习具有判别性的低维语音情感特征表示,就成为语音情感识别研究的关注焦点之一。半监督语音情感特征学习作为一种主流的方法,其大体可分为两类:一是对单一来源的数据,通过利用分布一致的大量无标注数据与少量标注数据进行半监督学习。二是对多个来源的数据,通过利用无标注数据以及与之分布不一致的标注数据进行半监督学习。然而,这些方法在特征表示分布一致性的学习方面缺少深入研究,导致所学特征的判别能力不足。基于以上分析,本文围绕数据来源及分布是否一致的情况来研究半监督语音情感特征学习方法。通过子空间学习的方式,减少无关因素对语音情感特征分布一致性的影响,从而改善特征表示的判别能力。本文主要研究内容与创新工作如下:(1)针对单一数据源分布一致时的情况,试图通过将标注数据从原始特征空间有监督地投影到其稀疏子空间中,来寻找与标签信息最相关的语音情感特征表示。同时,采用既能根据不同数据分布进行灵活调整,又能对噪声和异常数据鲁棒的度量方法,来挖掘数据的真实内在结构,并学习能保留该结构以及分布一致性的语音情感特征表示。进而提出基于单源数据稀疏子空间表示分布一致性的特征学习方法。此外,还提出了一种改进的优化求解算法,以抑制传统算法在迭代过程中的振荡行为。实验结果表明,所提出的方法能够有效提升语音情感识别系统在单源数据上的性能。(2)针对多数据源分布不一致但其标签空间一致时的情况,试图借助半监督非负矩阵分解方法来为多源数据学习一个潜在的公共低秩子空间,并将标签信息整合到其对应的子空间表示中。同时,利用最大平均差异准则和局部结构保留正则,来约束多源数据公共子空间表示的边缘分布一致性。此外,为了进一步消除多源数据之间的分布差异,还提出基于自学习的条件分布估计方法,并借助最大平均差异准则来约束其公共子空间表示的条件分布一致性。进而提出基于多源数据公共子空间表示分布一致性的特征学习方法。实验结果表明,所提出的方法能够利用多源数据来改善语音情感识别的性能。(3)在基于多源数据公共子空间表示分布一致性的特征学习方法基础上,针对其无法利用标签预测与分布一致性学习之间相互促进关系的问题,试图借助标签传递的方法,将二者整合到联合学习模型中,以更好地消除多源数据之间的联合分布差异。同时,为了更好地学习具有情感判别性的特征表示,利用正交约束的半监督非负矩阵分解方法,从多源数据的公共子空间中剔除各自的个性成分,从而获得它们的共享子空间,并将标注数据的判别信息整合到该子空间中。进而提出基于多源数据共享子空间表示分布一致性的特征学习方法。实验结果表明,所提出的方法能进一步改善多源数据语音情感识别的性能。(4)针对多数据源分布及其标签空间均不一致的情况,考虑从两方面来为其学习具有联合分布一致性的子空间。首先,针对如何识别出未标注语音情感数据中已知类和未知类的问题,试图在由半监督非负矩阵分解方法得到的公共子空间中,对分类函数在未标注数据上的泛化误差进行分析,并据此得到能分离已知类和未知类数据的开集(标签空间不一致)判别子空间。同时,利用最大平均差异准则和局部结构保留正则,来约束多源数据已知类子空间表示的联合分布一致性。进而提出基于多源数据开集判别子空间表示分布一致性的特征学习方法,所学习的语音情感特征不仅具备区分已知类和未知类的能力,还能将判别信息从标注数据迁移到无标注数据上。实验结果表明,所提出的方法能够利用开集多源数据来改善语音情感识别的性能。

关键词： 异质网络   表示学习   变分自编码器   随机游走   元路径  

摘要： 网络表示学习旨在利用深度学习方法学习一种映射函数,将网络数据的复杂信息以低维向量的形式表示,以此解决大规模网络难以高效分析的问题,并为基于网络的节点分类、聚类、链路预测等相关任务提供数据结构的支撑,从而提升网络分析任务的效果和速度。传统的网络表示学习方法通常将网络中所有的节点和边视为同一种类型,针对同质性网络进行建模,相应的表示学习也称为基于同质网络的节点表示。然而,在实际应用中,绝大多数网络都属于异质网络,所包含的节点和边都具有不同的性质和类型,具有异质性特点。相对于同质网络,异质网络更能表现丰富的语义和结构信息。显然,针对不同网络任务,如果赋予各类节点和边更多的语义或结构信息,对网络任务的完成结果会有较好的改善。因此,基于异质网络的表示学习成为当前网络表示学习的研究热点。在现有的异质网络表示方法中,大部分采用元路径随机游走捕获网络的结构特点,进而结合自然语言处理模型Skip-Gram学习网络节点的低维向量表示。但这些方法忽略了节点本身和邻居节点之间的关系,这使得获取的网络结构不够精确。另外,现有方法缺乏对网络中节点真实分布信息的有效利用,这会降低节点向量表示的学习质量。针对上述问题,本文提出了基于变分自编码器的异质网络表示学习方法研究。主要研究内容如下:(1)提出了一种基于变分推断和元路径分解的异质网络表示方法。首先,通过结合路径相似度的思想,设计了基于元路径随机游走的节点选择策略,重构出异质网络不同语义下的子网络;然后,引入变分推断理论优化近似后验分布和隐空间先验分布之间的距离,以此生成对节点进行描述的节点向量序列;最后,利用注意力机制对不同子网络的节点向量表示进行加权融合,以获取网络中每个节点的具有丰富语义信息的低维向量表示。(2)提出了一种结合云模型和变分推断的异质网络表示方法。首先,利用元路径随机游走获得异质网络的结构信息;然后,结合正向高斯云算法,改进变分自编码器隐空间的采样方式,增强模型的重建能力;最后,构建自监督学习模块,加强隐空间节点向量的类别引导,将减小采样点与类中心之间距离的过程融入变分自编码器,以此促进节点表示结果与真实节点类别相互逼近,提升节点向量表示的质量。实验结果表明,本文所提模型与近些年的先进算法相比,在多组不同网络任务的实验中具有更好的性能。最后,本文搭建了一个网络分析平台,以直观展示本文模型处理实际网络的效果。

关键词： 电磁态势   知识图谱   知识表示学习   知识图谱嵌入  

摘要： 随着无线通信技术的快速发展,大量无线设备的使用在方便人们生活的同时也导致电磁环境越来越复杂。应对海量复杂的电磁态势数据,如何进行数据的存储和管理并设计有效的分析方法,快速从复杂的数据中提取有用的数据信息,对电磁态势信息进行准确的评估显得至关重要。近年来兴起的知识图谱技术,能快速构建结构化的知识库,清晰地描述不同实体之间的相互关系和概念属性,对电磁数据的管理、分析以及态势感知提供非常丰富的特征信息。本文对知识图谱表示学习进行研究,结合电磁态势数据的结构性特征提出一些创新性的改进,并运用到电磁态势知识图谱系统中。本文的研究内容和主要贡献如下:(1)针对Conv E模型在知识图谱表示学习过程中实体和关系的交互性不够的问题和特征信息提取效果不理想的问题,提出了一个基于Inception模块的知识表示学习模型Inception E。该模型首先定义了一个输入层处理模块,对输入的实体和关系进行拼接、排列、重塑和合并等操作用于提高实体和关系的交互次数;然后借鉴Inception网络的思路,使用不同尺寸的卷积核进行计算,来增加网络的感受野,更高效地提取特征信息;为了防止原始特征信息丢失,本文还引入了残差网络对模型进行进一步的优化。通过在多个公开数据集和电磁数据进行测试,本文模型的实验结果均优于当前主流算法。(2)针对电磁态势知识图谱的稀疏性问题,本文提出一个针对稀疏知识图谱的表示学习算法。首先使用Inception E模型对稀疏知识图谱的实体相似度进行计算,通过添加带置信度边的方式对稀疏知识图谱进行规范化;然后使用图注意力网络和循环神经网络分别对规范化后的知识图谱的实体和关系进行编码,最后使用Dist Mult网络对实体和关系的编码进行解码得到知识表示学习的结果。最终通过在相关数据集上与当前主流的算法进行对比,证明本文算法的有效性和实用性。(3)基于电磁态势这一实际运用场景,收集和整理电磁态势数据,开发一个完整的电磁态势知识图谱系统。该系统提供电磁知识图谱管理功能,并且结合表示学习算法完成链接预测、三元组分类运用,以及电磁态势分析的相关功能。本文设计的系统已通过相关实验测试,构建的电磁知识图谱能够运用于日后的电磁态势分析中。

关键词： 大豆基因组缺失   K近邻填补算法   软填补算法   随机森林填补算法   全基因组关联分析  

摘要： 基因芯片技术是一种能够对大量基因进行快速测量的分子生物学手段,可以在不同条件下同时获得成千上万个基因的表达水平,具有高通量的特点,又称为DNA微阵列技术。其主要过程是在一块带有DNA微阵列涂层的特殊玻璃片上安装数千或数万个核酸探针进行检测分析,由于同时将大量探针固定在基片表面上,因此可以一次性获得样品的大量基因序列,并对其进行检测和分析,在生物学和医学研究等方面具有多种不同的应用价值,为探索生命科学提供了强有力的工具。然而基因芯片实验中由于种种因素,容易受到机械原因和人为原因的限制而导致数据缺失,从而影响实验结果的分析。数据的缺失最终会影响研究结果的准确性,为了解决这一问题,需要采取合适的方法对缺失数据进行恰当的处理。目前通用的处理方式有重复测序与缺失填补两类。然而在实际分析中,重复测序由于存在操作过程复杂、实验费用高昂、耗时长、准确率和可靠性低等问题,导致该方法并不可取,同时由于缺失填补能够快速处理数据缺失,且具有操作过程简单、费用较低、准确性和可靠性高等优点,逐渐成为数据填补的主要解决方法。通过查阅大量的相关文献,发现虽然目前主流的缺失填补方法很多,但并未有一种较为恰当的方法适用于大豆基因组数据,因此本文以大豆株高与叶面积两组性状的基因组基因型数据为研究对象,进行5%、10%、20%不同缺失比例的人为数据缺失处理,分别运用机器学习中的K近邻填补(KNNimpute)算法、软填补(Soft Impute)算法和随机森林(Random Forest)填补算法对大豆基因组缺失数据进行填补,分析大豆基因型数据填补后的准确性和可靠性。为了验证算法填补的准确性和可靠性,利用sim Frame2.0工具随机缺失大豆的全基因组测序数据,采用三种机器学习算法填补缺失的基因型数据,通过均方根误差(Root Mean Squared Error,RMSE)评判机器学习算法的填补效果,并记录算法的运行时间与运行内存。引入GLM一般线性模型和MLM混合线性模型,运用遗传统计学工具GAPIT进行全基因组关联分析(genome-wide association study,GWAS),对比填充后的大豆基因组数据与对应的表型性状之间的差异,根据模型计算结果得出分析图表,判断填充前后影响大豆性状的关键因素是否一致,最后依据均方根误差与GWAS结果验证三种机器学习算法填补的准确性与可靠性,分别对比填补后的数据和原始数据的分析效果。说明不同机器学习方法在不同缺失程度的填补需求下的适用性。最后结合以上研究结果,以HBuilder为平台,使用HTML5和Python语言,根据系统的需求以及可行性进行分析,基于My SQL数据库设计出基于多种机器学习方法的大豆基因组数据填补系统,为在不同精准性和性能的情况下如何对大豆基因组数据进行填补提供精准的参考与指导。

关键词： 节点特征   节点关系   网络结构   图神经网络   贝叶斯定理  

摘要： 网络的快速发展,为人们对社会生活的研究提供了新的视角。把生物、社交及交通等信息系统建模为由大量相互交互的节点组成的网络,通过网络嵌入和分析技术,可以比传统方法更高效地发现规律和模式。然而,随着以网络为模型的关系数据集的规模不断扩大,其数据获取和分析也充斥着不确定性,基于网络的分析技术在计算和概念上也都具有挑战性。尤其是对于许多网络分析技术如图神经网络而言,网络结构和节点特征都必须是完全已知的。但在很多实际问题中,这些并不总是精确地给定的,很多网络的特征和网络结构都是领域专家基于领域知识构建的,这给模型增添了许多干扰和不确定性,包括由脏数据或者属性冗余导致的特征不确定性和不同特征对节点影响的不确定性;脏数据或数据缺失导致构建的网络结构的不确定性;忽视节点之间的关系强弱导致的节点关系的不确定性。本文将这些不确定性概括为三个方面:节点特征的不确定性、节点关系的不确定性以及网络结构的不确定性。这些不确定性问题除了导致结果准确性不够高以外,还导致基于这些网络建模的模型鲁棒性和泛化性较差。本文从这三个方面的不确定性出发,结合网络不确定性的典型应用场景,对消除网络不确定性的关键技术进行了创新性的研究和探索,具体完成的工作和贡献包括以下几个方面:1.研究了不同特征与节点标签之间影响关系的不确定性。提出一种基于贝叶斯定理的概率图模型,建模节点特征与节点标签之间的概率分布,进而通过该概率分布对节点标签的预测给出一个置信度,衡量不同特征与标签之间影响关系的不确定性。本文以特征不确定性比较突出的社交网络数据量化评估该模型,通过节点特征与节点标签之间的概率分布分析节点特征的不确定性,判断模型对该不确定性的消除。实验结果肯定了对节点特征不确定性的分析和解决思路。2.研究了不同邻居对节点影响关系的不确定性。提出一种特殊的采样机制解决邻域采样的不确定性和一种特殊的图神经网络,可以在邻域聚合时自适应地给节点的不同邻居分配不同权重解决节点关系权重的不确定性,并迭代地更新节点特征。将该模型应用到特征不确定性和网络结构不确定性相对较低的引文网络中,取得了有效的结果,其结果表明了节点关系不确定性会明显影响模型预测的有效性和泛化性,同时表明模型可以有效消除节点关系的不确定性,并有效避免过拟合。3.研究了网络结构不确定性存在的原因和解决思路,提出一种结合贝叶斯定理的图神经网络,在训练过程中利用混合隶属度随机块模型重构网络,同时针对重构网络中节点关系的不确定性,利用相关经验在训练过程中自适应地给不同邻居分配不同的权重,同时解决网络结构不确定性和与其共存的节点关系不确定性的问题。将该模型应用到网络结构不确定性突出存在的交通网络中,取得了较好的结果,解决了复杂时空网络中网络结构的不确定性和时空依赖关系的不确定性问题,并肯定了模型的先进性、有效性和高鲁棒性。4.以空中时空网络为例,研究多种不确定性混杂存在的实例中不确定性消除思路。将空中时空网络建模为异质图序列,然后用异质图级注意力机制消除空间依赖关系的不确定性,同时利用一个卷积子网,控制多头注意力机制中不同注意头提取特征的重要性,并通过训练不同权重将同质图的邻域聚合的嵌入结合起来。然后用序列级注意力机制消除时间依赖关系的不确定性。将该模型应用到多种不确定性混杂存在的案例——航班延误中,取得了较好的结果,证明了模型的有效性,肯定了消除网络不确定性对模型的贡献。综上所述,本文对消除网络不确定性的关键技术和方法进行了深入分析和研究,所提出的相关模型对提高图神经网络的有效性、泛化性和鲁棒性有重要的理论意义和现实意义,能够被应用在实际系统中,获得更高效、准确且鲁棒性高的结果。

关键词： 半监督   一致性估计   虚拟对抗扰动   聚类   生成样本  

摘要： 深度学习在计算机视觉、自然语言处理、语音信号识别等领域都取得了成功。在有限的样本下训练深度学习模型通常会遇到过拟合的问题,而增加数据量是缓解过拟合的有效手段。然而在实际中利用人工标注数据往往是代价昂贵的,因此需要设计有效的半监督学习方法利用未标记数据进一步提升模型的泛化能力。本文针对半监督分类任务,对传统的一致性估计方法进行了研究,主要研究内容如下:(1)Temporal Ensembling模型和虚拟对抗训练作为两种最新的两种半监督学习算法,在一些经典半监督学习任务中达到了最先进的精度,但是它们存在以下缺点:Temporal Ensembling模型在训练过程中使用低效的随机噪声进行数据增强,不能充分发挥模型的效果;虚拟对抗训练方法由于在推导过程中需要两次反向传播,存在时间成本较大的缺点。针对这些问题,本文将两者结合,利用虚拟对抗扰动代替随机噪声来提高模型性能,同时复用虚拟对抗扰动在不损失明显准确性的前提下加快虚拟对抗训练的训练过程,实现了两种算法的相互提升。(2)为了探究半监督学习任务中一致性估计方法的缺点,本文通过实验表明了基于一致性的方法存在以下两个问题:1)未标记样本数量大幅增加,传统方法的精度却增长缓慢,不能充分地利用大量未标记样本的信息。2)当标记样本数量不大时,传统方法的性能会快速下降。基于这两个发现,本文提出了度量学习聚类和辅助假样本两种方法来缓解以上问题。(3)在MNIST、Fashion MNIST、SVHN,CIFAR-10和CIFAR-100等数据集上验证了本文提出方法的有效性,并取得了先进的效果。

关键词： 一维卷积神经网络   心拍分类   集成学习方法   多导联输入  

摘要： 心血管疾病一直是全球所面临的严峻医疗问题之一,在我国心血管疾病死亡率甚至超过了由癌症导致的死亡率,已成为致使国民总死亡的首位因素。不断加剧的患病负担,导致医疗资源严重失衡,优质的医疗资源无法得到最大化利用,实现智能化诊疗迫在眉睫。随着医疗研究的不断进步,心电领域的智能化诊疗也成为可能。心电图作为医护人员监护心脏健康情况最直接的工具,加速心电图判读工作可以大幅提高医生的工作效率,使得现有医疗资源紧缺的现状得到缓解。基于以上问题,本文提出了一种基于集成学习方法的多通道输入心拍分类模型,可以实现七大类心律失常智能化分类识别,有助于辅助医生的心电判读工作,建立更加完善的心电监护体系。本论文的主要研究工作包括以下三个部分:1、本论文采用将多导联心电数据作为模型的输入样本。多导联心电图具备更完善的生物信息,可以提取出更多特征用于心拍分类。本文提出了应用于多导联数据的预处理方法,包括小波变换去噪、去基线漂移,以及完整心拍切割的方法。并以预处理前后的心电数据分别作为心拍分类模型的输入,对模型输出结果分析讨论从而验证预处理方法对于该模型的性能影响。2、本文提出了一种二级分层模型用于数据不均衡情况下的心拍分类识别。该模型基于一维卷积神经网络和长短时记忆网络搭建,可以实现N(正常)类、V(心室异常节拍)类、S(室上性异常节拍)类、F(融合节拍)类、Q(未能分类的节拍)类,R(右束支传导阻滞)类和L类(左束支传导阻滞)共七个类别的心拍分类。在数据集方面严格将不同病人的心电记录划分为训练集与测试集,保证数据样本相互独立从而匹配真实的医疗场景,并将上述数据集作为输入样本对二级分层网络进行对比试验,进一步优化模型结构和参数。3、本文在二级分层模型基础上提出了基于双通道输入的集成学习模型,并提出了在双通道导联输入情况下,基于加权方法的输出结果融合器。通过对单导联通道和双导联通道输入的结果进行对比实验,验证多导联数据作为输入样本的有效性。最终在测试数据集上得到的七个类别心拍分类总体准确率为93.86%。综上,本文提出的基于集成学习方法的双通道输入心拍自动分类模型可以实现数据集不均衡情况下的多导联心拍分类识别工作,学习到不同导联上的细微数据特征并融合输出,为心电智能化判读的临床应用研究提供思路。