关键词： 图表征学习   社区结构   异质性   符号注意力机制   对称正定矩阵流形  

摘要： 随着互联网的普及和数据存储能力的不断提升,现实世界中的数据规模呈现出迅猛的增长。数据实体之间通过对应的关联规则相互连接,形成了庞大而复杂的网络结构(图),如社交网络、蛋白质网络和交通网络等。这些图结构数据不仅具有复杂性和高维性,还蕴含着大量未知的关联信息和隐含关系。然而,由于计算资源(例如时间资源和空间资源)的限制,要想有效地挖掘和分析图数据中的有价值信息,必须对图数据进行适当的预处理和降维操作。图表征学习作为一种新兴的机器学习技术,能够将复杂的图结构数据转化为低维向量空间中的向量表示,为后续的预测、分类等任务提供了建模基础。本文的研究着眼于利用图数据中的社区结构的特性来增强图表征学习的有效性。在图数据中,社区结构指的是图结构中的节点通常形成不同的社区,其中社区内的节点具有较高的相似性,而与其他社区的节点存在较大的差异。根据社区结构中的特征分布,图数据可分为同质图和异质图。在同质性图中,节点往往具有相似的特征,更容易形成信息的簇状结构,从而促进信息的传播。相反,在异质性图中,由于其特征分布具有多样性倾向,对图表征学习方法提出了更高的挑战。当前的图表征学习方法主要针对异质性图中的长距离依赖关系或潜在依赖关系进行建模,对复杂的图关系挖掘不充分,从而影响了图表征学习算法的性能。因此,为了克服异质性图所带来的关系复杂性,本文致力于深入研究图数据中社区结构的特性,探索更有效的复杂关系建模方法,充分挖掘和利用异质性图中的多种结构信息,以期为图表征学习在异质性图上的有效应用提供理论和方法支持。具体的研究内容和贡献总结如下: 1、本文提出了一种基于符号注意力机制的异质性图神经网络模型SAGNN,旨在有效处理异质性图中的正负关系,从而增强图表征的表达能力。在该模型中,引入了符号注意力机制,与传统的非负注意力机制相比,符号注意力机制具备自适应学习相邻节点之间复杂关系的能力。具体而言,该机制通过聚合正负邻居节点的信息,增强正向邻居节点之间的表征相似度,同时降低负向邻居节点之间的表征相似度,从而更全面地捕捉异质性图中的关联信息。此外,本研究还提出了一种精确的高阶邻域聚合方法,用于隐含地编码位置信息,进而指定不同邻域的重要性。这一方法有助于模型更准确地捕捉节点在不同邻域的局部结构特征,进而提高异质性图数据的表征能力。通过在八个基准数据集上进行大量实验,提出的SAGNN模型在节点分类和可视化任务中展现出相比基线方法更为优越的性能,验证了SAGNN在学习节点表征方面的鲁棒性和有效性。 2、本文提出了一种基于适应性深度图卷积的异质性图神经网络模型DCGNN,旨在有效处理异质性图中的环状结构,从而增强图表征的表达能力。目前,基于消息传递模式的图神经网络方法在识别异质性图中的环状结构方面存在一定局限性,即缺乏对局部子结构准确识别的能力。因此,DCGNN模型引入了一种自适应深度图卷积,以强化消息传递神经网络对环状结构的识别能力。自适应深度图卷积通过对局部高阶邻域的自适应聚合,取代了当前消息传递框架中简单堆叠的一阶卷积层。这种深度图卷积的自适应性能够更准确地捕捉异质性图中复杂的结构信息。此外,本研究从理论上证明了DCGNN相较于当前消息传递神经网络具有更为显著的表达能力。通过在八个真实世界的基准网络数据集上进行的实验证明,DCGNN模型在处理异质性图方面的性能超越了多个专为异质性图设计的图神经网络方法。 3、本文提出了一种处理异质性图的图神经网络模型SPDGNN,旨在有效地处理异质性图中的层次结构,进而增强图表征的表达能力。该方法探索了在一种非正曲率矩阵流形上进行图嵌入的可能性。对称正定矩阵流形是一种黎曼几何空间,理论上包含了欧几里得和双曲射影子空间,具有丰富的几何结构和卓越的计算效能。本研究中设计了在对称正定矩阵流形上的图神经网络模型,包括特征变换层、信息聚合层、非线性激活层和多类逻辑回归。这一模型利用对称正定矩阵流形的特性,提升了对异质性图中层次结构的建模效果。通过在九个真实复杂网络数据集上进行的广泛实验,本研究验证了SPDGNN模型相对于采用欧几里得几何和双曲几何的图神经网络模型,在处理包含层次结构和网格结构的复杂网络建模方面的卓越性。

关键词： 小样本学习   迁移学习   图像分类   自监督学习   模型剪枝  

摘要： 深度学习的成功受益于大量标注数据,然而现实世界中部分领域的数据获取和标注是昂贵且耗时的,因此小样本学习的研究具有重要意义。目前小样本图像分类算法主要依赖在预训练阶段借助大量数据学习可迁移知识的迁移学习范式。然而,基类训练数据和新类测试数据的类别不相交,样本量存在巨大差距,模型存在泛化性差和知识迁移困难的问题。特别是在使用深层神经网络解决小样本问题时,除了模型训练效率低之外,还存在过拟合问题。本研究以mini Image Net和FC100两个小样本数据集作为实验数据集,从训练可迁移的模型和训练小样本场景下的深层模型两个角度展开研究,主要研究内容如下: (1)针对模型知识迁移困难、泛化性差的问题,本研究从知识的角度重新审视预训练监督学习在小样本图像分类任务中的作用,指出被监督学习忽略的两种关键知识,即样本间的关系知识和类别无关知识。本研究提出了一种新颖的多任务联合训练机制来学习更丰富的泛化特征,知识蒸馏技术和旋转预测任务被应用在预训练阶段辅助模型学习通用的、可迁移的知识。其中,知识蒸馏技术有助于浅层网络学习深层网络中的关系知识,自监督的旋转预测任务为监督任务提供与类别无关的知识。在mini Image Net数据集的实验结果表明,优化特征表示后的模型在5-way 1-shot和5-way 5-shot分类任务上分别取得4.56%和5.82%的平均准确率提升。本研究提出的优化算法解决了监督学习中模型知识学习能力不足的问题,提高了模型泛化能力,在与现有方法的公平比较中展现出有竞争力的结果。 (2)针对深层神经网络在小样本学习中过拟合、训练效率低的问题,本研究提出了一种基于彩票假说的早期剪枝方法。首先提出了一个搜索过程,通过迭代剪枝技术搜索深层神经网络的中奖彩票,证明彩票假说在小样本图像分类任务的有效性。基于剪枝自感知(prune-aware,PA)策略和混合精度(mixed-precision,MP)训练策略的早期剪枝方法被用于提高搜索中奖彩票的效率。PA策略采用交并比作为网络关键连接模式的相似度衡量标准,实现剪枝的自动感知。MP策略通过混合精度训练加速模型重训练过程。在mini Image Net数据集上的实验证明,本方法能够将深层神经网络的参数量减小84%,同时训练效率平均提升了2.26倍。由于迭代剪枝得到中奖彩票网络具有稀疏性,过拟合问题被缓解,在下游分类任务中取得平均1.39%的准确率提升。早期剪枝方法将中奖彩票的搜索过程加速了21.5～30.1倍,实现了可靠中奖彩票的快速识别。

关键词： 电子致密物   肾小球滤过屏障   深度学习   主动学习  

摘要： 肾脏超微病理图像,是对肾脏组织进行透射电子显微镜(transmission electron microscopy,TEM)成像的图像,它展示了肾脏组织超微结构的细节,特别是肾小球滤过屏障(glomerular filtration barrier,GFB)和电子致密物(electron dense deposit,EDD)。观察GFB或EDD的改变对于诊断特定肾病至关重要。然而,传统的图像分析依赖于病理医生的目视评估,十分耗时。随着深度学习技术的发展,EDD的自动化目标检测和GFB的自动化语义分割成为可能,但其性能受限于缺乏高质量的标记数据。为此,本研究引入主动学习方法,旨在挑选少量样本实现最有效的模型提升。本文针对肾脏超微病理图像中的电子致密物与肾小球滤过屏障,展开以下三个方面的工作: (1)利用主动学习对电子致密物进行目标检测。提出了一个结合不确定性和多样性度量的目标检测主动学习方法,首先利用模型对图像数据扩增前后的预测不一致性来计算图像的不确定性,然后进行样本聚类,引入多样性度量,这种方法可以挑选出不确定性和多样性综合较强的样本。研究结果表明,在EDD目标检测任务上,对比其他主动学习方法,本研究可以达到挑选少量样本有效提升模型性能的效果。 (2)利用主动学习对电子致密物检测数据集进行标签清洗。考虑到病理学家精力有限,大部分样本被迫依赖于非专家的标记,容易引入噪声,因此本研究提出了一个适用于EDD检测数据集的标签清洗方法。利用干净的标签构建清洗模型,并迭代地使用查询策略挑选不确定性较高的样本用于校正,然后,利用构建好的清洗模型对剩余噪声标签进行标签校正,识别出简单噪声由模型自动校正,而复杂噪声交由病理学家校正。研究结果表明,本研究对比其他噪声处理方法有着显著的优势,可以有效提升病理学家的校正效率,节省标记成本。 (3)利用主动学习对肾小球滤过屏障进行语义分割。考虑到主动学习初期缺少标记样本,本研究提出了一个基于多样性的冷启动策略,在不访问任何标记的情况下挑选用于模型初始化的样本。首先利用自监督网络为所有未标记样本生成特征,并采用聚类算法选择最多样化的样本用于标记。研究结果表明,本研究超越了冷启动基线的结果,可以有效挑选出模型初始化所需的样本。

摘要： 重视学习、善于学习是中国共产党的优良传统。推动学习贯彻习近平新时代中国特色社会主义思想主题教育走深走实，切实以学铸魂、以学增智、以学正风、以学促干，关键在于坚持科学的学习方法。对于党员干部“如何学”，习主席作出一系列重要论述，为我们准确掌握学习方法提供了根本遵循。学习不能泛泛而学，要有正确方向。习主席郑重指出：“领导干部学习，要正确把握学习的方向。忽视了马克思主义所指引的方向，学习就容易陷入盲目状态甚至误入歧途，就容易

关键词： 情境互动   幼儿园   幼儿教育   师幼互动  

摘要： 当前传统的教学模式正面临现代化教育理念的挑战，其局限性日益凸显，教师亟须探索并实施教学方式的改革创新，以适应新时代的教育需求。通过情境互动模式的应用，可有效减少幼儿教学问题产生，充分调动幼儿参与教学活动的积极性，促进整体学习水平提升。本文从情境互动教育的应用意义入手，剖析了幼儿教学的现存问题，并提出情境互动模式的创新应用策略，以期通过革新情境教学理念、丰富教学情境、促进师幼互动等方式，充分发挥情境互动的教学优势，为幼儿有意义、科学高效学习提供强大支撑。

关键词： 多模态情感识别   时间注意力机制   自监督标签生成   特征增强聚合   跨模态图融合   无监督自编码器  

摘要： 多模态情感识别是一项前沿研究领域,它集成了多种传感器和数据源,如语音、文本、图像和视频等。这种多模态情感组合的表达方式,能够更全面地理解和解读人类情感。本文聚焦近年来多模态情感识别领域的两个核心问题:(1)如何有效结合模态间的情感一致性信息和差异性信息;(2)各模态间存在着语义鸿沟现象以及信息密度差异,并且呈现出复杂的多关系特点,以往的方法仅能建模特征间的时间序列关系,无法对其空间及结构关系进行建模。针对以上两个问题,分别提出了以下两种算法: (1)提出了一种结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别方法(TAM-ULAG)。单模态标签自动生成策略(ULAG)通过计算每个模态与其他模态向量之间的注意力分数生成标签,为模型生成标签提供了更灵活的机制;其次,还通过引入时间注意力机制(TAM)模块学习提取到的各模态时间序列信息,获得不同时间序列的权重;最后,通过对这些权重进行聚合,获得最终的时间序列特征向量;此外针对语义空间的每个维度,提出了逐语义维度的细粒度多模态特征融合方法。该方法充分建模多模态特征序列的交互作用,使得融合后的特征更具丰富的语义表达能力。实验结果表明,TAM-ULAG与当前先进模型的指标相比均有所提升,对于二分类识别准确率,在CMU-MOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,在CH-SIMS数据集上达到81.47%。 (2)提出了一种注意力聚合驱动的特征增强与跨模态图融合的无监督多模态情感识别方法(AAT-CGF)。注意力聚合驱动的Transformer(AAT)利用文本特征的高级语义特性,将文本模态作为强模态,分别对视觉模态和音频模态进行增强。引入小部分“注意力聚合块”的潜在融合单元,对每个模态的信息进行压缩,减少语义密度差异及特征冗余现象,避免了语义鸿沟出现。其次,设计了一种无监督编解码器模块,通过使用多个独立的编解码器提取多模态异构特征,并利用无监督训练减少输出特征间的异构性。最后,针对跨模态图融合(CGF)提出了一种新的跨模态图构建方法,针对不同模态采用相对应的节点和连接边构建方式,并通过特征相似性阈值法建立跨模态边。将设计好的跨模态图送入到多模态图Transformer来建模多模态间长距离依赖关系,增强模型的表达能力。通过大量实验分析及验证,AAT-CGF模型对于二分类识别准确率在CMU-MOSI数据集上为87.27%,在CMU-MOSEI数据集上为86.01%,在CH-SIMS数据集上也达到81.73%。实验结果表明,我们的模型使得模型能够充分学习多模态情感特征,提高了多模态情感识别方法的性能。

摘要： 模块化学习方法将学习内容划分为若干个模块，学生按照一定的顺序和方式进行学习，以达到掌握知识、提高素养的目的。传统教学把学习内容视为知识点的组合，课堂教学是进行碎片化的知识和技能的传授。模块化学习的开展，打破了传统课堂重知识传授、轻核心素养培养的束缚，基于核心素养下的模块化学习对教学内容实行单元章节统筹安排，对碎片化知识进行有机整合。模块化学习已成为当今新课改背景下课堂教学规范转型的必然需求。

关键词： 深度学习   野生鱼识别   开集识别   细粒度分类   融合激活模式   多模态特征融合  

摘要： 野生鱼识别是海洋生态学研究的一个基本问题,对于生物多样性保护、海洋信息化建设、智慧化海洋资源开发等方面均具有重要意义。鉴于海洋野生鱼的多样性且存在大量的未知图谱,野生鱼识别属于开放集细粒度识别问题。由于传统方法识别过程较复杂且准确率不理想,本文基于开集多种类识别和闭集精细化分类两个角度构建了野生鱼细粒度图像识别的深度学习模型。主要研究内容如下: 针对野生鱼开集识别任务中的开放风险性、特征多样性和复杂性等问题,本文提出了基于融合激活模式的开集多种类识别网络WildFishNet。首先,通过叠加多种注意力机制来强化通道信息关联、抑制背景信息干扰,并采用神经结构搜索(NAS)技术组合特征提取主干。同时,Softmax算法利用概率正相关性进行初步分类,Openmax算法根据极值理论(EVT)重新拟合分布以纠正激活向量,最终串联两种激活模式结合决策阈值实现高精度识别。此外,考虑到开集风险性构建了基于特征距离的混合损失函数。其中,交叉熵损失函数保留类别间的可分性,同时引入中心损失来优化类内特征间距为未知类预留足够的开放空间。最终在公开数据集Wild Fish上设置开集样本,通过参数评估、收敛性分析并与多种方法在不同维度开展了对比和消融实验。实验结果表明了WildFishNet在开集多种类识别中具有很强的鲁棒性和有效性。 针对野生鱼特征的类内变异性和类间相似性等现象,本文借助多模态融合的思想设计了基于卷积神经网络和循环神经网络的细粒度分类模型PairNet。该模型使用了Efficient Net-B0和BiLSTM两种最优网络框架并行地对图像和文本数据进行建模。然后,通过所提出的特征融合模块在多个的逻辑子空间中捕捉不同模态序列间的关联性,并利用MLP模块增强特征的非线性表示。其中,多头交叉注意力模块根据文本语义特征来关注图像的局部区域以弥补视觉单模态特征的不足从而有效提升分类精度。最终,实验结果表明该方法能够有效提取细粒度图像更有辨识度的特征。同时广泛的对比进一步验证了所提出分类模型的优越性。