关键词:
神经网络
图结构
表征学习
图神经网络
结构编码
摘要:
传统神经网络通常设计用于处理规则的欧几里得空间数据,如图像和语音等,而这些数据的邻接关系通常是固定的、结构规整的。在这些规则数据上,卷积神经网络表现优异,尤其在图像分类、目标检测和语音处理等任务中。然而,当面对图结构数据时,传统神经网络模型却难以有效捕捉动态且不规则的节点关系。图神经网络的出现为解决这一挑战提供了新颖的视角。通过邻域聚合机制,图神经网络能够逐层更新每个节点的表示,同时整合其邻居节点的信息,从而更加有效地学习图中复杂的拓扑结构。这种机制不仅使图神经网络适应了图数据的多样性和灵活性,还能够在处理不规则图结构数据时表现优异。为了更好地服务于科学与工业,研究人员需要将图神经网络更多地应用于各个领域。具体的讲在社交网络分析中,图神经网络通过精准的用户行为预测提升了社交媒体的用户体验;在生物医药领域,图神经网络促进了药物分子结构建模和新药研发的效率;而在推荐系统中,图神经网络则通过深挖用户与物品之间的关系,显著提高了推荐效果。此外,图神经网络在交通管理、化学分子建模以及金融风险控制等领域也展现了强大的应用潜力,推动了这些行业的智能化与高效发展。然而图神经网络本身在各个方面尚且存在缺陷,在节点级别任务上,图神经网络本身存在深度下性能衰减的问题,在图级别任务上,图神经网络的表达能力与结构感知能力也收到挑战,在各类下游任务中,图神经网络的具体设计也尚未达到一个最优的效果。为了解决这些问题,本文从几个方面来深入研究并改善图神经网络在具体任务上的表现,本文的主要工作及创新点如下所示:
(1)传统的浅层GNN模型在处理复杂图结构任务时存在显著局限性,随着模型深度的增加,信息传递的复杂性也随之上升,导致过度平滑(oversmoothing)问题的出现,使得节点表示趋向收敛,难以保留节点间的细微差异,从而影响分类性能。本文创新地提出了一种新型的Layer Sniffer图神经网络(LSGNN)模型,该模型通过引入Layer Sniffer机制来密集且自适应地聚合不同感受野的邻域信息,从而有效应对过度平滑和信息获取不足的问题。该机制结合了锥度系数和层注意力得分,强调了在各层中节点表示的紧密程度以及全局层级信息的关注,增强了模型在处理复杂图结构任务中的表现力。
(2)尽管GNN已成为图结构数据处理的主流方法,其基于消息传递的范式受限于1-WL同构测试的能力,无法有效捕捉许多在下游任务中至关重要的子结构特征。这种表现力的不足限制了GNN在多个领域(如化学信息学、生物信息学、交通系统等)的广泛应用。本文创新地提出了一种新的子图提取策略和基于子图编码的图神经网络框架——Substructure Aware Graph Neural Network(SAGNN)。本文引入了Cut子图的概念,通过有选择性地移除边来保留图的关键结构信息,从而有效解决图同构问题。同时,采用扩展的随机游走方法来编码子图的结构信息,显著降低了时间复杂度,并提升了模型的表现力。通过将子图的结构信息注入到GNN的表示学习过程中,SAGNN在不显著增加计算复杂度的情况下,显著提高了模型在各种任务中的性能。
(3)事件相机的核心优势在于其能够以极高的动态范围和时间分辨率处理稀疏和异步的数据流,这使得其在低延迟和低功耗方面具备显著的优势。然而现有神经网络架构大多未针对稀疏和异步数据流进行优化,通常需要将事件流转换为稠密图像帧,这一过程不仅导致信息丢失,还增加了计算负担和延迟。本文创新地提出了一种新的异步脉冲图卷积网络(ASGCN),为图表示学习提供了全新的方法。这一网络设计首次将脉冲神经网络应用于实际的图级任务,通过将事件流建模为图结构,利用子图提取策略实现了高效的计算。此外,本文构建了一个完全事件驱动的处理管道,能够直接处理原始神经形态数据,有效保留事件数据的稀疏性和异步特性。
(4)EEG信号作为脑机接口(BCI)系统的核心数据源,具有丰富的时空信息,但由于其数据复杂性和高维特性,传统的信号处理方法(如PCA和SVM)难以有效捕捉其内在结构。图神经网络因其在处理结构化数据(如EEG电极之间的时空关系)方面的优势,成为解决这一问题的潜在方案。通过建模不同EEG电极之间的连接结构,GNN可以捕捉到更加复杂的空间交互信息,有助于提升特征提取的精度和模型的可解释性。本文创新地提出了脉冲图注意网络(SGA),该模型不仅利用脉冲神经网络的稀疏性来降低功耗,还通过图卷积与注意力机制捕捉复杂的时空特征,从而显著提升了EEG信号处理的效率与可解释性。