关键词:
动态图
图表示学习
图神经网络
知识蒸馏
深度学习
摘要:
图表示学习作为一种有效提取网络特征的技术手段,已被广泛应用在各种网络系统分析中,例如交通网络中的流量预测,金融网络中的欺诈分析,以及基于分子网络的药物开发等。目前大多数关于图表示学习的研究方法主要是面向静态网络设计的。然而,在现实世界中,网络会天然地呈现出动态变化的特性,即网络拓扑结构会随着时间变化而变化,这给现有的图表示学习带来了许多新的问题和挑战。例如,动态网络中不仅包含网络的拓扑信息,而且还蕴含了网络的时间演化信息,而大多数图表示学习方法仅关注到网络的拓扑信息。此外,动态网络内部蕴含了许多高阶结构语义信息,这些信息有助于挖掘动态网络中存在的复杂多样的演化模式,如何有效地提取这些高阶结构语义信息也是当前图表示学习亟待解决的问题。并且,由于动态网络对模型信息捕获能力要求高,导致此类模型通常存在复杂度高与参量多的问题。因此,本文围绕以上问题展开了深入的研究,旨在提高图表示学习方法在动态网络下的性能表现与实现图表示学习模型的轻量化。本文的主要研究内容与贡献如下:(1)提出了一种基于边感知的时序超图卷积网络方法。针对现有面向静态网络的图表示学习难以充分地获取动态网络的时间演化信息的问题,本文设计了一种时序超图构造方法,使得所构造的超图可以同时地表示动态网络中局部结构信息和时间演化信息。此外,还引入了一种超边投影算子,用于增强模型对于时间演化信息的感知能力。最后,提出了一种边感知的时序超图卷积方法,其中包含了超边内部信息聚合与超边间的信息聚合两个阶段,以实现在时序超图上进行节点信息的聚合与传递。在五个公共动态网络数据集上的实验结果显示,该方法显著地优于现有的图表示学习方法。(2)提出了一种基于群体感知的时序图扩散网络方法。针对动态网络中高阶结构语义信息获取的问题,本文设计了一种群体亲和矩阵,用于描述网络中的群体交互,可有效地表征动态网络的高阶结构语义信息。此外,由于动态网络具有多样的演化模式,为了增强模型的自适应性与可解释性,引入了一种图transformer网络,用于建模动态网络的时间演化信息。与此同时,还提出了一种时间嵌入,用于增强图transformer网络对于时间顺序的感知能力。与八种先进的图表示学习方法相比,该方法取得了最好的性能表现。并且,通过对模型时间权重的可视化,可以观察模型具有强大的自适应能力,这也为预测结果提供了一定程度上的可解释性。(3)提出了一种基于双重对比蒸馏的模型压缩方法。针对动态网络下图表示学习模型存在复杂度高与参数规模大的问题,本文提出了一种用于压缩图表示学习模型的方法,称为双对比蒸馏。在双对比蒸馏方法中,基于师生模型框架,首先设计了一种编码器层次的对比损失,以实现从强大而复杂的教师模型向轻量且高效的学生模型的知识转移。此外,为了弥补师生模型知识转移中存在的信息损失,还引入了一种基于互信息理论的局部结构层次的对比损失,可有效地从学生模型自身蒸馏出局部结构信息。在与其他四种先进的知识蒸馏技术的性能对比结果中,该方法表现出了显著的性能优势,并且在某些数据集上甚至超过了教师模型的性能表现。