关键词： 大图   数据收集   数据更新   静态图表示学习   动态图表示学习  

摘要： 为了应对Web2.0时代下快速产生的海量数据,大数据获取、存储与计算能力得到全面快速的提升。大图包含海量节点和边,是表达与存储信息的工具,能够承载互联网上许多流行应用和服务中的复杂信息,广泛用于社会舆论治理、投资与金融服务、自动化公共安全管理、城市区位规划与智能生活等领域,发挥着越来越重要的作用。因此,基于大图的研究成为重要的研究方向。其中,大图数据获取及表示学习是研究的关键,也是大图数据分析的基础。大图获取是大图分析的首要环节,为各类大图研究提供数据保障。大图表示学习能够解决大图相关的链接预测、节点分类、社区发现以及演化分析等问题,并以此实现众多应用中的信息服务,同时也是生物学和社会学等学科有力的数据分析手段。本文充分考虑大图的海量性、广分布性、多样性、不确定性和时效性特点,研究大图的获取与表示学习方法。 第一,针对大图数据获取问题,考虑大图的海量性、广分布性、时效性和不确定性(结构未知),提出自适应、并行的大图数据收集与更新方法。为了能够优先收集大图中需要的目标信息,本文采用半蒙特卡洛(Quasi Monte Carlo,QMC)采样技术,得到大图不同区域的重要程度,再使用分支限界法自适应地选取重要的区域,优先收集大图中的目标信息。接着,为了保持已收集大图数据的时效性,本文将已收集数据的统计结果与对大图变化的采样结果相结合,实现大图数据的自适应更新。最后,基于Spark并行计算框架实现了所提出的数据收集和更新方法,并将大图数据使用统一资源描述框架进行存储。实验结果表明,本文提出的方法在社交媒体、网页链接和知识图谱大图上都能够从全局出发高效收集和更新目标数据,具有较高的可扩展性,可为其上的大图分析提供有力的数据保障。 第二,针对静态大图上的表示学习问题,考虑大图的多样性和海量性,提出能够有效利用大图全局信息的表示学习方法。由于全局信息中的噪声和处理全局信息的巨大计算成本,现有方法对大图全局信息利用不足。为了更全面的发现和利用大图全局信息生成节点表示,本文采用并扩展了疾病传播理论中的“易感-感染-恢复”模型将节点的特征建模为影响并得到包含节点最相关局部和全局信息的封闭子图。同时,本文提出基于平均场理论的压缩方法,通过引入虚拟边将上述子图压缩为节点较少的虚拟子图,以较低的计算成本利用大图全局信息。最后设计循环图神经网络模型生成节点的表示,并用多关系大图上的链接预测任务来测试节点表示对大图多样关系的表达能力。实验结果表明,在社交媒体、知识图谱和生物蛋白质交互网络三类静态多关系大图上,生成的节点表示在链接预测效果上较现有方法有可观的提升,在多样性明显的知识图谱上尤为突出。同时,虚拟边的引入使模型能在几乎不影响节点表示质量的前提下,显著降低模型的训练成本。 第三,针对动态大图表示学习问题,考虑大图的时效性和不确定性,提出支持稀疏变化的大图动态表示学习方法。尽管最新的研究使用细粒度的点过程模型描述节点的变化趋势,但如果某时刻数据样本量不足,现有方法将很难捕捉当前节点的状态和变化趋势,导致生成的节点动态表示不够准确。自适应共振理论对人脑在动态环境下的信息处理过程进行建模,能够模拟人脑在瞬时数据样本不足的情况下学习和处理信息的过程。本文深入分析了该模型处理信息的过程,首先利用现有图神经网络中的操作和记忆网络重新设计了自适应共振理论模型,通过显式地记忆大图中节点的动态特征,更有效地捕捉和存储节点的变化趋势。然后,运用该模型中的共振搜索机制更充分地利用已记忆的节点特征,在瞬时数据样本不足的情况下生成更准确的节点表示。实验结果表明,本文方法在大图演化分析、动态社区发现和大图增量预测三个重要的任务上都有更好的表现,即使在瞬时样本不足时也能有效利用记忆,通过共振搜索生成更加准确的节点动态表示。

关键词： 遥感图像全色锐化   深度学习   卷积神经网络   残差模块   信息蒸馏   感知损失  

摘要： 遥感图像常被用于工农业生产等领域的研究,而在研究领域中,遥感图像需要同时具备较高的空间分辨率和光谱分辨率。而大多数的遥感卫星携带两种传感器分别获取两种信息互补的图像,多光谱传感器获取多光谱(Multispectral,MS)图像,全色传感器获取全色(Panchromatic,PAN)图像。由多光谱传感器获取的MS图像具有多个通道,每个通道都含有不同频谱范围的光谱信息,但是空间分辨率较低,由全色传感器获取的PAN图像是仅有一个通道的高空间分辨率图像,频谱范围较大,所以基本不含光谱信息。由遥感卫星直接获取兼具这两种优点的高分辨率多光谱(High Resolution Multispectral,HRMS)图像受到了技术和经济方面的限制,需要通过全色锐化的方法获取。遥感图像的全色锐化(Pan-sharpening)任务是通过PAN图像去锐化MS图像,将空间细节信息和光谱信息相结合,得到全色锐化图像,含有两种信息的图像不仅拥有较高的空间分辨率,也拥有多光谱信息。 深度学习作为一个强大的工具被广泛应用于不同的领域,在各个领域中均能达到非常好的效果。在全色锐化任务中,基于深度学习的方法已经成为了最近几年主流的研究方向,各种各样的全色锐化网络被提出,其重建的图像相比于传统的全色锐化算法无论是空间质量还是光谱质量都得到了很大提升,这也证明了深度学习的强大之处。虽然深度学习的全色锐化网络取得了不错的成绩,但是仍然存在一些问题,(1)不能有差别的处理不同种类的信息,没有有效的将不同信息提取出来,使得光谱信息和细节信息没有被区别对待,相似的方法提取出的特征也不会有很大差异,不利于特征的融合和重建,(2)PAN图像和MS图像的特征没有充分融合,且随着深度的加深网络成本也变得更高,简单的融合不能发挥出这两类图像各自的优势,融合后的特征也仅仅是简单的相加或者连接,不利于重建出高质量的锐化图像,(3)PAN图像中的细节信息没有充分利用,没有把PAN图像的细节信息加入监督之中,PAN图像的细节信息对于锐化结果十分重要,且仅将参考的HRMS图像作为监督图像使得锐化结果不符合肉眼的感知。 本文为解决上述问题,提出了三种遥感图像的全色锐化网络。实验表明本文提出的网络在不同数据集上和现有的全色锐化算法相比,无论是主观评价还是客观指标都能产生更优的结果。具体内容如下: (1)针对不能有差别的处理不同种类的信息,没有有效的将不同信息提取出来的问题,本文提出了双分支残差特征提取网络。利用两个不同的分支分别提取两类图像中不同种类的信息,将含有不同信息的特征多次融合,能更加充分的把不同尺度的信息融合起来。残差模块提取PAN图像空间细节信息,所提出的残差特征提取模块负责提取MS图像中的信息,并且接收细节信息的注入,该模块将不同层次的信息融合起来,发挥了残差结构的优势。最后通过重建模块将特征重建为HRMS图像。 (2)针对PAN图像和MS图像的特征没有充分融合,且随着深度的加深网络成本也变得更高的问题,本文提出了双重信息蒸馏网络。首先利用两个独立分支分别提取PAN图像和MS图像中的信息,然后输入到双重信息蒸馏模块进行信息的融合,最后通过重建部分重建出HRMS图像。双重信息蒸馏模块利用信息蒸馏的思想将特征的一方面保留,另一方面送入网络中去,这样使得PAN图像中的信息和MS图像中的信息充分融合,且可以减少网络的成本。 (3)针对PAN图像中的细节信息没有充分利用,没有把PAN图像的细节信息加入监督之中的问题,本文提出了基于细节提取的双重信息蒸馏网络。在双重信息蒸馏网络的基础上,添加了梯度信息提取模块,能更有效的提取PAN图像分支的细节信息,在普通的L1损失函数基础上,添加了联合感知损失,图像输入预训练的VGG网络提取感知信息,将PAN图像和重建的HRMS图像的感知信息的损失加入损失函数,将重建的HRMS图像和参考的HRMS图像的感知信息加入损失函数,不仅将PAN图像的感知信息加入了监督,而且将参考的HRMS图像的感知信息也加入监督,这样重建出来的HRMS图像更符合眼睛的感知。

关键词： 超硬   碳结构   第一性原理计算   晶体结构预测   机器学习方法  

摘要： 随着科技的快速发展,功能材料已经广泛应用于现代工业的各个领域之中,新型功能材料的结构设计与合成是目前材料科学的研究热点之一。本文采用基于CALYPSO的晶体结构设计技术,首先结合只限定原子数的直接搜索方法,发现了一个具有直接带隙的新型大胞超硬碳晶体结构Fmmm-C80。然后采用功能材料反向搜索方法,在使用CALYPSO搜索晶体结构的过程中,设定带隙为每一代结构中的二次筛选目标参数,最终发现了一个新型单斜超硬碳晶体结构C12,最后本文使用机器学习方法训练了预测碳晶体结构的弹性模量的机器学习模型,紧接着用机器学习模型代替功能材料反向搜索进程中的VASP性质计算过程,从而加速超硬碳晶体结构的反向设计流程。本文主要研究成果如下:1.利用CALYPSO软件和密度泛函理论提出了一种新型的全sp3杂化的正交超硬碳相Fmmm-C80（空间群:Fmmm）。Fmmm-C80相的单胞包含80个碳原子,这表明它是一个大胞结构。本文通过计算Fmmm-C80的相对于金刚石的焓,分子动力学模拟,声子谱,和弹性常数证实了新结构的热学稳定性和机械稳定性。通过使用PBE泛函和HSE06杂化泛函计算Fmmm-C80的电子能带结构发现,新相的HSE06水平的带隙为4.11e V,且表现为直接带隙,这证实了Fmmm-C80具有半导体特性,并且有成为未来的工业半导体材料的潜力。Fmmm-C80的维氏硬度为51 GPa,这意味着Fmmm-C80有潜力成为超硬半导体材料。2.通过使用无偏晶体结构搜索方法结合密度泛函理论计算,本文继续基于CALYPSO软件,使用功能材料反向设计方法提出了一种新型的超硬碳晶体结构C12（空间群:C2/m）。C12相在sp2-sp3杂化键合网络中具有12个原子的单胞。本文通过计算新相的相对于金刚石的焓,弹性常数,和声子谱,确定了C12相在环境压力下的机械和热学稳定性。本文分别使用PBE泛函和HSE06杂化泛函计算出的C12的电子能带结构表明C12相是窄间接带隙半导体,并且证实了C12相虽然在PBE水平的能带结构表现出金属性,但在HSE06级别的能带结构上表现为窄的间接带隙。C12的硬度为67 GPa,这意味着C12是潜在的超硬窄带隙半导体材料。3.基于无偏晶体结构搜索方法,使用机器学习方法代替密度泛函理论（DFT）计算来预测碳材料属性,从而加速了超硬碳材料的搜索进程。首先从Samara Carbon Allotrope Database（SACADA）数据库中获得了可用的碳晶体结构后,再基于高通量计算方法建立了碳材料数据集。基于数据集,本文训练了一种专门预测碳结构弹性模量（体模量,剪切模量,和杨氏模量）的机器学习（ML）模型,通过与AFLOW-ML的模型比较发现,新模型在预测碳同素异形体的弹性模量方面,具有更高的精度。然后,在CALYPSO功能材料反向搜索进程中,本文用ML模型代替VASP去预测结构弹性模量,从而加速了搜索具有高杨氏模量的碳结构的进程。最后,本文基于该方法,提出了一种新的碳同素异形体,名为Cmcm-C24,其硬度大于80 GPa。Cmcm-C24被确定为具有直接带隙的半导体,且声子谱和弹性常数的计算结果表明Cmcm-C24具有机械和热学稳定性。

关键词： 拥塞控制   强化学习   深度学习   深度Q网络  

摘要： 随着网络终端数量爆发式的增长和带宽的不断提高,网络环境变得越来越复杂,当前主流的拥塞控制算法已经无法满足网络环境的要求,这为网络拥塞控制算法的设计带来了新的挑战。因此,开发出能够适应当前网络环境的新的算法已经是网络技术领域的重要课题。目前网络拥塞控制算法主要存在两方面的不足:一是拥塞窗口大范围波动,以及由此导致的丢包和高往返时延(Round-Trip Time,RTT);二是传统拥塞控制算法大都基于固定的窗口调节规则,无法从数据链接的历史信息中学习以改善窗口调节策略。以上不足导致传统拥塞控制算法在高带宽时延积(Bandwidth-Delay Product,BDP)网络下的性能表较差,无法充分利用带宽。首先,本文针对传统拥塞控制算法的拥塞窗口大范围波动和平均吞吐量低的问题。提出了一种基于Q-Learning的RL-TCP网络拥塞控制算法。它使用Q-Learning作为决策中心来替代传统算法固定的决策规则。从而能对复杂网络环境进行自适应,在高带宽时延积网络中性能表现良好同时有较低的RTT。实验表明,RL-TCP算法较传统拥塞控制算法在性能方面有着7%-11%的提高。在此基础上,针对RL-TCP算法执行效率较低,同时在数据流开始时加窗缓慢,影响平均吞吐量的问题,本文提出了基于深度Q网络(Deep Q Network,DQN)的网络拥塞控制算法DQN-TCP。通过使用DQN来代替QLearning算法进行决策来提高算法的效率;同时改进了网络状态参数的选取和效用函数的设计,提高了性能并且降低了窗口波动性。在NS-3模拟环境中的实验表明,DQN-TCP算法在效率方面有大幅提升,且拥塞窗口能更快的达到较高水平并保持稳定。最后,本文在DQN-TCP算法下对不同网络状态参数和奖赏函数对算法性能的影响进行了对比实验,分别选取了不同的网络参数和奖赏函数在同一网络环境下进行对比,从而说明不同参数对于实验结果的影响。

关键词： 能源材料   二维材料   固态电解质   第一性原理   机器学习  

摘要： 在碳达峰、碳中和的目标背景下,为缓解对不可再生能源的需求和依赖,减少碳排放,寻找新的储能和换能材料是目前科学研究领域的重中之重。本文基于对能源材料开发的迫切需求,结合第一性原理计算和机器学习势函数等方法研究了几种具有代表性的能源材料并提供了其应用的理论支持。论文主要研究内容包括:(1)二维SiTe材料的热电性质研究。设计了四层结构的QL-SiTe、类黑磷烯结构的α-SiTe和类蓝磷烯结构的β-SiTe结构,研究了三种材料的电子、声子及热电输运性质。计算表明β-SiTe具有较高的Seebeck系数及热电转换功率。强声子散射使得QL-SiTe和β-SiTe具有低晶格热导率。通过适当的n型和p型掺杂,β-SiTe在1300 K的高温下可以获得0.95左右的热电优值,是一种非常有潜力的高温热电材料。(2)应力调控二维InSe电子和声子输运性质研究。计算出二维InSe的载流子迁移率可达1000 cm2V-1s-1以上,具有很好的电子输运能力。研究表明应力对包括有效质量、载流子迁移率等在内的电子性质影响有限,但能显著增强声子的非谐性散射。随着拉伸应力的增加,声子散射率升高,声子群速度和热容明显下降,进而导致热导率从无应力状态下的25.9 W/mK下降至6%应力时的13.1 W/mK。(3)二维Ⅳ-Te体系的准粒子能带及激子效应研究。研究表明,除PbTe外,其他Ⅳ-Te单层都是间接带隙半导体,并且电子有效质量相对较低。二维Ⅳ-Te的激子效应研究表明电子空穴相互作用对其光吸收谱影响显著,其中二维SiTe的激子结合能可达0.598 eV。此外,从二维SiTe到PbTe,不同方向上的准粒子带隙、光学带隙和激子结合能的差异逐渐缩小,物理性质呈现各向同性的趋势。原子键合状态分析显示,随着原子序数的增大,Ⅳ-Te结构中离子键贡献增加,更多的电子局域在Te原子周围,而未成键的Te与Ⅳ原子之间的库仑排斥力减弱,使得结构变得更加各向同性,进而导致趋于各向同性的物理性质。(4)基于机器学习方法的Li7La3Zr2012(LLZO)固态电解质研究。构建了 LLZO、Al掺杂和Ga掺杂LLZO结构的第一性原理能量的数据集,并通过人工神经网络训练得到具有第一性原理计算结果的准确性、可用于大规模原子体系模拟的势函数。通过与DFT计算结果对比验证发现,训练得到的Al-LLZO和Ga-LLZO势函数的RMSE值分别为6.42 meV/atom和9.08 meV/atom。将其用于分子动力学模拟,计算得到Al-LLZO和Ga-LLZO体系的锂离子电导率与实验结果吻本论文主要创新点包括:(1)预测二维β-SiTe材料是一种性能优良的高温热电材料,并且其n型和p型半导体材料在适当的掺杂下,表现出优异的热电转换性能,可以用于热电转换元器件的应用。(2)通过计算二维Ⅳ-Te材料的准粒子带隙和光学性质,发现了其晶体结构和物理性质变化的各向同性趋势,揭示了这一变化趋势背后的物理机制。(3)结合神经网络建立了具有第一性原理计算准确性的LLZO固态电解质势函数,并将其用于大规模原子体系的分子动力模拟,该势函数与实验测量得到的数据结果吻合较好。

关键词： 时空数据挖掘   时空网格数据预测   时空图数据预测   时空事件预测  

摘要： 时空数据预测是时空数据挖掘领域的核心研究问题之一,在交通、气象、医疗等领域具有重要的应用价值。面向交通领域中不同类型的时空数据设计合适的学习模型服务于实际应用场景中的各类预测任务,可以辅助实现交通系统的智能化,提高交通系统的运行安全和运营效率,提升交通参与者的体验。在推进现代智能交通系统发展的过程中,随着日益增长的对数据预测的迫切需求,如何实现准确的时空数据预测是一个亟待解决的重要问题。传统的数据建模方法和预测模型无法有效学习各类时空数据中蕴含的关键模式,如相关性模式、周期性模式、异质性模式等,导致预测结果不够准确无法满足实际应用需求。本文以交通场景中不同类型的时空数据预测需求为导向,针对不同类型的时空数据的特点,提出了一系列创新性的时空神经网络预测模型,分别用于包括时空网格、时空图和时空事件三类时空数据的学习与预测。论文的主要创新性研究包括:1.面向时空网格数据预测任务,为了有效学习时空网格具有的时空相关性和异质性,提出了一种深度时空三维卷积神经网络模型ST-3DNet。ST-3DNet是一种端到端的预测模型,首次将三维卷积引入时空交通数据预测领域以自动学习交通网格数据的时空相关性模式;设计了一种新颖的重校准模块来显式量化空间维度相关性模式的贡献强度的差异;分别采用两个由三维卷积网络层和重校准模块组成的子网络来建模时空网格数据的近期依赖模式和周期模式。在三个交通网格数据集上的实验结果证明ST-3DNet模型可以提升时空网格数据预测准确性。2.面向时空图数据预测任务,为了有效学习时空图数据具有的时空动态性、周期性和空间异质性,提出了一种时空注意力图神经网络预测模型ASTGNN。在时间维度上,设计了一种新颖的自注意力机制对连续数值序列进行编码,通过充分考虑连续数值点周围的局部变化趋势,准确建模序列中任意两点之间的时间动态性。在空间维度上,提出了一种动态图卷积模块,利用自注意力机制捕获时空图数据的空间动态性。引入时间位置嵌入模块和空间位置嵌入模块,以一种简洁的方式建模时空图数据的周期性和空间异质性。在五个真实交通图数据集上的实验结果表明,ASTGNN模型取得了更好的预测准确率。3.面向时空事件发生位置预测任务,为了全面刻画用户移动事件发生的时空场景,建模异步发生的移动事件之间的时空相关性、从具有多样性和不确定性的用户移动行为中学习用户的移动规律,提出了一种深度位置生成模型LDGN,实现了基于用户历史移动事件数据,预测用户下一个移动事件发生的地点。LDGN设计了一种新颖的时空异质网络嵌入模块来建模用户移动事件发生的时空上下文场景;提出了一种具有空间感知功能的基于自注意力机制的编码器配合一种连续时间嵌入机制实现了对异步发生的具有复杂时空相关性的移动事件序列进行编码;将用户的移动事件视为需求驱动的结果,并引入一个服从高斯混合分布的隐变量“主题”建模用户多样性的需求。在三个真实的用户移动数据集上的实验结果验证了LDGN模型的有效性。4.面向时空事件发生时间预测任务,在第五章充分建模了用户移动事件发生的时空场景、捕获了异步发生的移动事件之间的时空相关性、考虑了用户行为的多样性和不确定性的基础上,提出了一种深度时间生成模型TDGN,根据用户历史移动事件序列,预测用户下一个移动事件发生的时间。TDGN在LDGN的基础上,借助LDGN建模时空移动事件数据的优势,提出将事件发生的时间间隔建模为服从混合对数正态分布的变量以充分刻画用户在时间维度上复杂的移动行为规律。在三个真实的用户移动数据集上的实验结果表明TDGN可以有效学习用户移动行为发生的时间模式并且较为准确地预测下一个移动事件的发生时间。

关键词： 网络流量分类   加密流量   双分支   特征联合   迁移学习  

摘要： 在网络快速发展的时代背景下,新型网络设备,云平台等各类网络应用大量兴起,网络流量数据的传输量呈指数级增长。复杂化的网络环境和多样化的流量数据类型快速催生网络流量分类技术的更新迭代。作为网络相关领域的重要基础手段,网络流量分类也是学术产业界以及相关政企监管部门主要关注的技术之一,其为网络环境中的资源控制以及安全保障工作提供强大助力。随着流量数据类型逐渐增加以及加密技术的广泛使用,网络环境愈加复杂,加密流量的样本稀缺特性显著,当前的网络流量分类面临着新的挑战:(1)网络环境愈加复杂,导致网络流量类型多样化,单一的分类模型频繁出现错分误分的情况;(2)缺乏有效的针对加密流量设计的分类模型;(3)缺乏足够的开源加密流量数据集。因此针对复杂网络环境下的多类型数据分类问题,本文从多类型、多域特征提取的角度全方面增强网络在不同任务下的泛化性能。对于加密流量小样本问题,本文从增强特征空间多样性和数据特征的完备性两个角度实现数据增强,设计迁移学习模型缓解加密流量样本稀缺导致的分类精度下降问题。本文的主要研究内容如下:(1)针对复杂网络环境下的低精度问题,设计端到端多域特征学习的双分支网络分类模型,通过卷积神经网络分支和循环神经网络分支融合空域信息和时域信息,使用分支权值进行决策级信息融合,经过实验验证,该算法有效提升复杂网络环境下的多类型特征提取能力,为后续的分类工作提供基础。(2)针对样本稀缺问题突出的加密流量数据,构建多源数据特征联合及同源数据特征联合的深度网络分类框架,分别从增强特征空间多样性和数据特征的完备性两个角度实现数据增强,经过实验验证,该算法有效提升小样本问题下的加密流量类型分类效果。(3)为了进一步提高小样本加密流量数据集的分类效果,构建基于深度残差网络在迁移学习模式下的分类框架,在有限数据的基础上,进一步减少用于分类实验的实验数据量。经过实验验证,该模型在少量数据下依然保持良好的分类性能,有效缓解了加密流量小样本问题为分类任务带来的影响。

关键词： 多视图学习   表示学习   不确定性学习   可信机器学习  

摘要： 多视图学习由于可以挖掘多视图数据的内在关联,获得更好的模型性能而在机器学习和数据挖掘领域受到广泛重视。尽管一些有效的算法被逐步提出,但是不论传统的多视图学习算法还是基于深度的多视图学习方法在多视图数据的关联探索上都缺乏较好的可信性。目前多视图学习仍然存在两个关键难点:(1)决策层关联的可信性,即如何利用不确定性及决策融合框架提供可信的多视图决策融合和多视图关联;(2)表示层关联的可信性,即如何通过多视图解纠缠实现多视图表示关联的可解释性,增强模型整体可信性。为此,本文围绕可信关联多视图学习这一主题,针对上述两大难点分别从决策融合和表示融合两个方面提出了多视图机器学习算法。本文主要贡献可以总结如下:(1)本文提出了一种多视图分类模型,旨在根据每个视图的不确定性厘清不同视图与标签之间关联,以有效且高效的方式提供可信的决策,从而在多视图分类中引入了新的范式;本文所提出的模型是一个样本自适应的多视图集成统一框架,该框架以可优化(可学习)的方式将证据级别的多视图信息基于Dempster-Shafer理论进行集成;通过准确估计每个视图的不确定性,使所提出的模型能够提高分类结果的可信性和鲁棒性。(2)本文提出了一种可信多视图解纠缠表示学习模型,具有明确条件的可信多视图解纠缠表示学习可作为将来对该问题进行研究的基础和探索;基于信息论的多视图解纠缠可以准确地将信息分解为共享表示和互斥表示,并激发新的潜在应用和增强模型可解释性与可信性;不同于单视图无监督解纠缠表示学习,所提方法从新的角度为无监督解纠缠表示学习提供了一个新范式:分解不同视图之间的相关性,而不是每个视图中的可解释因素;大量实验证明所提出的基于信息论的多视图解纠缠算法可以将数据从多种视图中准确解纠缠为预期的共享和互斥表示形式。

关键词： 配电网线损   特征优化   关联规则   线损预测   深度学习  

摘要： 随着大数据、人工智能、物联网等技术的不断成熟,助力智能电网的快速发展,但与此同时,逐年递增的线损电量也引起了广泛关注。在建设智能电网的过程中,电网运行的每个环节产生了大量多源异构数据,其中就包括了线损数据以及线损成因相关数据,构成了线损大数据。配电网是线损的高发区域,配电网结构的复杂性也决定了线损成因的多样复杂化。线损成因分析是线损分析中的重要一环,有利于线损的准确定位以及线损关联关系的探索。因此,开展针对配电网的线损成因研究具有重要意义。针对配电网线损成因复杂且难以定位、精准预测线损难度大的问题。本文提出基于关联关系和深度学习预测的线损成因分析方法,以配电网台区作为分析对象,从非技术线损的角度,在档案异常、表计异常、采集异常、台区运行异常这四种异常成因中的挖掘线损特征。由于不同的台区可能表现出不同线损特征及关联特征,本文结合负荷曲线等台区特征对台区进行聚类划分,再针对每种类型台区的线损特征进行降维优化,包括剔除相似特征、剔除无关特征和提取主元特征,在保留原始特征主要信息的同时将线损特征数据集精简化。通过分别将未优化、只进行信息熵的部分优化、进行信息熵和主元分析的完全优化的线损特征数据集输入到BP神经网络进行线损预测训练,验证得到经过特征优化的模型预测效果最好。优化的特征数据集将用于线损成因之间的关联分析和线损成因与线损的关联分析。首先,考虑到在大数据中的挖掘效率,选择关联规则学习中的FP-Growth算法来搜索线损特征的频繁项集,以支持度、置信度和提升度作为评估指标,分析线损成因之间的关联关系;其次,建立基于深度学习的线损预测模型,通过依次消除线损特征的影响,计算线损成因对于线损的关联贡献度,实现将线损成因造成的线损进行量化。经过验证,将深度置信网络和BP深度神经网络作为深度学习方法的预测模型,在预测效果上都要优于浅层的人工神经网络模型,预测的准确率意味着贡献度计算的可靠性。最后,结合以上两方面的分析,对台区线损成因进行综合评估,给出指导建议以辅助电力企业进行决策。

关键词： 增量学习   特征相似度   模拟退火算法   任务排序  

摘要： 人工智能技术是新一轮技术革命和产业转型的主要动力,其作用和深度可与以前的工业革命相提并论。从人工智能发展的历史上,可以清楚地看到脑科学与人工智能之间的联系,许多开创性的人工智能科学家也是脑科学家。人工智能的研究目的是开展理论研究和开发能够代替人类智能来执行任务的计算机系统,并且该系统具有感知、识别、决策和控制等功能。下一代的人工智能应该像人类智能一样具增量学习的能力,可以在学会新的任务的同时保持对已学任务的记忆,进而实现对多个任务的增量学习。人类在学习有关联规则的知识时,会通过寻找最好的学习顺序来提高学习的效果。本文受到大脑在学习过程中知识会被有序重组的启发,探索了人工神经网络在增量学习中任务顺序对学习结果的影响,发现在增量学习中,不同的任务顺序会产生不同的学习结果,学习的任务顺序是非常重要的。为了深入探究不同任务顺序对增量学习结果的影响,本文设计了任务排序模块,提出了基于任务排序的增量学习方法。该方法需要先设计一个任务排序模块,然后通过将该模块嵌入到增量学习方法中来实现。任务排序模块利用任务的特征来实现对任务的排序,本文将任务排序模块设计为三部分,分别是图像的特征提取、特征间的相似度计算和任务排序算法。其中,图像的特征提取是通过卷积神经网络实现,一个二维图像经过卷积神经网络会得到一个向量数据,即特征。为了更好的体现特征在不同方向上的差异,本文使用余弦相似度来计算特征间的相似度。在任务排序算法中,本文通过设置任务间的不同相似度关系来搜索期望的任务顺序,为了最终搜索结果趋于全局最优结果和避免在搜索过程中限于局部极小值,使用模拟退火算法来实现任务顺序的搜索。同时,受人类在连续学习多个任务时会通过控制每个任务的复杂度来提高学习的效果的启发,本文探索了人工神经网络中需要增量学习的任务的数量对增量学习结果的影响。最后为了验证基于任务排序的增量学习方法的有效性,本文设置了三种任务相似度和三种任务数量,并在图像图像分类任务上进行了实验。实验数据表明,不同的任务顺序会产生不同的增量学习结果,提出的任务排序模块能够根据特征间的相似度关系来搜索到所需的任务顺序,任务顺序间的相似度关系与增量学习的准确率之间具有一定的正相关性,即增量学习按高相似度的任务顺序进行学习会得到最佳的学习效果,与按低相似度的对比,相差最大的平均准确率4.59%。此外,实验数据也表明人工神经网络在单个任务需要学习的类别数量上与人类的学习方式相似,单个任务需要学习的图像类别越少增量学习的准确率越好,相差最大的平均准确率为9.59%。以上结果说明,人工神经网络与人类大脑在增量学习上有一定相似性,按更高的相似度或更少的任务数量进行增量学习会获得更好的学习结果,本文通过任务间的相似度关系和任务数量来研究增量学习的思路是有效的。