关键词： 城市街区品质评估   卫星图像   小样本学习   深度子空间网络   随机森林  

摘要： 街区是城市结构的基本组成,其品质与居民的日常生活及身心健康存在密切关联。业内专家常借助街区品质评估结果进行城市精确诊断,从而改善消极空间、激发城市活力。然而,随着建筑规划行业的飞速发展,规划项目的数量显著增多,致使街区品质评估工作对人力物力的消耗逐渐增大。人工智能可以提高街区品质评估效率、降低时间和人力成本,为街区品质评估方法的研究提供了新途径。传统街区品质评估方法主要以街景图像、传感器数据和问卷调查等为基础,由业内专家进行人工评估,但该方法带有主观偏差且效率较低。与此相比,基于人工智能的街区品质评估方法以街景图像、大数据爬虫等作为数据来源驱动机器学习模型,以此进行智能化街区品质评估的方法逐渐成为主流研究方向。但是,街景图像采集方式和角度不统一等情况容易造成图像内容偏差,从而影响街区品质评估模型的性能。此外,人工标注成本高等问题使得带有品质类别标签的街区数据有限。针对这些问题,本文以街区品质评估为应用背景研究机器学习算法,重点解决街区品质评估方法在实际应用中存在的小样本、数据不平衡、标注困难和街区特征表达效果欠佳等问题,主要工作包括:首先,本文提出基于卫星图像的小样本街区品质评估算法。该方法针对图像内容偏差等问题,采用卫星图像代替传统方法中的街景图像;针对小样本和数据不平衡问题,使用欠采样方法进行数据预处理后随机生成多个批次进行模型训练;针对街区品质类别固定的特点,提出可继承训练集子空间参数的小样本学习分类算法,提高了模型训练效率和街区品质评估的正确率。实验结果证明了添加欠采样预处理方法和继承子空间参数的深度子空间网络算法对于街区品质评估问题的有效性,为之后的研究提供了基础。其次,本文提出基于多特征融合的街区品质评估算法。该方法合理利用街区图像数据与非图像数据进行早期融合,构建融合特征,使得街区卫星图像对空间关系的表达和非图像数据对量化特征的表达互补,提高街区品质潜在特征的表达能力,从而提高模型的学习效率和街区品质评估的正确率。该方法以随机森林为核心算法,使用朴素随机过采样方法解决数据不平衡问题。实验结果表明,本文提出的多特征融合算法比单一数据源对街区品质的表达能力更强、评估正确率更高。本文所提出的以上两种算法适用于不同情况。基于卫星图像的街区品质评估方法适用于仅使用卫星图像数据进行街区品质评估的情况,该方法可以快速获取卫星图像,并在小样本数据的情况下仍保持较高正确率,具有数据易获取、步骤简洁等特点。基于多特征融合的街区品质评估方法适用于数据集中同时包含图像数据和非图像数据的情况,该方法将图像与非图像特征融合后进行随机过采样,并使用传统机器学习算法进行评估,具有评估正确率高、时间成本低等特点。本文对于不同数据条件下的街区品质评估方法进行研究,贴合工程应用中的实际情况提出了具有针对性的算法。

关键词： 机器人推动与抓取技能   拆分注意力机制   生成对抗网络   DQN   功用性图  

摘要： 随着人工智能的普及,智能机器人被广泛应用于人类的生产生活中,在杂乱场景中,推动与抓取技能学习成为服务机器人必备的基本技能。目前,深度强化学习被用于求解机器人推动与抓取技能学习问题,但由于操作目标种类繁多且特征各异,加之服务环境的复杂性和现有算法本身的局限性,现有研究仍存在学习效率低、成功率低和泛化能力不足等问题。针对杂乱场景中的面向目标推动与抓取任务,本文将工作空间中机器人动作决策过程定义为一个全新的马尔可夫决策过程,将整体框架分为视觉机制模块与动作机制模块,对现有的自监督深度强化学习算法进行改进,并将其应用于该场景中机器人基于功用性图的目标推动与抓取技能学习,具体内容如下。首先,针对机器人在执行动作过程中动作点位置与角度定位不准、推动与抓取动作协同性较差的问题,提出了一种目标推动与抓取技能自监督学习方法。首先,在视觉机制模块中融合自适应参数与分组拆分注意力模块提出了一种特征提取网络(Residual Group Splitting Attention Network,RGSA-Net)。其次,在动作机制模块中搭建了基于深度Q网络与演员-评论家框架的深度强化学习自监督训练框架(Deep Q Actor Critic,DQAC),机器人根据该框架做出动作决策,更好地实现推动与抓取协同。最后,进行了实验对比与分析,验证了本文方法的有效性。其次,针对DQAC框架动作协同效率提升不明显以及传统深度强化学习中模型迁移性较差的问题,基于生成对抗网络与随机层的深度Q网络算法进行设计了一种目标推动与抓取技能自监督学习方法(Generative Adversarial Random Layer Deep Q Network,GARL-DQN)。首先,将生成对抗网络思想融合到传统深度Q网络中,将推动网络作为生成器,抓取网络作为判别器来训练推动与抓取之间的协同算法。其次,使用优先级经验回放机制提高经验池样本利用率,将马尔科夫决策过程中的策略、奖励以及Q值基于目标对象公式化。然后,GARL-DQN中引入了一种随机(卷积)神经网络实现了对输入特征的随机扰动,提高了机器人对不同模型的泛化能力。最后,进行了实验对比与分析,验证了本文方法的有效性。

关键词： 高光谱遥感影像   条带噪声   深度学习   Transformer   卷积神经网络   无偏估计  

摘要： 高光谱遥感影像具有众多应用价值,在军事目标侦察、精准农业、生态环保以及资源探查等领域提供支撑,扮演着重要的角色。伴随着高光谱对地观测技术的蓬勃发展,高光谱影像呈现出爆炸式增长的趋势。然而受到成像过程中各种因素以及高光谱影像成像机制的影响,高光谱影像极易受到随机噪声、条带噪声以及坏线污染,地面真实地物信息被掩盖,丢失了对真实地物的刻画信息,严重影响了高光谱数据的后续处理,制约了其后续应用。因此,对高光谱影像噪声抑制和去除对高光谱数据的应用有着至关重要的作用。在诸多噪声因素中,条带噪声属于一类比较特别的噪声类型,其具有明显的方向性和几何特性,对影像本身的结构破坏较大。研究随机噪声去除的方法较为常见,而专门将条带噪声去除进行专题研究的方法较鲜见,考虑条带噪声本身特性,针对性研究条带噪声去除具有重要价值和意义。传统的条带噪声去除方法往往需要精细设计数学模型对条带噪声进行建模,通过设置最优参数达到条带噪声去除的目的,这种方式往往对最优参数的选择以及模型优化求解难度较大,同时参数的鲁棒性欠佳,无法适应复杂情形,使用情形受限。随着深度学习方法在遥感影像处理中的兴起为高光谱影像条带噪声去除提供了新的思路和技术支撑,利用其对通用特征以及不同层次的语义特征具备强大的建模能力设计基于深度学习的高光谱影像条带噪声去除方法。然而,基于深度学习的高光谱遥感条带噪声去除尚处于起步阶段,在对修复影像的光谱与结构信息保真性方面还有进一步研究空间,此外,该类方法对大量模拟训练样本的极度依赖限制了其在真实场景下的应用效果。本文针对光谱和结构信息保留及提升模型泛化能力这两个问题在自监督学习的框架下开展研究。首先,采用频率先验与波段间相关性来解决光谱结构信息保留的问题。其次,从自监督训练样本构建方式和结合半监督训练两个方面来提升模型迁移泛化能力,主要研究内容如下:(1)针对光谱和结构信息的保留问题,提出频率先验驱动的高光谱影像条带噪声自监督去除网络。该网络利用模拟条带噪声与干净影像构建训练样本,利用影像中条带成分与非条带成分表现为不同频率信号的先验知识,将非条带成分以低频信号进行保留,以保证在进行影像复原时能够保证光谱信息损失最小。同时,考虑到条带噪声的空间分布特性以及高光谱谱段之间的强相关性,提出了空谱信息增强的注意力机制辅助网络有侧重的关注和学习重点特征,使网络在条带噪声去除与光谱信息保留之间找到平衡点,避免只关注条带噪声去除而忽略修复影像质量的问题,使网络能够具备“看哪里”、“看什么”的能力,提高网络的条带噪声去除效果。(2)提出多模式条带噪声协同的层次特征级联条带噪声去除网络。该网络解决因采用模拟条带噪声制作的训练数据带来模型泛化能力受限的问题,提出通过利用大量含条带噪声的影像衍生出条带噪声构建训练样本集的策略,打破单一的条带噪声模拟方式,突破模拟条带噪声带来模型泛化能力不足的限制。另一方面,将输入数据转换为经小波变换后的小波子带,将数据显式分解,降低模型训练难度,利用小波变换的正交特性,减少信息损失,通过挖掘并整合不同层次的网络特征,为条带噪声去除提供更丰富的特征,最终实现模型条带去除能力和模型泛化能力的双提升。(3)提出全局-局部建模的高光谱影像条带噪声半监督去除网络。该网络融合半监督学习与自监督学习,更进一步利用真实含条带噪声影像提升模型泛化能力,实现无标签的真实数据直接用于网络训练,打破模拟条带噪声与真实条带噪声之间的领域差异,缩小模型对真实条带噪声特征建模的差距。探索通过无偏估计的方式解决真实含条带噪声数据训练问题。同时,采用多元特征提取建模方式整合影像全局和局部特征,充分挖掘长距离依赖特征与局部空间上下文信息,强化模型对复杂未知特征的表达能力,提升模型应对真实场景条带噪声去除的能力,增强模型的泛化性和鲁棒性。

关键词： 强化学习   小样本学习   样本复杂度   元学习   策略熵  

摘要： 数据驱动下的强化学习已经得到迅猛的发展,特别是在一些能生成大量样本数据的场景中,甚至达到超人类水平(如,围棋、雅达利游戏)。但这些成果都只是某一智能体于特定任务的表现。智能体表现出的对数据的贪婪性和对任务间较差的泛化性,是现今人工智能技术发展的主要瓶颈。小样本强化学习以加快学习进程、降低样本复杂度为目的,使强化学习能在采样困难、昂贵的场景中加以推广。在方法论上,小样本强化学习主要通过泛化经验中的知识,并使之能被当前任务利用。从认知过程的规律出发,在单个任务和一对一的双任务知识泛化上,重用先前的任务样本(过程性知识)就能获得很高的学习效率,但该方法主要适应于相似的任务间;对于多任务的泛化问题,由于任务集中存在较为复杂的相似关系,通常需要舍弃样本中反映的专有知识,转而通过共享同一个学习参数(陈述性知识)来增强学习效率,但其学习能力也随着任务间相似性的弱化而退步;此时平衡利用和探索,并强加对探索的引导,将提供更有效的方案。因此,本文主要针对样本重用、参数共享来讨论如何高效利用知识,并于其后,通过研究利用与探索的平衡问题来解决更为困难的小样本场景。研究包括以下三个部分: (1)基于精确Q的样本重用的算法研究。主要针对单个任务中大规模重用样本困难与基于Q学习的算法容易出现过估计导致收敛速度降低的问题,以线性函数近似中动作值更新规则为关键,通过将参数更新规则分解、调整,使之在一步更新中最大化利用“同类样本”,缓解对动作值的过估计、增加学习效率、降低算法样本复杂度。具体地,该算法首先将参数更新分解为三个不同的部分,同时给出了每个部分独立的更新规则;随后对存在最大化偏差的那一项,使用精确Q学习中重新估计的方法,根据当前值函数的估计,替换之前对当前后继状态的估计;进而独立更新三个部分后,将其累加得到当前的参数更新结果。 (2)基于多层元的参数共享的算法研究。主要针对多任务中元学习方法训练的共享参数,对任务集中任务相似度要求较高,从而导致对于存在个别“孤立任务”的任务集反映出较差适应性的问题。该算法通过设计一个多参数、双层结构的元学习框架,循环任务聚类、元学习、再适应这些过程,将来自下游不同类别任务的知识传递至顶层的共享参数中,使之体现出对任务集较强的鲁棒性,缓解了负适应现象,有效节省了样本需求。具体地,提出一种根据参数距离计算任务相似性的方式,经过聚类将已知任务分为多个类别;在每个类别中分别使用元学习训练该类中共享参数(类参数),并将次过程看成一个学习任务,基于这些任务再次使用元学习生成一个共享参数(元参数);在适应新任务时,根据元参数的更新趋势判定任务类别,重置当前参数为该类别对应的类参数(再适应)。 (3)基于鼓励熵的探索引导的算法研究。主要针对在差异性较大的任务间泛化知识时容易因过分依赖经验而导致较差的学习效果的问题。该算法通过定义一种既能鼓励策略探索、又能在加入奖赏后保持最优策略不变的鼓励熵,并在任务间迁移这种鼓励熵,在将其加入当前任务的奖赏后,使之能够引导探索,加快学习进程,更好地降低样本量。具体地,通过对在奖赏中加入策略熵生成鼓励探索策略的方法进行分析,提出其可能偏离原问题最优策略的现象;定义一种保证策略不变性的鼓励熵;根据先前策略的倾向,计算对应随机策略下的熵,以生成鼓励熵后加入当前任务的奖赏中,对之前策略不看好的区域优先探索。

关键词： 氢混天然气   发动机标定   改进的粒子群算法   反向传播神经网络   支持向量机  

摘要： 氢混天然气燃料(HCNG)是解决能源均衡利用、减少环境污染的汽车替代燃料之一,是追求零污染、实现“双碳”目标的一种理想的过渡燃料。除此之外,发动机标定参数的爆发式增长使标定工作进一步复杂化。因此,本文基于HCNG发动机稳态标定试验,利用机器学习方法搭建发动机性能参数预测模型,旨在精准预测HCNG发动机的性能参数,为其标定技术的发展提供理论依据。 首先,设置氢气体积分数分别为0%、20%和40%的三种氢混天然气燃料(CNG、20%HCNG和40%HCNG),利用六缸天然气发动机试验系统进行稳态标定试验,探究了发动机节气门全开、转速n=800r/min工况下的点火提前角(θig)、过量空气系数(λ)和掺氢比对发动机输出扭矩、等效天然气比消耗(BSFC)、NOx比排放(BSNOx)的影响。试验结果显示:通过在天然气发动机中添加氢气,其稀薄燃烧极限明显得到拓展。尤其当λ>1.6时,掺氢后的发动机输出扭矩高于天然气发动机的输出扭矩,同时,BSFC也明显低于天然气发动机,另外,通过延迟点火,NOx比排放也有所降低。 其次,基于标定试验数据,利用支持向量机(SVM)方法建立20%HCNG发动机控制参数与性能参数之间的关联模型,并采用粒子群寻优(PSO)和遗传算法(GA)分别为建立的模型参数寻优。获得的最优SVM模型的预测结果表明:模型对扭矩和BSFC预测精度比较理想,其平均绝对百分比误差(MAPE)分别为0.82%和1.28%,但对BSNOx的预测结果较为一般,其MAPE超过15%,精度有待提升。 鉴于SVM的预测结果,为了发掘更加高效的预测方法,提出一种改进的粒子群算法(IMPSO)为反向传播神经网络(BPNN)方法的初始权值阈值进行寻优,完成20%HCNG发动机的性能参数预测。神经网络的预测结果表明:改进的粒子群算法结合反向传播神经网络(IMPSO-BPNN)建立的模型可以较好地描述发动机输入参数与输出参数之间的非线性关系,两者之间的相关性较强,模型的预测精度较高,同时,在时间维度上也表现出一定的优越性。它对扭矩、BSFC和BSNOx的MAPE分别为0.77%、0.73%、9.40%,相关系数(R)分别为 0.99987、0.99896、0.99291,CPU 运行时间分别为 19.31 s、20.66 s、22.64s,均为所有方法中的最优结果。证明了 IMPSO-BPNN方法在参数预测方面是一种高效、可靠的方法,为发动机电控标定研究提供了新思路。

关键词： 临床决策支持   电子医疗记录   药物推荐   表示向量学习  

摘要： 临床决策支持系统作为学术界与临床医疗领域的研究热点,相关研究成果对于提升诊疗效率以及应对医疗资源分布和社会老龄化等问题带来的诸多挑战均具有重要研究意义。药物推荐作为临床决策支持系统中的重要一环,旨在以病人临床健康状况为依据,生成药物处方作为医生的决策参考,从而帮助医护人员应对复杂多变的病情变化,提升医疗服务体系的整体效能。与此同时,电子医疗记录(Electronic Healthcare Records,EHRs)系统的广泛应用,为包括药物推荐在内的临床决策研究提供了充足的数据。EHRs数据记录了病人住院期间的疾病诊断结果、手术操作以及药物使用情况等多种信息,详细描述了病人临床健康状况的变化过程,其中所蕴含的病人临床信息是开展药物推荐的直接依据。基于EHRs数据进行有效药物推荐的关键,在于借助EHRs表示向量学习方法构建能够准确表达病人健康状况的EHRs表示向量,从而为药物推荐提供可靠依据。因此,EHRs表示向量学习方法的性能,直接决定了所生成药物处方能否作为医护人员的可靠临床决策参考,被用于协助医生提升诊疗效率。 借助深度学习方法开展的EHRs表示向量学习能够进行面向数据的自动化特征提取,避免了传统方法人为开展特征创建与选择过程中所耗费的大量时间与人力成本,已经成为近年来国内外的研究热点。但是,现有方法对于不同病人个体特征之间的差异考虑不充分,通常将所有病人作为单一群体,采取统一模式开展EHRs表示向量学习。同时,对于外部临床知识的使用,所采取的策略是从其中提取相关特征后将其作为输入数据的一部分,没有借助这些知识在EHRs表示向量学习过程中考虑不同医疗实体之间的影响,与真实临床环境中临床知识的利用形式存在差异。本文深入研究了药物推荐所涉及的不同关键问题对于EHRs表示向量学习的影响,针对现有方法存在的问题与不足提出相应解决策略,开展了如下研究工作: (1)针对部分药物相互反应后引起副作用的问题,提出了一种能够以指定性质为导向对EHRs表示向量进行对抗正则的学习算法,通过降低推荐结果中发生相互反应的药物组合所占比例,提升所生成药物处方的安全性。该算法使用特征空间中与期望的安全药物推荐结果相关联的分布作为真实数据来源,同时将所有病人的EHRs表示向量作为虚假数据,借助生成对抗网络对EHRs表示向量进行对抗式正则,通过对其在特征空间中分布的修正,降低推荐结果中会发生相互反应的药物组合所占比例,达到消解药物副作用的目的。基于病人真实临床数据开展的实验显示,相较于用于对比的其他药物推荐模型,所提出的算法能够在Jaccard、PRAUC以及F1三项指标上取得更加优异的表现,并且将推荐结果中会引起副作用的药物组合占比率降低了5.76%至13.15%。 (2)针对序列式推荐过程中药物疗效作用于人体后的EHRs表示向量学习问题,提出了一种结合药物异构势能的序列决策算法。该算法基于不同药物在病人群体中被组合使用的情况构建图数据,并通过计算图中各节点的拓扑势能,获取不同药物对于整个病人群体的全局适用程度和重要性。同时,算法针对每个病人开展集合式药物推荐,获取药物对应于当前病人的推荐概率作为概率势能,以反映不同药物对于当前病人健康状况的本地适用程度和重要性。两种异构势能结合后,将一同作为对病人药物集合进行排序的依据,构建用于开展序列式推荐的监督信息,从而使得模型可以考虑已推荐药物对于病人健康状况的影响,生成有效药物处方。使用病人真实临床数据所开展的药物推荐实验显示,所提出算法在序列式推荐各阶段均取得了优于对比方法的推荐准确率。不同序列决策方法之间的对比也显示,基于药物异构势能生成监督序列信息的方法相比于次优方法在Jaccard与F1两项指标上取得了15.72%与9.67%的提升。 (3)针对历史EHRs数据读取过程中的重要数据筛选问题,提出了选择性覆盖度机制与自适应数据读取相结合的表示向量学习算法。该算法使用记忆神经网络对历史EHRs数据编码结果进行存储后,在依据临床相似性从中读取参考信息的过程中,借助覆盖度信息对数据进行筛选并对注意力权重分布进行调整,保证其能合理地分散于所选定的重要数据范围内。同时,算法依据病人个体信息自适应地决定其对应的记忆神经网络多跳读取次数,避免因过度读取造成的信息冗余以及因读取不足导致的信息缺失对于EHRs表示向量学习的消极影响。基于病人真实临床数据开展的药物推荐实验显示,所提出算法在Jaccard、PRAUC以及F1三项指标上取得了优于对比方法的表现。同时,统计结果显示不同病人对应的记忆神经网络最佳读取次数为1到14次不等,验证了自适应决定每一名病人记忆神经网络多跳读取次数的必要性。 (4)针对外部临床知识以及相似病人共享特征的提取与利用问题,提出了一种结合医疗实体临床关系引导与全局特征辅助的学习算法。该算法

关键词： 表征学习   拓扑结构   节点属性   演化机制   网络降噪  

摘要： 近年来,移动互联网络得到飞速发展,社交网络分析再次成为研究热点。含时社交网络记录了整个网络的生长进程与演化趋势,其所蕴含的时间维度信息为社交网络分析提供了更为丰富的语义,是社交网络分析领域的重点研究对象。大型在线社交平台为社交网络分析的发展提供动力的同时也带了挑战,突出的表现为网络表征困难。随着网络的规模不断扩大,以图结构作为表征的方法存在诸如存储效率低、计算复杂度高、无法应用成熟的机器学习算法等问题。如何简明高效地表征社交网络是当前的热点研究问题。网络表征学习,又可称为网络嵌入,是解决网络表征问题的主流方法。其致力于学习网络节点的低维、稠密、独立的向量表示,以求在嵌入向量空间中保存网络的拓扑结构与节点的关系属性,从而为网络分析下游应用提供便利。目前,主流的网络表征学习方法一般针对静态网络而设计,而面向含时社交网络表征学习的研究仍处于起步阶段。含时社交网络为表征学习提供了丰富的时序信息,同时也带来了一系列挑战。突出表现为:1)节点的相似度难以量化,网络高度非线性结构难以保存;2)网络动态拓扑结构和节点属性信息难以兼顾保存;3)动态演化机制难以表征学习;4)网络噪声难以剔除。 本文针对现有的含时社交网络表征学习方法存在的问题进行了深入系统的研究,并设计了对应的表征学习方法。本文的具体研究内容如下: 1.针对现有方法难以准确刻画节点相似度,保存高度非线性网络结构的问题,本文提出了一种高阶非线性信息保存表征学习方法。首先,该方法基于时间指数衰减模型定义了含时社交网络中节点的含时相似度;然后,利用带重启机制的随机游走算法将节点含时相似度嵌入到游走路径中;最后,提出一个深度引导表征学习算法,其训练一个深度引导自动编码机用于网络表征的学习。通过使用带重启机制的随机游走算法生成的路径数据集训练该深度引导自动编码机,该方法可以有效的保存含时社交网络中节点间复杂的交互关系和高度非线性的网络结构。本文在六个含时社交网络数据集中验证了该方法的有效性。 2.针对现有方法在表征学习模型中难以兼顾网络拓扑结构和节点属性信息保存的问题,本文从适用于静态网络表征学习的图神经网络出发,提出了一种面向节点属性的表征学习方法。该方法的核心是基于含时社交网络拓扑结构,动态有序的聚合节点属性生成节点表征向量。首先,该方法考虑节点间的历史交互信息,基于点过程提出一种用于邻居节点采样的有偏采样算法对节点vi及其邻居节点关系强度进行建模,基于节点关系强度采样邻居作为节点vi的待聚合信息节点;然后,该方法提出一个归纳式表征学习算法,其训练一个归纳式图卷积神经网络模型IGCN用于网络表征学习。本文在四个带节点属性的含时社交网络数据集中验证个该方法的有效性。 3.针对现有方法缺乏自主学习演化机制表征能力的问题,本文借助对三元子图转换规则的研究,利用三元子图转换概率矩阵作为表征学习载体,提出了一种基于三元子图的演化机制表征学习方法。该方法首先通过统计演化机制可控的模型网络中不同类型三元子图的数量分布,分析了将三元子图转换概率矩阵作为演化机制表征学习载体的可能性;然后,提出了一个CNN-LSTM模型用于三元子图转换概率矩阵演化规律的学习;最后,本文提出一种基于三元子图转换的链路预测算法,并利用该算法在真实社交网络以及演化机制可控的模型网络中验证了该方法学习网络演化机制表征的能力。本文在模型网络数据集和真实社交网络数据集中验证了该方法有的有效性。 4.针对现有方法缺乏噪声鲁棒性的问题,本文基于链路预测框架,提出了一种抗噪高阶相似度保存表征学习方法。首先,该方法对现有链路预测相似度指标进行改进,定义一个综合相似度指标,对节点高阶含时相似度进行量化,并构造一个高阶含时相似度矩阵S;然后,该方法基于S对节点一阶相似度进行降噪处理,并提出一个一阶含时相似度修正矩阵构造算法来构造修正矩阵C;最后,该方法提出一个嵌入模型用于网络表征学习。该模型同时考虑一阶含时相似度修正矩阵C和高阶相似度矩阵S。通过优化该模型,该方法可有效的保存带噪声含时网络的真实网络结构和节点关系强度。本文在四个带噪声的网络数据集中验证了该方法的有效性。

关键词： 裂缝检测   可切换归一化   通道定位表征   跨阶段融合   轻量化  

摘要： 随着深度学习在计算机视觉领域的发展,神经网络已在图像分类、物体检测和语义分割等多个任务上展现出超过人类的辨识能力。而裂缝检测领域也逐渐产出了多个优秀的研究成果,证实了深度学习在裂缝检测领域的可行性,此外,深度学习的低开发成本和端到端的训练特性也很好地满足了裂缝检测的自动化需求以及不同裂缝病害的检测需要。 现有的裂缝检测语义分割网络鲜有注意到采样方法的位置信息损失问题。不同于常规物体,裂缝这类过窄的长条纹目标对于模型的定位能力要求更高,因此位置信息损失问题理应得到改进。基于此,本文提出使用Pixel Unshuffle和Pixel Shuffle作为采样组合,在下采样过程中将宽高维度的位置信息与通道维度建立一一对应关系,减小特征图尺寸的同时使得通道具有位置信息表征能力,并在上采样时重新提取通道维度存储的位置关系信息以还原出原始的输入尺寸。同时,本文还注意到语义分割网络由于大量大尺寸特征图导致的GPU显存占用过多问题,致使语义分割网络无法使用大批量训练,而小批量下的统计偏差导致了批量归一化的性能出现退化。基于此,本文提出使用可切换归一化替代常规的批量归一化手段,更好适配语义分割网络的显存占用特点。结合上述两点,本文提出了新的用于裂缝检测的语义分割网络——Mini Crack。此外,考虑到部分存储资源和算力资源受限的应用场景,本文在Mini Crack的基础上结合跨阶段融合与轻量化设计思想,提出了新的裂缝检测轻量化模型——Mini Crack V2,其参数量仅为Mini Crack的8.17%,FLOPs仅为Mini Crack的13.8%,但具备和Mini Crack相当的检测性能。 本文使用了三个差异性较大的裂缝检测数据集进行独立训练和评估,MiniCrack和MiniCrack V2均在三个数据集上以更小的模型复杂度超越了现有的最先进的裂缝检测算法,并且在三个数据集上表现的更为稳定,展现出更强的泛化性,体现了其重要的应用价值。

关键词： 知识图谱   嵌入表示   注意力机制   软逻辑规则   参数嵌入  

摘要： 随着人工智能逐步迈向更加智能化的认知智能阶段,知识图谱在认知智能应用的构建中如智能搜索、智能对话和个性化推荐等应用领域,开始扮演着越来越重要的角色。现有的知识图谱采用符号化的表示形式,将实体和关系用统一资源标识符进行唯一标记。面对包含海量三元组数据的知识图谱,这种符号化的知识表示方式使得计算机难以进行便捷高效的知识计算、知识检查和推理补全等任务,同时也阻碍了知识图谱在其他人工智能领域中的应用。为了解决这些问题,知识图谱表示学习方法被提出。这类方法在知识计算和知识推理补全任务中,具有高效便捷的优点,并迅速成为现阶段知识图谱领域一个热门的研究课题。然而,将知识图谱看作是由大量三元组构成的普通数据集进行表示学习的方式是不合适的。如何深入思考并建模知识图谱自身固有的图谱结构特性以及其隐含的逻辑规则和关系模式等,对构建高质量的知识推理补全模型具有非常重要的影响。基于此,本文围绕知识图谱表示学习方法中关于建模结构和规则信息的若干关键问题,开展系统性地研究与探讨。创新点和主要贡献可概括如下:第一,针对知识图谱中实体节点周围复杂上下文结构信息的建模问题,提出了一个基于图结构的知识图谱表示学习模型G2SKGE。该模型提出了一种基于链路(即三元组)的上下文结构信息融合机制,并利用链路嵌入表示来获取实体融合嵌入表示。为了更合理、更充分地对实体周围链路进行融合,所提模型从上下文结构信息的编码方式、参与方式以及链路参与数量等方面展开系统性探讨。在基准知识图谱数据集上的实验结果表明:G2SKGE模型能够自适应地选择重要的链路参与实体融合嵌入表示的构建,从而获得高质量的实体嵌入表示。和多个具有代表性的基线模型相比,G2SKGE模型在知识图谱补全任务和三元组分类任务上均取得了显著的性能提升。第二,针对知识图谱中实体对之间的路径结构语义建模问题,提出了一个基于关系路径的知识图谱表示学习模型Inter ERP。该模型从增强不同嵌入之间交互的角度出发,提出了一种新的实体、关系以及关系路径嵌入表示学习方法。在知识图谱中,不同元素嵌入表示之间的交互隐藏着不同元素之间的语义关联。通过引入交互矩阵,以及借助在图像领域中被广泛应用的卷积神经网络Inception network,所提模型能够更充分地建模单个三元组内部实体和关系之间的交互、同一路径上不同关系之间的交互。在基准数据集上的实验结果,证明了Inter ERP模型在知识图谱补全和三元组分类任务上的性能能够匹敌或优于基线对比方法。第三,针对离散化、符号化表示的逻辑规则难以建模的问题,提出了一个基于逻辑规则的知识图谱表示学习模型JSSKGE。该模型设计了一个软逻辑规则挖掘算法SPCRE,自动地从知识图谱中抽取所需的软逻辑规则。软逻辑规则是离散的、符号化表示的信息,而表示学习模型需要连续的、数值化的特征向量作为输入,这为构建基于逻辑规则的知识图谱表示学习模型带来了极大挑战。为了克服这一挑战,一方面,JSSKGE模型引入了关系参数嵌入的概念;另一方面,该模型进一步将逻辑规则细分为五类子规则,即自反性规则、对称性规则、对等性规则、互逆性规则和传递性规则。这五类子规则可以推导出关于关系参数嵌入的限制性约束条件。这样就构建了一个联合软逻辑规则的知识图谱表示学习模型。在基准数据集上的实验,证明了JSSKGE模型的有效性和优越性。第四,针对知识图谱在上层概念层所具有特性的建模问题,提出了一个基于规则模式的双曲空间知识图谱表示学习模型Hyper JSS。该模型通过将实体和关系嵌入到双曲空间中,来建模知识图谱在语义概念上总是表现出的层级结构模式,如导演、电影与演员之间具有的层级结构模式。相比于传统欧几里得空间模型,双曲空间模型对于建模层级结构模式的数据,具有天然优势。再者,Hyper JSS模型借助吉文斯几何变换如旋转和反射变换,来建模关系具有的逻辑模式,如对称关系similar＿to和反对称关系has＿part等。基于之前对图结构信息和逻辑规则信息建模的探讨,Hyper JSS模型能够实现从多个维度来建模知识图谱数据的目标。在基准数据集上的实验结果,证明了Hyper JSS模型在知识图谱补全和三元组分类等任务上性能提升显著。综上所述,本文有效地解决了知识图谱中结构和规则信息的建模问题,为知识图谱表示学习方法将来真正迈向知识推理补全以及其他人工智能应用打下了坚实基础。

关键词： 集成学习   约简   近似约简   正区域   相对决策熵   多模态扰动   差异性   自助采样  

摘要： 集成学习一直是机器学习领域的热门研究方向,如何产生一组性能好且差异性大的基学习器是集成学习成功的关键。目前,对基学习器的差异性的研究已经引起了广泛关注,例如,不同的扰动技术被用来对属性空间、样本空间、学习参数等进行扰动。然而,如何有效提升基学习器之间的差异性仍然是集成学习的一个挑战。近年来,有不少学者利用粗糙集的属性约简技术来开展集成学习的研究。作为粗糙集的主要研究方向,属性约简能够在不降低决策表的分类能力的前提下,有效删除其中的冗余和不相关属性。因此,基于属性约简所构建的基学习器都具有较好的分类性能。但是,上述方法也面临如下两个问题:(1)在很多数据集上约简的数量太少,不能构建足够多的基学习器;(2)不同约简之间存在属性重叠现象,由这些约简所构建的基学习器之间的差异性较小。针对上述问题,本文提出了近似属性约简(简称近似约简)的概念,并利用近似约简来开展集成学习的研究,不仅可以获得足够多的近似约简来构建基学习器,而且还可以提升基学习器之间的差异性。首先,提出基于正区域的近似约简和基于正区域的k个最近α-近似约简等概念,并设计出基于正区域的近似约简算法PAR;其次,将PAR算法与自助采样法结合在一起,提出基于PAR与自助采样的集成学习算法E＿PARBS;第三,提出基于相对决策熵的近似约简和基于相对决策熵的k个最近α-近似约简等概念,并设计出基于相对决策熵的近似约简算法EAR;第四,将EAR算法与自助采样法结合在一起,提出基于EAR与自助采样的集成学习算法E＿EARBS。本文的主要工作可以归纳为如下:(1)基于正区域的近似约简和基于正区域的k个最近α-近似约简采用传统的属性约简来构建基学习器将会面临约简数量少、基学习器之间的差异性小等问题。针对上述问题,本文适当放宽了对约简的严格要求,提出了基于正区域的近似约简和基于正区域的k个最近α-近似约简,并设计出基于正区域的近似约简算法PAR。基于正区域的近似约简不再要求约简的分类能力与初始属性集的分类能力完全相同,而是在一定程度上接近于初始属性集的分类能力(近似程度由参数α来控制)。此外,通过从所有的近似约简中选取k个最近α-近似约简,可以进一步提升基学习器之间的差异性。(2)基于PAR与自助采样的集成学习算法E＿PARBS将(1)中所提出的基于正区域的近似约简算法PAR应用于集成学习中,提出一种基于PAR与自助采样的集成学习算法E＿PARBS。E＿PARBS采用了一种多模态的扰动策略来构建基学习器,首先,利用PAR算法对属性空间进行扰动(即利用基于正区域的近似约简来构建不同的属性子空间);其次,采用自助采样法对样本空间进行扰动。通过使用上述扰动策略,E＿PARBS算法不仅解决了约简数量不足的问题,而且有效提升了基学习器之间的差异性。实验结果表明,E＿PARBS算法的性能要好于传统的算法。(3)基于相对决策熵的近似约简和基于相对决策熵的k个最近α-近似约简现有的属性约简算法有很多,其中,基于相对决策熵的属性约简算法具有很好的效果。在相对决策熵模型的基础上,本文进一步提出了基于相对决策熵的近似约简和基于相对决策熵的k个最近α-近似约简,并设计出基于相对决策熵的近似约简算法EAR。与PAR算法类似,EAR算法也被应用于集成学习中,用于对属性空间进行扰动。(4)基于EAR与自助采样的集成学习算法E＿EARBS将(3)中所提出的基于相对决策熵的近似约简算法EAR应用于集成学习中,提出一种基于EAR与自助采样的集成学习算法E＿EARBS。E＿EARBS首先利用EAR算法来对属性空间进行扰动,然后采用自助采样法来对样本空间进行扰动。通过使用上述扰动策略,E＿EARBS算法同样可以解决约简数量不足以及基学习器之间差异性小的问题。在多个数据集上的实验结果表明,与现有的集成学习算法相比,E＿EARBS算法具有更好的分类性能。