关键词： 机器学习   PM2.5   二次无机颗粒物   PMF  

摘要： 环境中高浓度的PM2.5会造成环境能见度低,气候状况改变,并能够对人体健康产生危害。识别并评估区域内细颗粒物(PM2.5)污染的成因以及各因素在长期、短期过程中对其浓度变化的影响效应是大气污染防治的重要研究问题。由于PM2.5浓度受众多互不独立的因素影响,PM2.5浓度与其影响因素呈高度非线性关系,导致难以准确评估污染排放源、气象因素、二次无机盐生成对其浓度变化的效应和贡献。近期,基于数据驱动的机器学习方法在该问题上表现优异,在相关研究中应用较多。为深入探究机器学习方法结合高分辨率数据集分析PM2.5污染成因的可行性,本研究以在线观测数据为基础,通过PMF受体模型、ISORROPIA-II热力学模型、ERA-5再分析数据整合了多种类别的PM2.5影响因素。基于相关性分析和置换重要性计算,初步识别了PM2.5污染影响因素的重要性并比较了多种机器学习方法以及其他回归模型的适用性,引入表现最优的机器学习模型并耦合模型解释性方法探究了各因素对PM2.5浓度变化的影响效应,主要结论如下:（1）二次无机细颗粒物是观测区域PM2.5浓度变化的主要源类影响因素。二次硝酸盐是主导PM2.5浓度变化的主要源类。机器学习结果表明,高湿环境下的重污染过程中机动车排放源对二次硝酸盐的生成有显著影响效应。（2）温度是各季节中重要的气象因素。冬季气象因素对PM2.5浓度变化的效应大于其他季节,其中风速的影响效应在冬季上升显著。（3）观测期间发生的重污染过程中二次硝酸盐占比较高。机器学习结果能够较好的捕捉重污染过程中各时段的主导因素并量化其影响效应。本研究表明,机器学习方法能够准确地分析不同时段内PM2.5污染成因,为大气污染防治提供有效地分析手段。

关键词： 图局部结构   无监督学习   图分割   社区发现   图表示学习   异常检测  

摘要： 图是抽象描述现实系统的一种强有力的数学工具,在物理、化学、生物、计算机等诸多领域均有广泛的应用。图之所以应用如此广泛,关键在于其结构编码了丰富的、有价值的信息。研究图的结构,特别是图的局部结构,具有十分重要的理论意义,同时也是解决诸多应用问题的关键。本文聚焦于图的局部结构,围绕密集子图和稀疏子图的分割、社区结构的发现和异常子图的识别等具有挑战性的问题,深入分析问题并提出了相应的无监督学习方法,取得了一系列具有创新意义的研究成果,具体包括以下内容:(1)针对平衡图分割问题及其逆问题,本文提出了一个统一的优化框架,设计了自动学习密集子图和稀疏子图分割方案的图神经网络,以及针对相应问题的损失函数,进而所提出的图神经网络模型可以通过无监督学习的方式进行训练,在多个仿真网络和真实网络中开展的实验验证了该方法的有效性,结果表明无论图的类型如何变化模型总能保证输出较好的分割方案。(2)针对属性图社区发现问题,主要是图神经网络模型过于依赖节点的属性信息,未能充分利用图的结构信息,因而限制了图神经网络模型的性能,本文设计了一种可以自适应学习图结构信息和节点属性信息的图神经网络,该模型可以通过无监督学习的方式从数据中自动提取与社区结构有关的信息,在仿真网络和真实网络中的大量对比实验证明了该方法的优越性。(3)针对无监督图表示学习问题,主要是许多已有的图表示学习方法难以保留图的局部结构信息,本文提出了一种可以感知图局部结构的无监督图表示学习方法,该方法利用图神经网络联合学习节点的表示以及图的局部结构,并通过最大化互信息以及局部结构损失来优化模型。大量实验表明该方法可以学到更高质量的节点表示,改善了已有图表示学习方法的性能。(4)本文利用图来解决轨迹数据中的异常检测问题,其核心思想是将异常轨迹检测与分类问题抽象为异常子图识别问题来求解。首先,将所有轨迹映射到一个规则图上,每一条轨迹为其中的一个子图,然后提出了一种新的距离度量来估计轨迹之间的相似性。在此基础上,设计了一种异常轨迹检测与分类算法,可以识别具有不同异常模式的轨迹。在深入分析该算法的性能之后,对其进行了优化,设计了一个更快的版本,将速度提升了10至20倍,而精度几乎不降,高效地解决了异常轨迹检测与分类问题。

关键词： 知识图谱补全   知识表示学习   邻居筛选   互信息  

摘要： 知识表示学习是用于知识图谱补全的重要技术。翻译模型作为知识表示学习的代表模型,因其参数少且容易解释,被广泛应用于大规模知识表示学习中。近几年,为了克服翻译模型孤立地考虑各个三元组的缺点,实体的邻居信息被引入到翻译模型中。然而现有模型缺乏合理的邻居选择策略,导致开销过大且容易引入噪声,或者容易遗漏重要邻居。同时,现有模型忽视了邻居作为实体也具有多种属性,只能为每个邻居确定一个固定的权重,无法为邻居中的众多属性确定不同的权重。这些问题导致现有模型难以高效利用邻居信息提高建模实体向量和关系向量的质量。 为解决上述问题,提出了一种基于邻居筛选的翻译模型TransMIA。针对引入全部邻居带来的开销过大及随机选择邻居会遗漏重要邻居的问题,TransMIA通过设计一种基于互信息的邻居选择策略,来计算邻居与实体所在三元组中关系之间的互信息,并根据该计算结果确定邻居与实体所在三元组的关联程度,为实体选择与其所在三元组最相关的N个邻居。同时,TransMIA为实体设置多个邻居集合。当实体与不同的关系连接时,能够为实体选择不同的邻居,分别加入到对应的邻居集合中,充分建模实体语义。针对现有模型只能为每个邻居确定一个固定权重的问题,TransMIA设计了一种关注邻居属性的注意力机制。该机制首先为邻居确定一个固定的权重,然后根据邻居与实体相连关系,在模型训练过程中调整邻居向量中各个维度的权重,最终为邻居向量的每个维度确定不同的权重,从而突出邻居中对建模实体和三元组语义最重要的属性,有利于充分利用邻居信息。 实验表明,TransMIA模型提高了建模实体和关系向量的质量。在链接预测任务上,TransMIA模型在不同数据集上的MRR指标提升了2.3%～45.7%,Hits@10指标提升了1.2%～36.1%。在三元组分类任务上,TransMIA模型在不同数据集上的分类准确率提升了0.9%～13.9%。通过对邻居进行筛选,TransMIA模型能够更好地利用邻居信息,进而优化知识表示学习得到的向量,实现在下游应用中取得更好性能的目标。

关键词： 弱监督学习   增量学习   半监督学习   零样本学习   迁移学习   任意样本学习  

摘要： 随着现代社会的数据量与信息量急剧增长,以机器学习为代表的系列人工智能技术取得了重要突破,特别是有监督学习模型,其泛化性能在诸多实验室场景下已经超过了人类。然而,训练高效的有监督学习模型通常需要为每个目标类别搜集成百上千的带有人工标注的训练样本。在实践过程中,由于真实数据类别分布的长尾效应与高昂的人工标注成本,想要为模型建立理想的有监督训练数据集往往不能如愿,会呈现出各样的零样本、少样本场景,比如某些类别样本的缺失或者标签的缺失。针对这些普遍存在的信息缺失问题,机器学习领域相继提出了一系列对标注数据集弱依赖的解决范式,称为弱监督学习,其深层次原理在于充分挖掘现有数据集特性,使得智能模型在信息缺失情形下的建立更加符合人类学习机制,从而逐步具备真正意义上的机器智能。也因此,对于零/少样本场景下的弱监督学习研究正成为多个建模领域的热点问题。基于上述背景,本文以弱监督学习为核心脉络,从基本的少样本场景与少标签场景开始,推演到零样本场景,再到最终的任意样本场景,逐步揭示并解决信息缺失下数据驱动模型建立的若干关键问题,从而拓展了数据驱动模型在各类弱监督场景下的应用。为了展示少样本场景、少标签场景、零样本场景和任意样本场景等弱监督学习问题的现实存在性与实践价值,我们以手写数字识别、虚拟传感测量、工业故障诊断和户外场景检测四种典型应用为代表,对所提出的方法加以验证。同时,我们基于Python语言,设计并开源了针对零/少样本场景下弱监督学习的生成模型库,从而使得本文设计的生成模型以及一系列用于零样本、少样本问题的典型生成模型可以以一行代码的方式进行极简实现。本文的主要贡献分为五点,总结如下:1)针对弱监督学习中的少样本场景,设计了一种具备三重增量学习能力的宽网梯度提升系统模型,它通过模拟卷积神经网络的深层结构,将多个宽度网络以梯度提升机的加性模型结合得到。新模型解决了在少样本场景下已建立的模型面临学习新特征、新样本、新类别三种增量需求时需要不断重新训练的问题。以手写数字识别任务作为模型验证,实际可减少约40%～60%的建模时间。2)针对弱监督学习中的少标签场景,设计了一种简单但有效的半监督对抗平滑正则损失,它评估了模型对每一个样本点预测的平滑程度,通过最小化模型对噪声与干净样本的预测散度,解决了在少标签场景下大量利用无标签样本建模的鲁棒性问题。同时,我们也设计了三重回归半监督学习框架,通过伪标签的形式进一步利用无标签样本,构造出对抗平滑三重回归模型,以虚拟传感测量任务作为模型验证,实际可降低约7%～10%的预测误差与25%的噪声误差。3)针对弱监督学习中的零样本场景,设计了一种基于语义描述属性迁移的零样本模型,该模型在数据驱动的框架下尝试使用人工定义的描述替代样本来判断类别,解决了在样本与标签同时缺失的情况下某些类别难以建模的问题。以工业故障诊断任务为例,新模型通过从已有故障的预学习与知识迁移,可以直接基于辨识的故障描述对目标故障进行在线的诊断而不再需要任何基于数据的模型训练,达到了使用200～400样本所建立模型的准确率。4)针对弱监督学习中包含零样本、少样本等问题的任意样本场景,设计了一种具备生成器迁移误差消除能力的语义精炼对抗生成网络,该模型利用多头语义表示技巧与层次语义对齐技巧精炼语义描述,解决了特征生成器从已知类别向未知类别迁移时存在的迁移误差问题,达到了生成器跨类别特征生成的无偏条件。以户外场景检测任务为例,相比于传统的生成模型,新模型在零样本测试中提升了约5%～8%的准确率,在少样本测试中提升了约5%～10%的准确率。5)针对弱监督学习,设计并开源了基于Python语言的生成模型代码仓库,提供了相应的模型、特征、参数和实验设定。文中所设计的生成模型以及一系列用于零样本、少样本问题的典型生成模型都可以以一行代码的方式进行极简实现。同时,我们基于户外场景检测任务,通过简单修改模型使用的视觉与语义特征,极大的提升了复现模型的基准性能,约3%～15%,揭示了视觉与语义嵌入特征对生成模型与弱监督学习建模的重要性。

关键词： 机器学习   肺癌分型   特征选择   数据清洗  

摘要： 据最新的癌症统计报告,我国肺癌死亡率高居榜首,肺癌死亡人数占到了癌症死亡病例的20%。随着国家经济社会的发展,中国癌症发病类型正在向发达国家主要类型转变,肺癌高发病率在男性群体中尤为突出。其中确诊病例中绝大部分病例为肺腺癌、肺鳞癌和小细胞肺癌,不同的肺癌类型有各自的特异性治疗方法,所以在治疗前需准确了解患者类型,对症下药。目前,临床使用的肺癌类型检测方法多为穿刺和手术提取组织等侵入式方法,侵入式方法存在并发症风险,为肺癌患者治疗造成不利影响。在数据信息呈几何式增长的当下,大量的医疗数据为数字化诊断提供了可能,建立一套完整的非侵入型肺癌亚型预测模型作为辅助诊疗手段具有十分重要的意义。本文基于国内某三甲医院记录的入院肺癌患者数据,提出了一种非侵入型肺癌类型诊断方案,使用机器学习方法对肺癌亚型进行预测,主要内容包含以下方面:(1)针对医学数据特点选用适当的数据预处理方法。医学数据具有杂乱的特点,数据记录不规范,数据缺失现象严重,甚至存在样本标签的缺失,这些问题为分类模型构建造成了巨大困难。本文使用K近邻插补方法对缺失值进行预处理,解决了数据缺失问题。其次,医学数据由于其发病率先验概率的原因,存在数据不平衡现象,本文使用SMOTE过采样方法对数据进行平衡化处理。(2)基于不同方法,选择最优特征子集。本文数据包含了患者诊断信息、化验指标、慢性病史等六十余项指标,针对不同的机器学习模型,所需要的特征也不尽相同。本文选择了三大类五小类特征选择方法进行特征提取,包括过滤式方法(相关系数法、互信息法、Relief-F等)、包裹式方法(向前选择、向后选择、全局搜索)和嵌入式方法(LASSO、岭回归)。(3)提出了基于机器学习方法的肺癌分型预测模型。文中选择了三种机器学习方法,包括支持向量机、随机森林和概率神经网络,结合特征选择方法来构建预测模型。文中选择准确率、召回率和AUC值作为评价指标,最终选择出随机森林结合Relief-F特征选择法具有更好的预测效果。

关键词： 网联汽车   车内网络安全   入侵检测   深度学习  

摘要： 新一代汽车智能化、网联化的发展为人们带来了更加便利和舒适的驾驶体验,与此同时汽车也从一个封闭独立的系统演变为车联网中的重要节点。随着汽车外部通信接口的大幅增加以及车内网络系统的高度复杂化,汽车受到网络攻击的风险达到了前所未有的水平。而控制器局域网(Controller Area Network,CAN)总线作为目前应用最广泛的车载网络总线之一,由于其自身的安全薄弱成为了黑客的重点攻击对象。近年来汽车网络攻击事件频繁发生,这极大地威胁了司乘人员的生命及财产安全。因此,如何保障网联汽车网络安全成为了信息安全研究人员的主要研究问题之一。本文以保障汽车网络安全为出发点,详细分析了车联网系统结构、网联汽车车内网络系统结构以及CAN总线的安全漏洞,提出了网联汽车网络入侵检测的深度学习方法,主要研究工作如下:(1)提出了结合卷积神经网络与模型融合的车内网络入侵检测方法。方法基于代表性深度学习模型Alex Net和VGG16的网络结构,设计构建了两个卷积神经网络模型My＿Alex Net及My＿VGG,并使用加权平均法对这两个模型进行模型融合。与其他使用深度学习模型的车内网络入侵检测方法相比,本文提出的卷积神经网络与模型融合结合方法具有更好的检测性能。上述方法检测64个连续CAN消息帧耗时0.25毫秒,测试准确率最高可达99.91%。在上述方法的基础上引入全局平均池化层代替全连接层,模型改进后,检测耗时为0.21毫秒,测试准确率最高可达99.93%。(2)针对实车攻击数据集不易大量收集以及深度学习模型对训练数据数量高度依赖的情况,提出了结合深度迁移学习与支持向量机的车内网络入侵检测方法。本方法中,深度迁移学习模型提取CAN消息帧特征,支持向量机实现分类检测。为进行对比实验,选取了模型My＿Alex Net和My＿VGG的不同网络层作为特征提取层。在数据集受限的情况下,本文提出的深度迁移学习与支持向量机组合模型方法仍具有较好的检测性能,测试准确率最高可达99.1%。本文提出的结合卷积神经网络与模型融合的入侵检测方法和结合深度迁移学习与支持向量机的入侵检测方法,为如何提高入侵检测深度学习模型的检测性能以及如何改善数据不足带来的影响提供了新的研究思路。

关键词： 模仿学习   动态运动基元   黎曼流形   核化运动基元  

摘要： 机器人技术中的许多经典问题都有公认的算法解决方案,不需要学习,比如跟踪、同步定位和映射、逆运动学、路径规划和最优控制等。这类方法结合起来解决工厂等受控环境中的问题,但未能为非结构化动态环境中的任务提供稳健的解决方案。近年来,机器学习的发展已经开始通过机器人从自己的行为、经验和与人类的互动中学习来解决这些具有挑战性的问题,从而在不确定、新颖和不断变化的情况下提供适应性。本文主要采用模仿学习方法针对机器人技巧学习领域中的位置技巧和轨迹技巧展开研究。首先,对于位置技巧学习问题,本文介绍了高斯混合回归(GMR)和核化运动基元(KMP)算法。高斯混合回归(GMR)算法采用高斯混合模型(GMM)对示教数据建立概率模型,将GMM联合概率密度的条件分布作为机器人学到的位置技巧;与传统的技巧学习方法相比,KMP算法在预测中显性的引入样本轨迹的方差,并且可以预测多输出变量对应的协方差。其次,对于轨迹技巧学习问题,本文提出了四元数空间的动态运动基元算法。传统的动态运动基元算法只能学习位置技巧。本文通过引入四元数流形,将该算法推广到四元数空间,并且利用笛卡尔积的组合,使得该算法能够同步学习示教样本的位置特征和姿态特征。随后,本文引入任务参数化的处理方式,使得技能学习算法能够在远离示教的区域处理外插问题。最后,本文搭建了机器人操作技能学习的实验平台,分别对两类技巧学习问题的解决方法进行了实验验证,并分析实验结果。本文对比在视觉示教时样本轨迹稀疏的情况下GMR算法和KMP算法的优劣。GMR算法拟合出的示教轨迹带有原始轨迹的不确定性;KMP算法在预测中显性的引入样本轨迹的方差,拟合出的轨迹更为平滑。随后,配合动态运动基元算法完成了轴孔装配的验证实验。在验证轨迹学习算法时,本文采用拖动示教收集示教数据,建立了四元数空间的动态运动基元算法模型,最后通过任务参数化方法完成轨迹技巧的泛化。实验表明,技巧学习模型在示教点和测试点都能够完成示教动作,证明了该算法在同步学习位置特征和姿态特征时仍具备良好的复现和泛化能力。

关键词： 教育数据挖掘   个性化习题推荐   冷启动推荐   元学习   异构信息网络  

摘要： 近年来,个性化的习题推荐一直是教育领域的重要研究课题,习题推荐通常分为两个过程,一是根据学生的做题记录来了解学生的知识点掌握情况,二是根据学生的知识点掌握情况结合相关学习策略为学生推荐合适的习题,以达到帮助学生学习的目的。根据学生的特点为学生个性化地推荐习题,可以提高学生学习效率,提升学生的知识水平,也可以帮助学生探索新的知识,复习遗忘的知识点。这对帮助学生更好地掌握、探索、学习与巩固知识点都有着重要的意义。习题推荐算法的进一步发展主要面临两个问题:第一,大量的用户行为数据已经成为推荐系统的前提和重要组成部分,推荐系统需要根据用户的历史行为和兴趣预测用户未来的行为和兴趣。对于进入系统的新用户或者刚加入系统的习题,由于用户-习题交互较少,便会产生冷启动问题,进而影响推荐的结果,冷启动推荐一直是一个具有挑战性的问题。第二,目前主要的习题推荐策略一般是通过对资源进行评分和排序,或者依赖专家根据经验进行制定,但这种方式往往效率较低,同时难以根据学生学习情况和习题难度来为学生调整推荐方向,并且没有考虑推荐习题结果的多样性,使得推荐效果不好。因此,针对第一个问题,本文以最新解决冷启动推荐问题的模型为基础,融合图卷积神经网络(GCN),提出了Meta HIN-GCN模型。该模型同时利用了模型层面元学习和数据层面异构信息网络来解决冷启动问题。模型将用户-习题-知识点构建成异构信息网络并增加边权信息来丰富数据层面的信息,同时采用GCN来对用户信息进行嵌入,最大程度保留异构图结构的信息,并采用语义增强任务构造器和共同适应元学习器来捕获在元学习环境中基于异构信息网络的语义,进而学习适应多层面语义的一般知识。最后在不同元路径下的预测学生的习题正确概率,并根据注意力机制对元路径结果的进行融合,将合适的习题推荐给学生。针对第二个问题,本文通过引入习题难度、多样性和准确度指标,制定个性化习题推荐策略,根据模型对学生的预测,推荐难度符合预设难度的习题给学生,同时考虑了多样性,在推荐过程中保证推荐习题结果的多样性,令整体的推荐效果更好,推荐结果比原排名推荐的方式更优异、更具可解释性。实验方面,在验证冷启动问题上,本文将数据合理分为多种冷启动场景进行不同的实验验证,保证结果的可靠性和效果的优越性,同时进行参数相关实验,优化调整模型参数,并且与传统推荐模型,异构信息网络模型以及其他冷启动推荐模型进行对比,将本模型的结果进行验证。在习题推荐策略方面,也与目前广泛应用的习题推荐模型进行实验,引入习题难度参数,采取准确度和多样性为指标,对比各项指标的结果的差异和突出性,验证本文模型的推荐效果。

关键词： 脉冲卷积神经网络   注意力   数据驱动   任务驱动   全局视野  

摘要： 随着卷积结构在脉冲神经网络中的引入,网络对局部特征的提取能力显著增强,脉冲卷积神经网络(Spiking Convolution Neural Network,SCNN)因此成为在神经形态视觉任务中的研究热点。但由于卷积核的局部视野特性与多核卷积带来的通道维度加入,SCNN想要对分布复杂化的脉冲事件做出全局且精准的重要性判断还具有一定的挑战。针对上述问题,本文研究一种多注意力SCNN学习模型,包含由数据驱动的预注意力,以提供全局重要性感知能力;由任务驱动的多维度注意力,以缓解维度复杂化带来的学习压力。具体内容如下:(1)基于数据预处理的SCNN预注意力模型。该模型通过对输入到网络的脉冲数据进行预处理以获取预注意力。首先将获取脉冲事件流重要性的BOE方法改进后用于脉冲图片数据,通过计算脉冲在各样本内被激活的普遍性和在所有样本间被激活的特殊性,从全局视角综合衡量脉冲在空间位置上的不同重要性以获取到预注意力矩阵,然后将该矩阵作用于SCNN的各卷积层,进而解决由卷积局部视野所引起的全局重要性判断能力缺乏的问题。(2)基于任务学习的SCNN多维度注意力模型。该模型通过为SCNN添加注意力模块,帮助网络在任务学习时获取到多维度注意力。首先对脉冲神经网络的时间维度注意力TA-SNN方法加以优化并扩展至其他维度,然后设计多维度注意力模块并加入SCNN中,使网络通过任务学习获取并融合通道、时间与局部二维空间维度的注意力,形成适应SCNN的多维度注意力模型,缓解通道维度参与下的任务学习复杂化问题。(3)基于多注意力的SCNN学习模型。该模型将由数据驱动与任务驱动获得的注意力进行有机结合,从局部与全局、时间与空间各个方面设计注意力融合策略,形成多注意力SCNN学习模型,帮助神经元对散落在复杂维度内的脉冲事件做出全局且精准的重要性判断。最后,本文将上述研究成果应用在多个神经形态视觉任务中,实现了识别精度、收敛速度等方面的显著提升,这验证了本文方法的有效性和高效性。此外,本文通过大量实验深入分析了实现整体性能提升的内在原因。

摘要： Q：有没有像打游戏一样让人一直上头的学习方法？咱们之前聊过坐标法和费曼学习法了，就有小伙伴发私信跟我说，道理我都懂，但是“臣妾做不到”啊！我寻思着我让你打游戏的时候也没见你说“做不到”啊，怎么就读书一条虫，游戏一条龙了呢？你别说，还真的有那种跟打游戏一样让你上头的学习方法，它就是上瘾学习法。