关键词： 工业信息物理系统   入侵检测系统   深度信念网络   深度自编码网络   生成对抗网络  

摘要： 第四次工业革命推动了无线通信、云计算、大数据、人工智能、智能驾驶汽车等新兴科技的快速发展,催生了工业信息物理系统(Industrial Cyber Physical System,ICPS)。然而,由于开放的无线通信逐渐取代有线连接,使得ICPS既面临着传统恶劣工业环境干扰又面临着当代各种网络安全威胁。本文从构建有效的入侵检测模型入手,以增强系统在海量数据环境下识别攻击行为能力为目标,研究了工业信息物理系统下基于深度学习的入侵检测策略。主要的研究内容如下:(1)对ICPS的基本概念、架构方式以及研究的价值进行分析,讲述工业信息物理系统在真实生产环境下可能遭受的网络攻击类别。对ICPS下天然气管道SCADA系统进行分析研究,并设计该场景下基于深度学习的入侵检测系统架构。(2)基于深度学习混合模型的ICPS入侵检测方法的研究。选用神经网络算法中的深度信念网络(Deep Belief Networks,DBN)作为主体数据降维部分,以经典机器学习算法支持向量机(Support Vector Machine,SVM)作为分类检测部分。将预处理后的工业流量数据集作为降维部分DBN的可见层导入;在分类检测时,利用SVM对降维后的数据进行分类识别,判断系统是否遭受恶意攻击。仿真实验结果表明,本文提出的入侵检测方法兼具良好的识别准确率和检测效率。(3)基于深度自编码网络的集成学习ICPS入侵检测方法的研究。针对基于深度学习混合模型的ICPS入侵检测方法无法实现多分类检测,且采用DBN模型作为数据降维模块无法提高数据抗干扰能力,导致模型的泛化能力较低等问题,引入深度自编码网络(Deep Auto-Encoding Networks,DAN)和集成深度信念网络(Ensemble Deep Brief Networks,EDBNs)模型,组成基于深度自编码网络的集成学习工业信息物理系统入侵检测方法。预处理后的工业流量数据传入DAN模块,输出降维后的数据并导入集成学习模型EDBNs中,最终得到预测结果。仿真实验结果表明,与基于深度学习混合模型的工业信息物理系统相比,本文提出的方法能够克服SVM只能实现二分类的缺陷,且由于集成学习模型的引入,降低了系统对单一模型参数最优的依赖性,也显著降低了人工调参的时间成本,具有更高的实用性和识别率。(4)基于数据增强的ICPS入侵检测方法的研究。针对基于深度自编码网络的集成学习ICPS入侵检测方法在训练样本分布不均情况下识别某种类型流量准确率较低的问题,引入数据增强模块。首先采用随机森林算法对输入特征进行筛选,划分出主特征和非主特征,以主特征构成的样本作为数据增强模型的输入;然后,采用不平衡数据过滤层筛选出训练样本少的类别样本,利用生成对抗网络(Generative Adversarial Networks,GAN)对该类样本进行数据增强,生成该类别的训练样本数据;最后,利用DBN模型结合Softmax分类器对增强数据样本进行分类识别。本文提出的方法能有效的拟合训练样本,增大训练样本数量,能有效的提高入侵检测系统的泛化能力。

关键词： 恶意程序检测   深度学习   LightGBM   卷积神经网络  

摘要： 互联网、物联网等技术的高速发展的同时,恶意程序的种类和隐蔽技术也在快速发展,现有的恶意程序检测技术已经无法很好的应对指数式增长的恶意程序。恶意程序通过电子邮件和资源链接等方式传播,给网民使用计算机造成巨大的影响,甚至造成财产损失。因此,本文针对现有的恶意程序检测技术进行研究,通过对恶意程序在计算机系统中运行的行为特征的分析,设计了一个Windows系统下的恶意程序检测系统。该系统是基于卷积神经网络模型设计的,对恶意程序的识别率达到98.89%。本文的主要研究内容如下:(1)分析了现有的恶意程序检测技术优点和局限性,提出了本文所搭建的基于卷积神经网络的恶意程序检测系统,该系统具有自主学习能力以及对恶意程序检测快而准确的特点。(2)详细研究了恶意程序在系统运行过程中的动态行为特征,找到能够很好表示恶意程序在运行过程中动态行为特征,即恶意程序在计算机系统中运行时对Windows API函数的调用序列。另外本文还提出了两种动态行为特征表示方式,即特征向量化和特征图形化。(3)重点研究了本文搭建恶意程序检测系统所使用的关键技术。其中详细研究了 LightGBM算法和卷积神经网络算法,并且在搭建模型时使用交叉验证与网格搜索算法对LightGBM模型进行调优;通过使用不同的优化器和不同的图像尺寸对卷积神经网络模型进行参数调优。最后我发现卷积神经网络中使用Adam优化器和灰度型特征图所训练的恶意程序检测模型对恶意程序的识别准确率最高,达到98.89%。另外设置横向对比实验,使用相同的测试数据集,对本文搭建的两种恶意程序检测模型进行测试实验。通过实验结果我们发现,基于卷积神经网络的恶意程序检测模型的性能优于基于LightGBM的恶意程序检测模型。

摘要： 为抓实抓好党史学习教育,团哈尔滨市委明确了"五个一"(即"围绕一条主线、统筹一个整体、设计一套载体、破解一个难题、实现一个目标")的工作思路,学党史、强信念、跟党走,充分彰显共青团的政治担当。习近平总书记在党史学习教育动员大会上的重要讲话中指出,在全党开展党史学习教育,是党中央立足党的百年历史新起点、统筹中华民族伟大复兴战略全局和世界百年未有之大变局、为动员全党全国满怀信心投身全面建设社会主义现代化国家而作出的重大决策。

关键词： 电站锅炉   NOx排放   集成学习   Stacking   Blending  

摘要： 在我国发电行业领域,目前主要的发电形式仍然是火力发电,电站锅炉烟气的排放是目前造成大气污染主要因素之一。随着我国对污染物排放的严格控制,燃煤机组氮氧化物（NOx）排放的精准控制显得十分重要。选择性催化还原（Selective Catalytic Reduction,SCR）脱硝技术是目前燃煤电站主要的烟气脱硝技术,SCR反应器入口处NOx含量准确、快速地测量是燃煤机组进行高效、环保排放控制的基础。当前大多火电厂采用的是烟气在线监测系统（Continuous Emission Monitoring System,CEMS）对SCR入口NOx含量进行测量,但是其在测量烟气浓度时存在一定的时间延迟,无法及时地反映NOx的浓度,进而不能快速指导喷氨动作进行脱硝。因此,及时对SCR入口NOx含量进行准确预测显得尤为重要。本文以SCR入口处的NOx含量为研究对象,建立了基于集成学习方法的锅炉NOx排放预测模型,对NOx含量进行提前预测。首先,对锅炉NOx排放的影响因素以及SCR脱硝原理进行分析,选择初始相关变量以备筛选,通过互信息特征选择方法,最终选定27个变量作为模型输入变量,达到了减少冗余数据、降低数据维数的目的,之后对输入变量进行Min-max归一化处理,并对数据集进行划分。其次,分别建立了门控循环单元（Gate Recurrent Unit,GRU）、卷积神经网络（Convolutional Neural Networks,CNN）、多元线性回归（Multiple Linear Regression,MLR）三种不同的模型,以作为后续集成学习方法的基模型。针对这三种模型,对比分析了每个模型中输入步长、网络层数等参数对预测准确度的影响,通过实验对比确定了每个模型的最优参数,使每个模型达到最优的状态。然后,建立了基于Stacking集成方法的模型,从不同的角度展示了Stacking模型良好的预测性能,并建立了长短时记忆网络（Long Short-Time Memory,LSTM）、深度神经网络（Deep Neural Networks,DNN）、支持向量回归（Support Vector Regression,SVR）、Bagging、Adaboost等模型进行对比,结果显示,Stacking预测结果不仅优于集成模型中的基模型,而且也优于上述对比模型,证明了Stacking集成模型具有较强的预测性能。最后,建立了基于Blending集成方法的模型,结果显示,Blending同样要好于其他对比模型,而且Blending的预测效果要略好于Stacking模型。为验证集成模型的泛化能力,选取了不同电厂的数据进行实验,对模型参数进行重新调优,在同样操作步骤下进行对比,结果显示,针对不同数据,集成模型仍然能够较为精准地预测NOx的排放,并且Stacking和Blending两种集成方式要比其他算法预测更为精准有效,比单一基模型预测效果更好,体现了两种集成模型在不同数据集上的泛化能力。

关键词： 联邦学习   分布式计算   ?0约束最小化   梯度下降法  

摘要： 移动互联网技术的迅猛发展在极大程度上丰富了每个人的精神文化生活,数据作为其核心生产资料也逐渐为各行各业所重视.隐私泄露、数据买卖导致的社会问题屡见不鲜.如何以保护公民隐私为前提实现人工智能算法,打破数据孤岛困境,是如今学术界以及产业界共同努力的方向.联邦学习正是解决此类问题的有效途径之一.在联邦学习框架下,本文提出了一种通信有效的分布式计算方法.通过构建?0约束最小化问题的KKT条件,利用梯度下降法实现高维稀疏线性模型的参数估计和特征筛选.本文工作的创新点体现在两个方面.其一,算法充分利用数据的梯度信息,使原始数据不出本地即可完成联合建模,保障了数据的安全性和私密性;其二,算法基于高维稀疏设定,采用先确定支撑集后估计参数的方式降低算法复杂度,提升了计算效率.实验结果表明,本文算法可以有效进行分布式计算,相较于其它常用分布式方法收敛速度更快、通信成本更低、计算结果更准确.此外,对于单机系统下的中等稀疏问题,本文算法相较于经典的惩罚方法具有高精度、特征筛选高可信的特点.

关键词： 初中英语   小组合作   学习方式   教学研究  

摘要： 在社会经济飞速发展的背景下,人们也越来越重视教育行业的发展。科学合理的教学模式能够使教学顺利进行,在初中英语课堂教学中,教师要致力于打造现代化的教学体系,利用有效的方法引起学生对知识的热情。本篇文章重点研究了目前在初中英语教学中存在的弊端,深入探索了在初中英语课堂中采取小组合作学习方法的优势,旨在为初中英语教师今后的教学提供一定的参考。

关键词： 众包   深度学习   主动学习   专家验证  

摘要： 机器学习需要大量的有标记数据,而标注数据通常需要人工参与,耗时耗力代价昂贵。如何降低训练满足精度要求的机器学习模型所需的标注代价是机器学习领域中的研究热点。主动学习通过询问最具信息量的数据标记,能够用尽可能少的有标记数据得到尽可能好的模型,从而降低标注代价。这些需要主动学习询问标记的数据如果采用人工标注,标注代价仍然很高。众包是一种廉价的数据标注方式,但由于雇员水平参差不齐,标记质量较低,需要利用专家验证进一步提高标记质量。本文围绕能够降低标注代价的主动学习与专家验证方法进行研究,取得了以下进展:1.提出了一种基于局部与全局信息的主动学习方法。该方法基于样本与其近邻的模型输出差异估计样本的局部信息,通过将数据划分为不同的聚簇利用样本的全局信息,并根据模型在不同聚簇上的表现动态分配标注预算。实验结果表明该方法能够有效地减少模型训练所需的有标记数据。2.提出了一种基于协同标注的专家验证方法。该方法结合标记推断与模型学习构建协同标注框架,通过标记推断为模型提供伪标记数据,同时利用模型预测更新标记推断的结果,进而利用专家验证标记推断与模型预测不一致样本的标记。实验结果表明该方法能够降低需要专家验证的标记数目。

摘要： "我们永远处在一个刷题的环境中,根本不知道自己喜欢什么,更不知道自己为什么要学习。"不知从何时起,学习的无意义感、无价值感开始在儿童青少年群体滋生并蔓延,类似"读高中是为了考好大学,考好大学是为了找好工作"的"教育价值说"已很难激发孩子们的学习动力。在"我们为什么要学习"的困扰下,许多孩子对学习失去兴趣。为什么会出现这种现象?我们该如何激发孩子们的学习动力?针对这些问题,《教育家》杂志邀请相关专家进行了讨论。

关键词： 细粒度图像分类   小样本学习   局部特征   全局特征  

摘要： 细粒度图像分类是计算机视觉领域中的一个重点研究方向,由于细粒度图像数据存在难以收集与标注昂贵的特性以及细粒度类别间相似度高的特点,其识别难度往往远高于通用图像数据的识别。现有的细粒度图像分类方法尽管在一定程度上缓解了类间差异小的问题,但这些方法的训练却倾向于依赖大量数据,而在样本量少的情境下无法很好地完成分类。为了解决上述问题,研究人员提出了针对细粒度图像分类场景下的小样本学习方法,这些基于小样本学习框架的方法挖掘图像的局部信息,使模型尽可能地减小对数据量的依赖。但这些方法却忽略了特征之间的关系对于分类效果的影响,从而导致分类结果并不理想。本文基于现有的小样本框架,并结合特征之间的关系,提出了两种针对细粒度图像分类场景的小样本学习方法。在充分考虑特征之间关系的基础上,本文提出两种新的小样本学习模型用于解决小样本细粒度图像分类问题。论文的主要工作如下:(1)提出了基于全局-局部特征融合的小样本细粒度图像分类方法。该方法的核心思想是利用全局特征与局部特征之间的关系构建注意力图,以注意力机制提升局部特征的判别性,从而提升分类能力。我们应用原型学习的思想得到类别的全局特征,并借助该特征构建类别相关注意力图(Class-aware Attention Map,CAM),利用该图可以使模型更关注关键性局部区域。同时,在模型中引入了一种基于局部特征之间关系计算相似度的度量学习方法,该方法对特征进行了扩充以提升小样本学习的准确率。该模型还设计了联合损失函数来对全局特征的影响程度进行调节,使得模型能够达到最优的状态。最后,通过在多个细粒度图像数据集上的对比实验验证了该模型的有效性,同时利用可视化以及消融实验验证了模型各部分对模型性能的影响。(2)提出了基于局部特征组合的小样本细粒度图像分类方法。该方法的核心思想是设计了局部特征组合机制和局部区域注意力机制用来提升特征的表示能力,从而提升模型的分类能力。由于直接使用局部特征分类会引入噪音特征,同时特征分布散乱无法很好地对图像、类别进行表示,因此我们引入了局部特征组合机制来对局部特征进行整合使得新的代表特征能够更加完整的描述类别和图像。基于新的区域代表特征,本文提出了一种区域注意力机制用于找到不同区域的重要性,利用该重要性向量来指导预测结果,一般来讲,更具判别性的区域对分类影响大,反之则小。最后,通过在细粒度图像上的对比实验验证了该方法的性能,同时利用消融实验验证了方法各部分的有效性。