关键词： 自然语言处理   知识图谱   命名实体识别   关系抽取   小样本学习  

摘要： 工业知识图谱是工业知识自动化的重要基础,知识抽取(命名实体识别NER和关系抽取RC)对于知识图谱构建至关重要。在NER和RC两个任务上,甚少关于垂直特定邻域的文本任务相关研究的最新成果,直接搬用他人网络模型必定会遇到垂直工业领域邻域文本任务的诸多狭隘性。目前,在工业领域知识抽取算法主要存在一下几点困难与挑战:一方面由于针对专业领域,文本中充斥着大量专业知识,导致图谱schema层构建困难,并且带来大量的标注成本;另一方面,工业场景繁多,而工业相关文本难以获得和数据量低下的问题比比皆是,且训练模型的泛化性不高。因此相关研究有待进一步改善。本文针对上述问题,开展以下研究工作:工业文本命名实体识别任务上,为了极大利用好中文字词组合间多重意义,本文利用了中文字向量和词向量的双特征输入,充分充分利用领域文本语料的字词特征。在下游模型中使用双向LSTM极大地关注到上下文语义关系,在最后通过线性变换和log-softmax得出序列预测标签。在模型对比实验表明,该模型在近期先进模型中展现出良好的竞争力。最后为了提高在小样本情况下的NLP模型,在本文做出了四点改进:(1)相关知识迁移,(2)超参数调优,(3)训练嵌入向量,(4)优化out-of-vocabulary词汇。经过四步改进,双特征输入LSTM模型的F1分数值有了9.5的良好提升。工业文本关系抽取任务上,本文使用了一种基于上下文注意的原型网络用于Few-Shot关系分类任务。上下文注意力机制的使用主要是通过赋予实例权重来突出关系原型下实例的重要性,从而生成满意的原型来缓解原型偏差问题。实验结果表明,该模型能够提高Few-Shot关系分类任务的精度和收敛速度,在本文的目标数据集上达到了92.36的最高的准确率。针对本文的项目,我基于Springboot、Neo4j等技术开发了一款知识图谱可视化平台,并在文章最后做出报告,可在附录中看到该平台截图。

关键词： 行人重识别   无监督领域自适应   自监督学习   渐进式学习  

摘要： 行人重识别旨在从多个不同监控摄像头捕获到的画面中检索特定行人,在智能安防、无人超市等领域都具有重要价值,但受实际应用环境的影响,存在模型泛化性能差、数据标注困难等问题。随之提出的无监督行人重识别方法尝试在无人工标注的新场景数据上直接训练模型,但其性能仍不够理想。自监督学习致力于从大量无标注数据中利用样本内部结构和样本间关系提取表征信息,在部分自然语言处理和计算机视觉领域取得了较好的效果,其任务设定与无监督行人重识别不谋而合。本文研究基于自监督学习方法的无监督行人重识别算法,主要工作内容和创新点包括:1.研究了自监督学习与无监督行人重识别的基本流程和框架,设计了基于自监督学习的无监督行人重识别框架,该框架将无监督行人重识别划分为预训练和迁移训练两个阶段。2.研究了自监督学习与无监督行人重识别在任务设定、数据特点等方面的异同,提出了一种基于内存队列的对比学习方法,使自监督学习方法与无监督行人重识别的预训练过程紧密结合。3.研究了如何缓解无监督图像行人重识别中错误伪标签样本对模型迁移训练过程的负面影响,提出了渐进式无监督领域自适应方法,通过循环迭代提取表征、标记伪标签、扩展训练集、训练模型四个步骤,逐步提高模型性能。4.通过一系列实验探索了上述方法中各参数对模型性能的影响,并将实验结果与相关现有方法进行对比,验证了本文提出的基于自监督学习方法的无监督行人重识别算法的有效性。

关键词： 机器学习方法   航空旅客出行指数   相关性理论   互信息模糊理论   贝叶斯网络   极值理论  

摘要： 近年来,机器学习与大数据技术取得了长足进步,实现了以机器学习方法为主并融合其他相关数据分析技术在各个领域的广泛应用。尤其在民航运输领域迅猛发展的背景下,由于智慧机场建设和航空旅客绿色出行的内在驱动,使得行业生产相关数据不断增长与积累,运用机器学习方法赋能机场运营管理与相关服务质量水平提升。然而,由于航空旅客出行相关问题的复杂性,关联的业务错综交织,采用传统的一些方法往往不能得到理想的结果。本文主要研究以机器学习方法为关键技术实现路线,构建管理与决策新模型方法,为航空旅客出行相关问题的解决提供更优方案。围绕航空旅客出行中的旅客吞吐量、航班旅客量、出行指数分析预测及地服保障人员排班等关键问题展开探讨,本文重点研究利用现有机器学习技术方法与相关数据分析技术,结合问题特点构造新模型方法,进而实现将这些新模型方法应用于解决机场运营管理与航空旅客出行相关具体问题。首先对智慧机场、航空旅客出行、旅客吞吐量、航线航班客座率、地服人员排班等问题进行梳理分析,同时对机器学习方法、模糊理论、信息论、极值理论等关键技术进行了探讨;然后基于时间序列、互信息、模糊、极值理论相互融合并改进机器学习方法模型,提出基于长短记忆与支持向量回归的模型方法、基于互信息改进支持向量回归模型方法、基于模糊最大化互信息改进贝叶斯网络模型方法;最后将这些方法分别应用于吞吐量预测、航班旅客量预测、航空旅客出行指数预测以及地服保障人员优化排班等难题,并取得了较好的效果。本文主要的研究工作说明如下:1)针对航空旅客吞吐量预测问题,根据航空旅客吞吐量预测时间序列分布特点,考虑长短期记忆网络(LSTM)改善了RNN中存在的长期依赖问题,提出了一种基于长短期记忆网络改进的支持向量回归预测方法即LSTM-SVR模型方法。凭借LSTM作为动态的循环神经网络,能比较好地反映航空旅客吞吐量动态变化结果,而SVR具有的修正特点即“消去”大量冗余样本,经过两种机器学习方法的优势融合,极大减少了预测误差随时间的传递。通过实验分析显示,LSTM-SVR模型方法可行且预测精度更高,该方法对机场规模与资源配套建设具有辅助决策意义。此外,根据机场网络布局,考虑机场网络航线吞吐量影响,构建航班旅客预测模型,为航空公司经营的中航班旅客量预测提供技术手段即可以有效帮助航空公司更了解客户,这一研究成果对航空公司航线的运营收益提升带来一定的帮助。2)针对航空旅客出行评价问题的研究,首先,本文首次提出航空旅客出行指数与指数等级概念,它们能很好地反映机场繁忙程度,为机场运营管理与旅客出行提供了一个新的参考指标。其次,针对航空旅客出行指数预测,利用互信息值选取关键影响因子,构建基于互信息改进的支持向量回归MI-SVR模型方法。最后,实证分析发现,通过互信息选择特征影响因子后,常见的预测方法预测效果都有明显提升,而本文提出的MI-SVR模型方法相对更优。该创新研究成果较好反映了航空旅客出行指数的时空分布,对机场运营管理意义重大,一方面,机场可以选择在相对不那么繁忙的时段内安排相关设施设备的运维或其他施工建设活动,最大限度减少此类工作给机场运营管理带来的影响;另一方面,针对旅客出行高峰时段,充分调配相应的内外部资源保障服务质量。航空旅客出行指数不仅适用小型机场,更适用于大型枢纽机场,对旅客选择民航方式出行时段具有参考价值。3)考虑影响出行指数因素中小概率情况,利用模糊思想提出了基于模糊最大化互信息思想改进的贝叶斯网络航空旅客出行指数预测方法。该方法通过模糊构建虚拟样本集即随机将数据进行分组,将偶然出现的现象数据“均衡化”处理洒落在混乱数据集中,利用数据原有的冗余数据减小,强化相关性数据的作用,达到提高分类器的分类效果。实证分析发现本文提出的改进贝叶斯网络模型方法可行且有效,该方法不仅适用具有大量航空旅客出行指数历史数据的精准预测,也适用少量数据时的精确预测,且表现更突出。此外,利用手肘法改进聚类方法K-means对出行指数、影响因素聚类分析,实证分析发现聚类效果良好。4)针对航空旅客出行指数极值分布下的地服保障人员排班问题,首先根据地服保障人员排班特点,结合极值理论与经典智能优化算法,提出了考虑航空旅客出行极值分布的地服保障人员排班模型;然后利用智能优化算法进行求解获得较优的地服保障人员排班方案。最后进行实证分析,实验结果表明,通过机器学习方法对出行指数预测获得极值分布后,运用智能优化算法排班比人工标准排班效率更高,且对比分析了是否考虑极值分布的情况下进行地服保障人员智能优化算法排班,考虑极值与按均值条件下排班,前者地服保障工作总量在既定的工作期内减少,人员利用效率得到提高。探讨了某机场地服保障服务53周为工作期,工作量(以小时计算)相比减少约8.1%,具有良好的运营效益。此外,通过问卷调查发现,科学的地服保障人员排班方案有利

关键词： 无人机集群   多目标搜索与跟踪   多智能体深度强化学习   可扩展性   最大互惠回报   通信学习  

摘要： 多目标搜索与跟踪是无人机集群一种重要运用模式,广泛应用于环保监测、灾害救援、边境巡逻、反恐处突等领域。协同决策作为其核心关键技术之一,对于促进集群高效协作,进而提升其多目标搜索与跟踪能力起到重要作用。传统的多智能体协同决策方法通常存在需要精确问题建模、求解效率低和规模可扩展性差等不足,且不具备策略学习进化能力。本文以多智能体深度强化学习(Multi-Agent Deep Reinforcement Learning,MADRL)为基础理论支撑,围绕无人机集群多目标搜索与跟踪问题,研究集群规模可扩展的、群间行为互惠的、群间通信可学习的集群协作策略学习方法。论文主要研究内容和贡献如下:(1)针对大规模无人机集群协作策略学习问题,建立了基于邻近交互的无人机集群马尔科夫决策过程模型,设计了基于特征表示的协作策略学习方法,提高了 MADRL的可扩展性。论文对无人机集群多目标搜索与跟踪问题进行建模,考虑集群规模大、邻近无人机和观测目标数量变化等特点,从联合协同决策分解和变长输入信息处理两方面解决无人机集群MADRL的可扩展性问题。1)集群规模可能巨大且未知,考虑无人机之间的局部通信和局部交互,从个体的角度建立swarm-MDP形式化模型,使个体动作决策复杂度与集群规模无关,避免维数灾难。2)环境的部分可观性和动态变化导致无人机的输入信息长度动态变化,而输入维度固定的神经网络无法直接处理变长信息。论文提出一种基于图表的特征表示方法将变长输入信息表示为固定维度的特征,并保持特征与输入信息的顺序无关,使得神经网络可以适应邻近无人机和观测目标的数量变化。3)基于经验共享训练机制设计了参数共享多智能体值函数近似强化学习算法学习无人机集群的共享协作策略。仿真结果表明:与三种基于信息编码的方法相比,本文方法的训练时间大幅缩短,且无人机集群在训练场景中搜索跟踪到更多目标,验证了本文方法可用于学习大规模无人机集群多目标搜索与跟踪协作策略;在集群规模从5到1000的不同场景中,无人机集群可以搜索跟踪到更多目标,可扩展性能更好;进一步,在局部通信条件下,无人机集群可以实现与全局通信相当的多目标搜索与跟踪性能。(2)针对无人机集群协作策略冲突难以消解问题,提出了基于点互信息神经网络估计的协作评价方法与基于最大互惠回报的协作策略学习算法,提升了无人机集群的协作效率。部分可观条件下,无人机最大化其私有回报时可能会与邻近无人机产生冲突,不利于集群协作。论文提出最大互惠回报方法,根据无人机之间的实时协作程度对回报函数进行重塑,对无人机之间的协作进行奖励和引导。1)使用点互信息来捕获无人机之间的实时协作程度,并提出点互信息的神经网络估计方法,通过仿真算例验证了该方法在估计两个智能体之间的实时协作程度上的有效性。2)将无人机的互惠回报定义为环境回报与内部回报的加权和,其中内部回报定义为点互信息与邻近无人机环境回报的乘积,鼓励无人机的协作行为。3)分别以两种互惠回报形式(互惠即时回报和互惠累积回报)为目标函数,推导策略梯度优化过程,并设计相应的多智能体执行器-评价器算法学习无人机集群的共享协作策略。仿真结果表明:与最大环境回报相比,本文方法可以使无人机集群在训练场景中搜索跟踪到更多目标;集群规模从5到1000变化时,无人机集群仍然可以搜索跟踪到更多目标,验证了方法的有效性。(3)针对无人机集群自主协作通信策略学习问题,提出了基于注意力机制的无人机集群通信策略及多智能体深度强化学习算法,提高了无人机集群的自主协作通信能力。人工设计的通信协议通常存在灵活性和普适性不足等问题,限制了无人机的通信能力,不利于集群协作。论文不再沿用传统人工设计通信协议的思路,采用数据驱动的新思路,研究如何使用MADRL来学习无人机集群的自主协作通信策略。1)将无人机的自主协作通信策略建模为从自身输入信息到发布的通信消息的映射,让无人机可以根据实时状态自主决定向外发送的消息内容。2)基于注意力机制设计通信策略神经网络,其中注意力机制可以分辨不同消息的重要程度,并适应局部通信网络拓扑动态变化。3)以邻近无人机的累积回报为通信策略的目标函数,推导连续空间上的确定性通信策略梯度优化过程。4)基于集中式训练-分布式执行框架,设计无人机集群自主协作通信和运动混合策略学习算法来同时学习无人机的通信策略和运动策略。仿真结果表明:与Local CommNet和Attentional Hidden方法相比,本文方法学到的通信策略和运动策略可以更好地促进无人机集群的协作,进而搜索跟踪到更多目标;进一步,当通信故障率逐渐增加时,该通信策略和运动策略具有一定的鲁棒性。

摘要： 当代大学生承担着红色血脉传承人的重担。以人生最美好的阶段融入民族复兴大业，需要的不仅是文化知识，更需要崇高的理想。中国从近现代的硝烟中蹒跚走来，先驱者上下求索留下了宝贵的经验与精神财富。时至今日，大学生唯有对历史形成正确认知，并积极投身于建设中，方能继承先人艰苦奋斗之志，展家国宏图之愿，不负时代，奋勇争先。

摘要： 意义,是人们对事物本质的解释。探究万物的意义是学校教育的重点,理解学科的意义是课程教学的支点。山东省诸城市实验小学把理解和建构意义作为学科的核心要素,将理解力发展作为教学的重要标准,以概念引领的单元整体设计为重点,推进教学评一致性研究,取得了一定的成果。核心:提取概念,发现意义概念是思维的细胞,是人脑对客观事物本质属性的反映。理解力教学通过提取基本概念来发现意义,教学设计的关键是找准基本概念,建构单元概念网。发现基本概念,

关键词： 不稳定环境   视频修复   部分卷积神经网络   深度强化学习   模型的不确定性   大偏差原理  

摘要： 作为人工智能领域的重要概念,深度学习的研究已经引发了国内外学者的广泛关注和热情。深度学习的发展目标是使机器拥有与人类似的感知和决策等能力,来帮助或代替人类解决很多工作和生活上的难题,如自动驾驶、AI医疗诊断、智能客服等。考虑到现实场景一般都是复杂多变的,因此将深度学习方法拓展到不稳定环境中,就具有重要的理论研究价值和实际应用意义。由于不稳定环境的制约,视频质量在传输中难以得到保证,目前对于该问题的研究大多集中于传输阶段,其效果受到客观条件的限制,无法保证视频的无损传输。同时,目前适用于复杂环境中策略求解的深度强化学习方法一般带有环境稳定的默认假设,然而在不稳定环境中该假设也难以满足,这就导致决策策略的有效性无法得到保证;并且深度强化学习方法本身也存在着探索利用平衡、超参数选择等棘手的问题。针对上述情况,本文的具体工作如下:(1)不稳定环境下的传输视频缺损问题。以视频传输数据为例,本文考虑了一个非常一般的带有完全随机性的视频缺损情况,并且提出了不稳定传输下低延时的视频修复方法:首先通过引入光流图将复杂的三维RGB图像中运动轨迹的提取问题降低到两维,再基于运动轨迹在时间维度上的连续性建立线性预测模型,来对受损的视频帧进行粗略修复;然后提出了一个编码-解码器结构的部分卷积神经网络,结合粗略修复的结果以及原始的参考帧来完成受损视频帧的精细修复。(2)不稳定环境下的强化学习问题。针对决策过程中环境发生改变的情况,本文提出了一个自适应的深度强化学习方法:首先,通过引入深度网络模型的不确定性,将深度网络对于状态动作值的确定预测转化为预测分布,该分布反映了智能体对环境的学习进度,并且通过比较采样得到的状态动作值可以对动作进行选择。当环境发生变化时,深度网络的训练数据分布将发生变化,其预测分布也会出现相应的变化,从而对动作的选取作出调整。其次,提出了一个深度强化学习中深度网络设置的合理性判据,并且基于大偏差原理将误判概率最小化,利用该判据可以在网络训练完成之前对其设置的合理性作出预判。经实验验证,低延时的视频修复方法不仅在多种信息丢失的情况下实现了比基线高4.0%～12.7%的修复质量,还有效减少了视频修复模型启动前的等待时间;自适应的深度强化学习方法在稳定和不稳定环境中都能实现自动的探索利用平衡及策略更新,并且有效节约了深度网络超参数设置过程的时间和成本。本文所提出的方法拓宽了深度学习的应用场景,有效提高了视频传输和强化学习方法的实用性和稳定性。

关键词： 心肌淀粉样变   肥厚型心肌病   机器学习  

摘要： 目的:本研究提出基于机器学习方法结合二维斑点追踪超声心动图(2D-STE)数据进行心肌淀粉样变和肥厚型心肌病的智能鉴别研究。方法:选取2015年6月-2018年11月在浙江大学医学院附属第一医院住院治疗,经活检明确诊断CA的患者74例,选择同期入住的HCM患者64例作为对照。收集患者的临床资料,实验室检查,常规超声心动图和2D-STE等数据。利用机器学习算法分别建立2种模型:1、利用临床资料,实验室检查,常规超声心动图和斑点追踪超声数据通过支持向量机,随机森林和梯度提升等机器学习方法进行数据分析和构建预测模型,并与传统的Logistic回归模型相对比;2、利用2D-STE应变数据通过分布式梯度提升(light GBM),极端梯度提升(XGBoost)和整合两种算法进行数据分析和构建预测模型。模型建立后利用受试者工作特征曲线(ROC)及曲线下面积(AUC)评估不同模型的性能。结果:在利用临床资料,实验室检查,常规超声心动图和斑点追踪超声数据进行建模的模型中,机器学习方法均表现出良好的区分性能(AUC值均>0.9),其中极端梯度提升模型具有最高AUC值,为0.98。与传统的Logistic回归模型(AUC=0.91)相比,支持向量机(AUC=0.95,P=0.477),随机森林(AUC值=0.97,P=0.301)和梯度提升(AUC值0.98,P=0.230)等机器学习模型预测CA的性能呈现不同程度的改善趋势,但AUC值的差异没有统计学意义。在利用2D-STE应变数据进行建模的模型中,整合两种算法的投票模型的判别能力与分布式梯度提升相仿(两者AUC均为0.86),而极端梯度提升的AUC值稍低,为0.84。随后在进行5折交叉验证时,结果提示投票算法在全局上更加稳健,并在部分测试集上优于单个算法。在第1种模型中,偏心指数,左室射血分数(LVEF),相对心尖纵向应变(RELAPS),慢性肾病,室间隔厚度(LVSd)和收缩压是随机森林和梯度提升模型特征选择中前6位的最重要的预测因素。在第2种模型中,Rad Strain3(中间段室间隔径向应变)是最重要的预测因子,其次是Long Strain Epi7(心外膜基底段前壁纵向应变),Cir Strain R4(基底段后壁环向应变率)。结论:数据驱动的机器学习方法在鉴别心肌淀粉样变性和肥厚型心肌病方面具有良好的表现,可以在不作预先假设的情况下,自动整合大量的变量数据进行特征选择,从而识别出最具有鉴别意义的预测因子。在大数据背景下,自动化的机器学习方法将有助于更好的识别出心肌淀粉样变的患者,以便及时进行有效的干预,从而改善预后。

关键词： 大历史观   党史学习教育   中国特色社会主义  

摘要： 党史学习教育，必须树立大历史观，深刻理解党的初心使命，准确把握马克思主义中国化的历史必然性，正确认识党在不同历史时期的经验教训，认清中国特色社会主义的历史方位。只有这样才能深刻认识党史学习教育的现实意义，帮助我们坚定理想信念，肩负历史使命和时代担当，从历史中总结经验，把握社会主义发展规律，发挥党史资政育人的作用，增强开拓奋进的勇气和力量，不忘初心、砥砺前行，全面推进中华民族伟大复兴的历史伟业。

关键词： 脑电图   眼电图   机器学习   深度学习   多模态警觉度估计  

摘要： 基于生理信号的警觉度估计方法(Vigilance Estimation)旨在解决公共交通安全中(Public Transportation Safety,PTS)由于驾驶员警觉度水平低下而导致交通事故频发的难题,如何在驾驶场景中确保预测驾驶员警觉度水平的精度与效率,是目前该领域的技术瓶颈。本文针对单模态与多模态不同条件下特征降维与重建的优化方法、学习方法如何同时具备较好的逼近能力与特征学习、如何提高学习方法的训练速度并使外部控制设备能较为准确的识别人类的警觉度水平等关键问题,提出了一系列基于生理特征与深度学习方法(Deep learning,DL)相结合的多模态深度网络模型,综合效率和预测精度达到了国际前沿或领先水平,主要贡献如下:(1)针对现存的多层网络模型只作用于分类应用的问题,提出了一种单模态自编码器深度网络模型(DAESN),在实现多层网络模型通用功能的基础上,额外实现了特征降维和信号重建的作用。同时,与现有的其它降维方法相比,本模型具有更好的泛化性能。特别地,编码层的当前权值被之前的解码层取代,并且与输入数据非常相关,还可提取到有效的特征以便用于模式识别。因此,本模型的训练时间较其它相关方法快了十几倍甚至几十倍,可以快速地检测出驾驶员的警觉度水平。最后,对连续输出执行均方根误差(RMSE)和相关系数(COR)指标分析,实验结果表明验证了本方法的可行性与优越性。(2)基于神经网络的学习方法对参数组合非常敏感,难以快速的选定最优参数,针对此问题,提出了一种具有子网络节点的双层神经网络模型(DNNSN),该模型可以在训练开始时随机选择参数,且不影响学习过程中的泛化性能,该模型的性能对参数不敏感,解决了上述难题。同时,针对极限学习机(Extreme Learning Machine,ELM)的单层体系结构在应用于自然信号时可能缺乏有效性的问题,该模型在拥有良好逼近能力的同时,还具有特征学习的能力,极大增强了方法的实用性。此外,在模型的入口层设置了最优的学习率后,其性能在模型得到合理收敛后得到了明显的提升,验证了该方法的有效性。(3)针对传统深度学习网络(DL)迭代过程步骤多和训练时间较长等问题,提出了一种多通道自编码器多模态警觉度估计深度网络模型。该模型包含了少量子网神经元,子网神经元具有特征选择、表示学习、特征降维和信号重建等能力,可有效地解决高维输入特征影响训练速度的问题。同时,模型的隐含层可以通过仅有四个步骤的替换技术计算而来,不需要进行繁冗的迭代过程,大大降低了时间成本,从而提高了模型学习效率。此外,随机生成的多批数据可同时作为多通道自编码器输入,通过子空间特征降维、提取和融合等过程,可成十倍数提高模型的运行速度。最后,本模型使用了方差分析(ANOVA)来评估最终实验结果的统计学意义。通过实验研究表明,该多通道深度学习模型使用的两种池化融合策略均获得了很好的实验结果,超越了如支持向量回归(Support Vector Regression,SVR)和长短期记忆(Long Short-term Memory,LSTM)等国际上先进比较方法,对于与警觉度水平相关的脑电图和眼电图相关活动具有良好的识别力,从而验证了该方法的准确性。本文基于生理特征提取与深度学习等方法,提出了多种有效模型,有望为快速有效地估计驾驶员警觉度水平提供一种新的可行途径,对降低交通事故率具有重要的实际意义。