关键词： 高分辨距离像   雷达自动目标识别   识别数据库   原型学习   原型选择   原型生成  

摘要： 高分辨距离像(HRRP)是由雷达发射宽带信号获取的目标散射点子回波在雷达视线上投影的矢量和,包含了丰富的目标结构信息,对雷达自动目标识别(RATR)具有重要意义。近年来,随着高分辨率雷达技术的发展,HRRP数据的获取更加容易,这为RATR技术的发展带来了机遇和挑战。一方面,积累的大量HRRP数据使得深度学习等先进方法的应用成为可能,有望大幅提升识别性能;另一方面,“大数据、小样本”问题也逐渐凸显出来,即HRRP数据在规模上的扩张未必能带来信息量的显著增加,数据集中可能包含大量冗余、无效甚至错误的样本。如果直接使用全部数据构建识别数据库训练识别模型,可能会引起模型结构冗余和训练过程低效,甚至可能导致识别性能下降。为此,必须对HRRP数据集进行必要的清洗、筛选等简约处理,并选取或生成具有代表性的高质量样本构建数据库。本文研究了基于原型学习的数据集压缩方法,使用原型集取代原始数据集构建识别数据库,在增强数据可用性的同时,提升了模型的识别效率和精度。本文主要内容概括如下: (1)提出了一种基于采样概率与二阶优化器的原型选择模型。该模型为原始数据集中的每个样本学习一个采样概率,据此对原始数据集采样构建初始原型集,然后使用该原型集训练模型进而更新采样概率,重复以上过程逐步提高原型集的质量。在上述优化过程中,原型集内样本规模较小容易导致模型训练陷入局部最优,因此使用了一种基于空间平滑和时间平滑的高效二阶优化器,在加快模型收敛的同时能够获得更优的模型参数;此外,更新采样概率涉及复杂隐式梯度计算,因此提出了一种基于策略梯度思想的采样概率梯度估计器,节省了计算资源。实验结果表明使用所提模型选取的原型集训练的网络模型均具有较好的识别性能。 (2)提出了一种基于高效参数匹配与模型增强的原型生成模型。该模型通过参数匹配策略匹配两者在网络模型训练过程中模型参数的更新轨迹来优化原型集。一方面,针对传统参数匹配策略有效性不足的问题,提出了一种高效参数匹配模块,该模块使用包含类内与类间梯度信息的多级梯度匹配以及包含梯度间大小与角度关系的改进型距离函数来优化原型集;另一方面,为生成适用于多种初始化网络模型的原型集,提出了一种模型增强模块,该模块使用早期模型和权重扰动技术措施生成具有丰富信息且多样化的特征空间,从而在优化开始时刻便可捕获信息丰富的目标特征。实验结果表明使用所提模型生成的原型集能够从原始数据集中捕捉到准确的数据分布,训练的网络模型也都具有较好的识别性能。

摘要： 学生的英语学习情感及学习方法是影响其学习效能的重要因素，且会对其英语核心素养的形成与发展产生重要的影响。在2022版初中英语新课标中也着重提出：“要培养学生英语学习积极性与自信心……能尝试合作用适当的学习方法 ，克服学习中遇到的困难。”由此可见，英语新课标中也对培养学生英语学习情感及学习方法提出了明确的要求。因此，初中英语教师须充分重视学生英语学习情感、学习方法的培养工作，进而才能在彰显学生英语学习主体性的基础上实现发展学生英语素养的目标。

关键词： 表格数据   表示学习   深度哈希   可解释性   自编码器  

摘要： 现实世界中,表格数据是数据存量最大、也是最常见的数据类型。对于表格数据,一般采用浅层学习方法并通过特征工程解决具体任务。然而,浅层学习方法在,面对高维、稀疏、动态、由混合数据类型组成的复杂数据时效果不佳,需要一种方法将其表示为低维向量,对后续任务性能能够显著提升。为了解决上述问题,论文的工作有: (1)复杂数据的表示学习研究,采用深度学习的方法构建了面向复杂数据的无监督表示学习模型,其中包括数据模拟、数据嵌入和数据编码-解码器等部分的设计以及优化,将高维、稀疏和由数值型数据与类别型数据组成的复杂数据形式化表示为低维、稠密的表示向量。 (2)复杂数据的哈希表示方法研究,在表示学习模型的基础上探索深度哈希表示方法,将表示向量映射为二值散列向量,在不损失过多性能的前提下减少了后续任务的成本。 (3)表示学习方法的可解释性研究,对表示学习模型进行了数据层面的可解释性分析,建立了面向复杂数据的表示学习模型的局部可解释性方法,能够发现不同特征在表示学习中的重要性。 (4)表示学习方法的应用,本文将表示学习方法在企业智能化经济服务领域进行了应用,将构建的表示学习模型通过全国工商联非公经济数据展现平台进行部署,支撑了企业信用评级和融资服务。 实验结果表明,本研究构建的无监督表示学习方法具有较强的灵活性和鲁棒性,在公开数据集以及企业数据集上都表现出了优秀的性能,解决了复杂数据的高维、稀疏、动态特性,得到了良好的表示结果,同时表示结果对后续任务有显著的提升,验证了方法的可信性和有效性。

关键词： 冠状动脉粥样硬化性心脏病(CHD)生物标志物   WGCNA   单细胞测序   多种机器学习方法  

摘要： 背景及目的:冠状动脉粥样硬化性心脏病(Coronary Atherosclerotic Heart Disease,CHD)是一种以炎症和免疫细胞浸润为特征的危及生命的心血管疾病。CHD相关生物标志物是了解细胞和分子图谱的异质性。 方法:从GEO数据库下载与CHD疾病相关的数据集GSE131778、GSE60993、GSE66360和GSE61144。首先,我们应用单细胞RNA测序(Single-cell RNA sequencing,scRNA-seq)、加权共表达网络分析(Weighted Co-expression Network Analysis,WGCNA)和差异表达分析确定CHD的生物标志物。此外,我们使用多种机器学习方法识别区分CHD中不稳定型心绞痛(Unstable Angina,UA)患者动脉粥样硬化斑块破裂导致心肌梗死(Myocardial Infarction,MI)的相关生物标志物。用受试者工作特征曲线(Receiver Operating Characteristic Curve,ROC)评价生物标志物的预测能力。此外,CIBERSORT分析还被用来研究生物标志物与免疫细胞浸润的关系。 结果:通过生物信息学分析,已鉴定的CHD功能基因主要与炎症、免疫反应、血脂和动脉粥样硬化相关。作为冠心病的生物标志物,CCAAT增强子结合蛋白β(CCAAT Enhancer Binding Protein Beta,CEBPB)被证实是有意义的预测因子(曲线下面积[Area Under The Curve,AUC]在GSE60993、GSE66360和GSE61144中分别为0.824、0.807和0.811)。LOC102724323是介于MI和UA之间的靶标(AUC在GSE60993和GSE66360中分别为0.747和0.630,)。此外,通过结合单细胞测序数据和免疫细胞浸润的分析,发现CEBPB的表达与单核细胞和巨噬细胞、周细胞、成纤维细胞、纤维肌细胞、平滑肌细胞(Smooth muscle cells,SMC)相关。此外,LOC102724323的表达与激活的树突状细胞、中性粒细胞和M2巨噬细胞相关。 结论:研究结果表明,CEBPB可能是一种有效的冠心病诊断生物标志物,而LOC102724323可用于预测UA患者因斑块破裂而发生MI的风险。

关键词： 联邦学习   DDoS攻击   拜占庭攻击   拜占庭防御  

摘要： 随着5G网络的发展和大数据技术的不断提升,网络安全领域面临着诸多威胁,其中超大流量的分布式拒绝服务(Distributed Denial of Service,DDoS)攻击已逐渐成为重要的挑战之一。深度学习网络因对复杂数据具有更强的特征提取能力,且对新数据具有更好的适应性和预测能力,对恶意行为的识别和分类相比传统检测方法更准确和高效,成为了近年来DDoS攻击检测的主要研究方法。然而,传统集中式训练方法需要收集全部用户的网络流量信息,这会带来隐私安全问题,因此研究者引入联邦学习框架设计实现分布式的DDoS攻击检测方法。在该框架下,数据可以保存在本地,仅上传本地模型参数就能获得攻击检测服务,避免了隐私数据传输造成的隐私泄露。在传统基于联邦学习的研究中,通常假设用户都是诚实可信的,然而现实中恶意用户可能向中心服务器发送错误的信息,以破坏联邦学习过程中的全局模型,进而实现拜占庭攻击,降低全局模型的鲁棒性。本文主要研究如何在联邦学习场景下,实现具有高识别率的DDoS攻击检测,同时提升联邦学习的鲁棒性。(1)为提升DDoS攻击检测识别的准确率,本文首先提出一种基于图结构特征的联邦学习DDoS攻击检测识别方法。通过对攻击流量构建网络流量图,提取其中隐含的图结构特征,并根据其具有强时序性的特点,结合联邦学习和门控循环单元网络构建模型,实验验证了该方法在保证数据安全的基础上可以有效提高模型检测识别准确率。(2)针对联邦学习所面临的拜占庭攻击威胁,本文提出一种基于数据原型的防御算法,该算法提取本地代表性数据空间原型特征,根据本地原型与全局原型之相关性为用户分配参数权重,降低恶意用户对全局训练效果的影响。(3)面向恶意用户占比超过二分之一的极端场景,本文进一步提出基于信任基梯度距离的防御算法,该算法通过计算不同用户模型更新与中心服务器模型更新的距离得出信任分数,根据信任分数为用户分配参数权重,减少恶意用户的参与。通过在专门针对DDoS攻击的数据集CICDDoS2019上模拟不同种类及不同恶意用户占比的拜占庭攻击,验证了本文所提出的防御方法在联邦学习场景中均可有效抵御拜占庭攻击。其中,基于信任基梯度距离的防御算法在恶意用户占比极高时仍保持良好的防御性能且优于目前主流的拜占庭防御算法,显著提升了联邦学习的鲁棒性。

摘要： 一、案例回顾一段时间，大班幼儿对幼儿园门口的测温机器人特别感兴趣。测温时，有的幼儿用手遮住眼睛，有的幼儿侧着脸、背着身，有的幼儿靠在一起……他们喜欢用各种奇怪的方法来测温。于是，我问他们：“你们知道测温机器人是怎么测出体温的吗？”“里面有一台照相机对着人脸拍照。”“里面有个体温计进行测温。”“每次测温时，保安叔叔都在身边，

关键词： 焊缝跟踪   被动视觉   主动视觉   语义分割   目标跟踪  

摘要： 熔焊加工是诸多生产制造中的一个重要环节。随着生产需求的日益多样化,需要实现高自动化的焊接产线来提高生产质量和效率。实现自动化焊接需要使用的关键技术即为焊缝跟踪技术。对于不同的焊接情景,所需要克服的环境问题不同。本文针对不同的焊接情景,分别提出了基于语义分割的被动式焊缝跟踪方法和基于目标跟踪的主动式焊缝跟踪方法。被动式方法主要针对弧光干扰强烈的焊接工艺,如等离子弧焊等;主动式方法主要针对非直流焊接工艺,如CMT焊接工艺等。本文的主要内容如下: (1)研究了一种基于语义分割的被动式焊缝跟踪方法,搭建了该方法的视觉系统。该视觉系统的核心是利用图像映射关系获得实际的距离信息。该方法以Bise Net V2语义分割网络为基础,加入OHEM(难例挖掘)和dice loss的训练策略来实现对焊缝的高精度分割。最终的特征提取实验和焊接实验结果表明,本方法的MIOU(平均交并比)可以达到75.3%,焊缝部分的IOU(交并比)可以达到57.2%,弧光部分的IOU可以达到93.4%,且最终所提取出的焊缝特征点位置误差不超过0.35mm,平均误差为0.07mm,图像处理帧率不低于55FPS,可以满足焊缝跟踪的精度和实时性要求。 (2)研究了一种基于目标跟踪的主动式焊缝跟踪方法,搭建了该方法的单线式激光器主动视觉系统,完成了系统的相机标定、手眼标定和激光平面标定。该方法以Siam BAN目标跟踪网络为基础,通过使用线激光器的辅助减轻了环境干扰的影响。最终的特征提取实验和焊接实验结果表明,本文的目标跟踪方法对焊缝的目标跟踪精度可以达到3.5个像素以内。依据所标定出的光平面解析方程、相机参数和手眼转换矩阵,将图像中特征点坐标转换为实际坐标之后,其预测精度在各个方向上可以控制在0.8mm以内,图像处理帧率不低于50FPS,可以满足焊缝跟踪的精度和实时性要求。

关键词： 化工过程   故障诊断   深度学习   注意力机制   Target-transformer  

摘要： 化工工业往往聚集了大规模的资金、人力和物资等资源,为国民经济做出巨大贡献的同时,发生事故时带来的巨大生命财产损失让化工安全越来越成为社会的焦点。化工生产通常包含多种化学反应、装置,在不同温度、压力条件下耦合形成一个生产体系,因此化工生产过程中的变量之间存在复杂的、高维度的、非线性的、随时间变化的特征。化工事故的发生往往是从某个变量的微小异常开始的,其在复杂关联网络中发展、放大最终形成的危害整个生产系统的故障。因此,化工过程故障诊断对国民经济、人民生命财产安全具有重大意义,同时也是具有挑战的任务。 计算机技术的发展带来廉价算力,数据驱动的故障诊断方法得到学术界和工业界的青睐。人工智能技术的发展也为故障诊断带来了许多深度学习算法,其中卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN)被大量应用。然而,研究发现CNN不擅长提取序列数据的特征,RNN受到自身结构限制在处理长序列时表现不佳,无法捕捉跨度较大的动态特征。化工故障的发生是一个渐进的过程,一个微小的异常扰动在时间维度发展并随着变量关系网影响其他变量,最终多个异常造成生产系统偏离稳态而发生故障。因此,捕捉化工过程时序数据在时间维度上的动态特征对故障诊断意义重大。CNN和RNN网络缺少捕捉长时间跨度动态特征的能力,限制了这两类算法在故障诊断上的表现。注意力机制是一种源于自然语言处理(Natural Language Processing,NLP)领域的深度学习算法,它通过模仿人类注意力的方式能够在时间序列的整个时间维度上提取特征,已经被大量应用于NLP任务和计算机视觉(Computer Vision)任务。 本文将注意力机制深度学习方法应用于化工过程故障诊断,旨在提高深度学习模型提取动态特征的能力,研究内容如下:(1)本文选取常用卷积神经网络模型和循环神经网络模型,设计适合的注意力机制模块对这些模型进行改造,并在本文构建的TE(Tennessee Eastman)过程故障诊断标准数据集和基于深度学习算法的故障诊断框架上测试对比模型改造前后的故障诊断性能,结果证明了注意力机制作用。(2)本文基于NLP领域的Transformer模型,提出了完全基于注意力机制的Target-transformer模型用于故障诊断。在该模型针对故障诊断任务,引入本文提出的目标注意力,用于学习故障的特征并从序列数据中捕捉相关特征。将模型应用于TE过程故障诊断,取得了表现最好的90.52%的故障诊断率(Fault Diagnosis Rate,FDR)和0.49%的误报率(False Positive Rate,FPR),并在早期故障诊断实验中取得最好的成绩。注意力机制的改造实验和Target-transformer模型证明了注意力机制在故障诊断中的积极作用。

关键词： 知识表示   知识图谱补全   链接预测   关系模式   复杂关系  

摘要： 知识图谱由谷歌提出并应用于其搜索引擎,极大增强了搜索引擎的语义搜索能力。近年来,在互联网海量数据的支撑下以及机器学习技术的提升,知识图谱得以迅速发展,并成功应用于问答系统、推荐系统等方向。常见的知识图谱包括Word Net、Free Base和YAGO等。如今构建的知识图谱规模日益庞大,然而,由于其大都由人工或半自动方式构建导致知识图谱并不完整,知识图谱补全愈发重要。知识图谱补全的一种重要方法是知识表示学习,通过将知识向量化表示,在向量空间内高效的计算以搜索潜在的实体或关系继而补全知识图谱。 现有的知识图谱表示工作主要对复杂关系与关系模式建模,然而,忽略了两者之间的紧耦合性。一种有效的知识表示学习方法应该能同时对复杂关系与关系模式进行表示,以增强其表示性能。基于此,本文提出一种基于复数空间内动态映射的知识表示学习模型(Knowledge Representation Learning via Complex Space Dynamic Mapping,KRLCSDM),该模型可同时表示复杂关系与关系模式。本文的主要研究内容如下: （1）知识图谱中存在了大量的复杂关系（主要表现形式为一对一、一对多、多对一、多对多关系）以及关系模式(主要存在形式为对称关系模式8)、反对称关系模式（69）48))、逆关系模式49))、组合关系模式（88）),为同时表示两者,本文提出KRLCSDM模型。首先该模型将实体以及实体间关系表示为离散的复数矢量,其次,构造动态映射将离散的复数矢量聚簇为相近的矢量,用于表示实体间的复杂关系。然后,利用复数空间的旋转策略,以表示离散复数矢量之间的对称关系模式8)、逆关系模式49))、组合关系模式（88）。 （2）本文利用多个基准数据集进行链接预测实验,验证KRLCSDM的准确性。实验结果表明,KRLCSDM模型能有效进行缺失预测。特别地,相比Rotat E模型,在YAGO3-10数据集上KRLCSDM的平均排名提升18%,平均倒数排名提升5.2%,数据集中链接预测实体排在第一名的比例提升6.0%,实体排在前三名的比例提升4.9%,实体排在前十名的比例提升3.5%。通过可视化方式以及对数据集中复杂关系分类实验,表明KRLCSDM可有效建模关系模式和复杂关系。本文将KRLCSDM结合关系路径进行训练,实验表明在结合关系路径后,KRLCSDM表示更加准确。 （3）利用KRLCSDM训练后的向量,在关系丰富的数据集FB15k-237上进行进行规则挖掘。实验结果显示基于KRLCSDM的规则挖掘算法可挖掘到高质量以及合理的规则,侧面验证了KRLCSDM对组合关系模式（88）建模的准确性。

关键词： 深度学习   跨模态检索   异构鸿沟   语义鸿沟  

摘要： 随着多模态数据在互联网上的爆炸式增长,单一模态检索方式已经无法满足用户的需求,在这种情况下,跨模态检索应运而生,成为多模态语义理解任务的热门领域。跨模态检索是指利用一种模态的信息去检索另一种模态的信息,通过不同模态之间的知识协同,能够有效地满足现代多样化、灵活化的检索需求。其中,图像-文本检索是最常见的跨模态检索任务之一。然而,图像-文本跨模态检索任务的挑战在于图像和文本两个模态之间存在异质性差异和语义鸿沟不能直接计算两者的相似度。为此,本文围绕如何突破图像-文本跨模态检索的技术瓶颈开展相关研究,具体研究内容如下: (1)针对跨模态检索任务中的异构鸿沟和语义鸿沟问题,提出一种基于对抗公共子空间的跨模态图文检索方法。首先,利用图像和文本各自的特征提取模型来获取图像和文本的初始特征表示;其次,将图文特征以特征映射的方式表示到公共空间中,同时添加对抗损失作为约束以保持模态不变性;最后,将标签预测损失和三元组约束损失对模型进行约束,以获得有更有判别性的特征表示,并通过跨模态检索实验证明了所提方法的合理性。 (2)针对如何进一步缩小跨模态数据之间的异质性差异问题,提出一种双门控-残差特征融合的跨模态图文检索方法。首先,设计了图文门控-残差网络,以获得图像和文本各自的门控特征和残差特征;其次,通过特征融合的方式将门控特征和残差特征进行融合得到两个融合特征,融合特征能够从相反的模态中获得更有效的特征信息,使得语义特征信息更全面;最后,通过线性分类器进行标签预测,以确保多模态融合特征仍然具有语义区分性。通过实验证明该模型有效提升了跨模态检索的准确率。 (3)针对图像和文本数据中的如何细致对应关系问题,提出一种基于图文交互自注意力的跨模态检索方法。首先,通过非局部模块构建图像文本交互模型,通过交互模型得到图像交互特征和文本交互特征,进而学习图像画面和文本中词汇的潜在对齐和语义关联;其次,将图像文本交互特征输入权重共享层中,以减小多模态数据的跨模态差异;最后,联合模态相似性损失、对抗损失以及对比学习损失对模型进行优化,进一步提高检索精度。通过在两个基准数据集上进行的双向图像和文本检索实验验证了本方法有效性。