关键词： 零样本学习   图像识别   Huber函数   低秩   稳健性  

摘要： 近年来,得益于深度学习的发展,图像识别技术在诸多智能识别领域中取得了巨大的成就。深度学习依赖于大量标注的样本,导致在很多标注样本量不足的实际场景中无法适用。零样本学习是受人类学习机制启发产生的一种迁移学习方法,使得计算机从真正意义上接近了人工智能,是近年来的研究热点之一,具有非常重要的研究意义和价值。在本篇文章中,我们对有关零样本学习的语义自编码方法进行了研究,一共分为两部分内容。其一,提出了正则化语义自编码模型,在前人模型的基础上加入Frobenius范数,保证模型一定有唯一解,从而提高模型的稳定性;其二,在其一的基础上,将最小二乘损失函数换成了Huber损失函数,提出稳健Huber语义自编码模型,缓解了在可见类数据服从重尾分布时,线性最小二乘损失的效率严重下降的问题。在算法方面,我们分别采用经典的交替方向乘子算法(ADMM)和交替方向乘子算法的对称高斯赛德尔算法(s GS-ADMM)求解模型;同时在理论方面,我们给出了两种模型的算法收敛性分析。最后,我们分别在五个中小规模的数据集上进行了大量的数值实验,实验结果表明,在传统零样本学习设置和广义零样本学习设置下,我们提出的两种方法的分类效果都优于相比较的语义自编码方法。

关键词： 序列数据   机器学习   深度学习   注意力机制   岩石物理  

摘要： 岩石物理参数预测一直是油气勘探中的热点。随着油气勘探工作的深入,岩性油气藏的开发逐渐成为当前能源勘探的重点,而岩性油气藏往往需要更加精确的岩石物理参数,对参数预测模型提出了更高的要求。传统岩石物理参数预测模型往往包含了较多的经验值和经验公式,不具有较强的泛化性。通过引入机器学习方法,并结合深度学习模型和注意力机制,能够有效捕捉测井参数的序列特征,构建高精度的序列参数预测模型。论文的主要研究内容如下:首先对研究区的储层特征进行了分析,通过分析储层的区域构造特征、沉积特征、储层特征以及测井响应特征,为岩石物理参数预测模型提供实际地质含义。接着介绍了深度学习模型中的常用模型并在碳酸盐岩和碎屑岩中构建了基于机器学习和深度学习的岩性识别模型。并通过多个分类评价指标,分析方法在不同储层中的识别效果差异。其次,分析常规机器学习在横波回归中起到的作用,并设计多个方案进一步探讨测井参数邻域特征和岩性特征的作用。对多种机器学习方法的基本思想进行了介绍,并应用于基于测井参数的横波识别任务中。在横波回归的结果分析中引入了多个评价指标,从多个角度分析不同机器学习方法的表现。一方面通过测井领域信息增强测井参数的序列特征表达,另一方面引入岩性序列来对横波回归结果进行约束。通过构建基于测井邻域信息和岩性信息构建了多种特征混合方案,分析不同特征在横波回归中起到的具体作用。最后,构建深度学习横波回归模型并嵌入两种注意力机制,分析注意力机制与模型之间的适配性问题。首先构建基于卷积的深度学习模型,并通过对卷积模块进行替换,分析不同改进卷积模块在横波回归中起到的作用。然后对网络模型的不同位置分别引入通道注意力和空间注意力,探讨注意力机制在和深度学习模型结合的适配性问题,以及不同位置注意力的差异性表现。本文在岩石物理参数预测中引入了常规机器学习和深度学习方法,实现了岩性序列和横波序列的精确预测,并在此基础上分析了注意力机制与深度学习模型的匹配问题,为储层的精细化解释提供了基础,也为序列数据预测提供了新的思路。

关键词： LSTM   Attention   深度学习   量化投资  

摘要： 近年来随着人工智能的不断发展,相关深度学习技术也在量化投资中得以运用。LSTM(long short term memory network)属于深度学习模型之一,该模型在预测时间序列数据方面性能较优。在此基础上,文章引入Attention机制以提高其捕捉关键信息的能力,从而提升模型预测性能。文章采用Attention-LSTM方法构建模型对上证50指数最高价涨跌趋势进行预测,结果显示所构建量化投资方法预测能力较优,其正确率能达到63.42%,这表明深度学习模型的泛化能力较强以及预测准确性较高,为拓宽深度学习应用场景,深入应用于量化投资领域提供了实践经验。

关键词： 沪深300指数   涨跌滚动预测   AIS   机器学习  

摘要： 股票市场预测是金融界最热门、最有价值的研究领域之一,随着交易所电子交易系统的快速发展,股票交易中的订单处理时间急剧缩短,在几分钟或几秒钟内执行指令的高频交易激增。股票价格,尤其是高频的日内股价,其非线性和时变性使得预测具有很大难度,传统的预测方法通常会对数据施加一些非常严格的数学假设,在现实世界中也就很难应用起来。机器学习方法有着超高的计算效率,在生活服务、企业管理和金融科技等领域表现亮眼,学术研究中也有越来越多的学者开始使用机器学习方法对股价进行预测研究,并取得了较好的实证结果。输入指标,被用作机器学习器的输入,其中一个关键问题是如何确定一套富含信息且具有区分性的输入指标,但如何确定更有价值的输入指标从而提高预测准确率仍有待研究。本文尝试对沪深300指数的每分钟数据进行分析研究,采用传统计量方法和机器学习方法对指数未来5分钟的涨跌情况进行预测,实证检验高频数据下机器学习方法能否取得优于计量ARMA模型的预测结果,并着重讨论相对比DIS(固定指标输入法),适应数据变化的AIS(自适应指标输入法)能否改善机器学习方法的预测准确率,进而探寻得一种更优的输入指标方法。为了充分验证实证结果,本文也对上证指数和深圳成指两只股指的涨跌情况进行了预测研究,检验基于沪深300指数数据得出的实证成果是否具有普适性。论文选用数据为2020年10月1日至2020年11月30日沪深300指数、上证指数和深证成指3只指数每分钟的价格数据,累计共有37个交易日,每只指数每日240个指数价格数据累计共8880个数据。输入指标上沿用了8个经典的价格类输入指标,分别为相对价差RDP、移动平均MA、指数移动平均EMA、相对移动平均偏离率DISP、相对指数移动平均偏离率EDISP、移动平均变动率OSCP、指数移动平均变动率EOSCP和相对强度指数RSI。而输入指标方法选用了DIS(固定输入指标法)和AIS(自适应指标输入法),其中DIS法基于上述8类输入指标基础,其时间参数选取了前人研究中实证结果较好的一些参数,累计共有23个输入指标,AIS则相应地扩大了输入指标的时间参数,以便在选取输入指标时能考虑到最优的输入指标,而DIS和AIS输入指标的优劣排序则参考T检验者和信息增益IG值。确定每组实证数据的输入指标后,先将训练集数据分别输入到支持向量机SVM和XGBoost中进行学习训练,最后对测试集数据进行预测并检验模型预测的准确率,在实证过程中将进行滚动预测,每6天为一组实证数据,其中前5天为训练集数据,之后的第6天为测试集数据,依次类推进行滚动预测,共涉及32组实证数据。实证结果表明:(1)沪深300指数、上证指数和深证成指的最优预测模型一致,都是以信息增益IG值为排序标准并通过AIS(自适应指标输入法)确定输入指标,然后采用支持向量机进行预测的模型;(2)对比计量模型与机器学习模型的实证结果可知。支持向量机的整体预测效果最好,在运算速率上XGBoost远优于支持向量机模型和ARMA模型,在预测准确率上支持向量机SVM的预测结果优于ARMA模型和XGBoost,其中XGBoost模型的表现最差,且支持向量机具有较好的预测稳定性;(3)对比DIS与AIS两个输入指标方法可知,相比于DIS法,适应数据变化的AIS方法能显著提高机器学习模型的预测准确率,且AIS方法下预测稳定性得到了小幅改善。本文在总结学习前人的宝贵研究成果上,对沪深300指数高频数据的涨跌情况进行预测研究,并重点讨论了机器学习方法下DIS法(固定指标输入法)和AIS法(自适应指标输入法)能否提高机器学习的预测准确率,丰富我国基于高频指数数据的机器学习方法的研究,并对提高输入指标的有效性的方法进行了验证,具有一定的理论意义和实践意义。

摘要： 化学高效课堂的构建、学生核心素养的养成,都与学生学习方法的达成密切关联。根据目前中学化学课程的现实和学生未来发展要求,提出化学学习方法的内容体系与途径:一是借鉴移植,掌握新知识学习的良好方法;二是从实际出发,运用学习化学的辩证方法;三是结合学科特点,灵活运用学化学的思维方法。在化学教学中培养学习方法,是培养学生化学核心素养的重要途径和手段。俄国著名生理学家巴甫洛夫据说的:"有了良好的方法,即使没有多大才干的人也能作出许多成就。

关键词： 英语学习   英语能力   学习方法   学习观念  

摘要： 英语是一种重要的交流工具,也是多种考试中的必考科目。学好英语对于学习和工作中需要使用到英语的人来说,都是至关重要的。作者结合自己英语学习的体会,分别从"建立正确的英语学习观念""正确理解英语词汇量与英语能力之间的正确关系"等方面,对英语学习提出了一些建议,希望对英语学习(尤其是受到英语学习困扰的学生)有所帮助。

关键词： 联邦学习   深度学习   多中心   三维图像数据   磁共振影像   加权导向梯度   域适应  

摘要： 随着信息时代的发展,数据的获取更加便捷,数据多中心分布的现象越来越常见,对多中心非结构化数据的有效利用一直是当前依靠数据驱动的应用场景下的热点研究问题。得益于分布式学习的出现,深度学习方法能够利用多中心分布的数据分布地训练深度模型。然而,由于多中心数据之间的数据规模、数据质量的差异以及隐私安全等问题,分布式学习的中心参数服务器的使用和训练可能会受到干扰。联邦学习作为一种新兴的学习范式,其允许不同中心在数据不离开本地且充分利用本地计算资源的前提下,实现多中心安全协同训练深度模型的目的,从而有效提升模型在各中心上的性能。本文提出面向多中心三维图像数据的加权导向梯度联邦深度学习的方法,并添加了多模态数据的融合机制,同时针对多中心域差异问题提出了基于单源域的联邦梯度匹配域适应算法。论文主要工作包括:提出面向多中心三维图像数据的加权导向梯度联邦深度学习方法。本文提出在多中心共享信息的聚合机制中添加权重参数并使用导向梯度,为每一个参加联邦的中心训练一个最适合本地数据分布的联邦模型,使得该特定的联邦模型在本地数据的分类识别任务中具有更好的性能。本文在多中心脑部结构磁共振影像数据集上使用该方法为每个数据中心训练一个特定的联邦分类模型。结果显示,相比于传统方法,该方法得到的模型在抑郁症患者和谱系自闭症患者的分类识别任务中,分类准确率更高更稳定。提出多模态数据融合的加权导向梯度联邦深度学习方法。在加权导向梯度联邦学习的方法融入了多模态数据的融合机制,构建了多模态三维图像数据融合的联邦深度学习方法,并应用在多中心多模态脑磁共振图像的分类识别任务中。结果显示,融合多模态磁共振数据的联邦深度学习方法在抑郁症患者和正常人的分类诊断中正确率达到83.19%,相比只使用单模态数据具有更好的分类效果。提出基于单源域的联邦梯度匹配域适应深度学习方法。通过使用较大规模的数据集作为单源域,参与联邦的多数据中心作为多目标域,并添加梯度匹配损失作为联邦模型参数更新的约束条件,实现了在其他数据中心提取目标数据中心可用的跨域共性特征,以消除站点效应对联邦模型性能的影响。结果显示,在使用HCP数据集作为源域,NKI和SLIM作为多目标域的性别二态性分类识别任务中,本文提出的方法在分类准确率上有明显的提升。本文的贡献在于:提出了面向多中心三维图像数据多模态融合的加权导向梯度联邦深度学习方法,并针对多中心数据域差异的问题提出了基于单源域的联邦梯度匹配域适应算法,依托少量的公开大数据集提升单中心联邦模型的性能。以上方法首次应用于三维脑磁共振影像数据的分类任务中,结果表明,本文提出的方法既能保证各中心的数据安全和协同训练的效率,又能够提高联邦模型在不同中心的分类性能。此外,本方法还可以推广到更多应用场景,为多中心三维图像数据安全有效地实现分布式协同式学习提供了新的思路和方法。

关键词： 入侵检测   流量分类   降噪自编码器   卷积神经网络   长短期记忆网络  

摘要： 网络入侵检测系统能够发现可疑的网络攻击,并采取一系列保护网络安全的措施来减少用户的损失。网络流量分类则是网络入侵检测任务中的重点,它可以判断所收集的网络流量数据,并检测出具有攻击行为的流量。因此,网络流量分类和入侵检测对于保护网络安全至关重要。机器学习和深度学习方法的出现和发展,使得网络流量分类和入侵检测的效果也得到了一定的提升。但是,目前基于机器学习或深度学习的流量分类检测方法,依然存在诸如流量数据的原始信息丢失或损坏所导致的分类检测性能不高,对加密流量的分类效果较差以及在不同的网络流量环境下表现不稳定等问题。针对网络流量分类和入侵检测中存在的这些问题及其研究现状,本文设计了更加有效的网络流量分类检测模型。本文的研究工作包括以下几个方面:(1)针对现有方法中存在的流量数据的原始信息丢失或损坏,所导致的流量分类检测性能不高的问题,设计了 一个由降噪自编码器(Denoising Autoencoder,DAE)、卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络(Long Short-Term Memory,LSTM)组成的深度学习模型,并命名为基于DAE-CNN-LSTM的分层网络模型。一方面,DAE用于特征提取的一个重要特点是它具有降噪能力,因此可以减弱流量数据的原始信息丢失或损坏对流量分类检测结果产生的影响。另一方面,模型分别使用CNN和LSTM网络来同时提取流量数据的空间和时间特征,能够得到更加丰富的流信息。在流量数据中添加高斯噪声模拟原始信息缺失,在噪声水平较大(σ=0.6)的情况下,该模型的流量分类准确率比现有的CNN+LSTM模型提高约16%。(2)针对现有方法中存在的对加密流量的分类效果较差,以及在不同的网络流量环境下表现不稳定等问题,设计了一个名为深度并联神经网络的模型。在深度学习过程中,分别使用CNN模型,LSTM模型、CNN+LSTM模型和基于DAE-CNN-LSTM的分层网络模型以适应不同的网络流量环境。将网络流量数据分别输入到这四个模型中,其中拥有最高准确率的模型被认为是最适合当前流量环境的模型,该模型将成为最终保存的模型。因此,深度并联神经网络模型具有适应不同的网络流量环境的能力,能在不同的网络流量环境下保持较好的性能。此外,由于深度并联神经网络模型能够从原始流量数据中自动学习,无需人工干预和提供私有信息,因此,该模型对加密流量的分类检测效果也比较好。

关键词： Actor-Critic方法   船舶自动靠泊   示教强化学习   分布失配问题  

摘要： 近年来随着船舶执行的任务越来越复杂,人们对欠驱动船舶自动控制系统提出了更高的要求。自动靠泊系统是实现高效安全航行所不可或缺的一部分。随着无人船技术的发展,建立高效、准确的智能自动靠泊系统具有重要的实践意义。强化学习方法由于具有解决复杂控制与决策问题的潜力,已经成为目前人工智能领域热点研究方向,结合了强化学习与模仿学习的示教强化学习(RLf D)方法通过各类专家策略提供的数据可以提高智能体训练速度和稳定性,有较好地实际应用前景,但同时需要解决分布失配问题。本文针对欠驱动船舶自动靠泊问题,设计了两种结合Actor-Critic和模型预测控制的示教强化学习方法,并从理论和仿真两个方面说明了所提方法具有良好的收敛性并且可以有效解决分布失配问题。仿真结果显示示教强化学习算法相比于典型的无模型Actor-Critic算法学习速度提高了一半以上。本文的主要工作和创新点如下:(1)针对欠驱动船舶自动靠泊问题,在船舶数学建模的基础上将问题描述为马尔科夫决策过程,设计了强化学习解决自动靠泊问题的方案并使用无模型ActorCritic强化学习算法求解,仿真验证了强化学习方法在不依赖数学模型信息和运动规划的条件下可以完成自动靠泊任务。(2)针对无模型Actor-Critic算法收敛速度慢的问题,提出一种结合模型预测控制的RLf D方法。为了解决专家数据不足、专家策略次优的问题,设计了一种Actor-Critic结合模型预测控制的交互式专家控制器,可以为智能体提供专家数据并随智能体学习而同步提高性能。针对所提出的RLf D方法会出现的分布失配问题,在理论分析的基础上提出了两种改进技术。通过仿真说明了所提出的RLf D方法及其改进方法的有效性,相比于无模型Actor-Critic方法加快了训练速度,提高了学习效率。(3)通过理论分析将原强化学习问题转化为受限最优控制问题,在RLf D方法的基础上提出了SGAC算法。SGAC使用智能体与环境交互,专家策略只负责在线提供专家指导。在训练阶段使用对偶梯度法解决优化问题,从理论上分析了所提方法的收敛性。在自动靠泊仿真环境中进行测试,仿真结果说明了SGAC算法可以解决分布失配问题,且学习过程更加稳定,收敛速度更快。与无模型Actor-Critic算法相比,该算法所得到的靠泊轨迹更加平滑。

关键词： 元素化合物   学习策略   无机化学  

摘要： 在无机化学元素化合物知识学习中，进行了以下学习策略的应用研究：讲解化学元素发现史，突出化学实验学科特色；传授多种记忆方法，增强学生的记忆能力；合理利用生活素材，激发学生记忆兴趣。通过应用这些策略，提高了学生的学习能力，学生的学习兴趣也明显增强。