关键词： 深度学习   图像处理   元学习   度量学习   生成对抗网络  

摘要： 近年来,在大规模数据的驱动下,深度学习在众多领域表现出优异的性能,取得了许多突破性成果.然而,在现实生活中,大规模数据的采集标注成本也十分昂贵.因此,如何利用少量的数据提升模型的性能,是当前深度学习领域十分值得探讨的问题.这一问题被称为小样本学习问题.目前,小样本学习研究已取得了较多的进展,如使用数据增强技术增加样本的数量,通过设计有效的网络结构加强其对图像的特征提取能力.与此同时,元学习和度量学习方法也被用于小样本学习问题.基于这个背景,本文重点针对小样本学习在图像处理中的算法展开研究,主要工作如下:1.提出一种针对医学图像分割问题的多判别器深度网络.该网络从图像生成的角度实现分割任务,通过设计非对称U-Net生成多个不同尺度的分割图,然后嵌入多判别器以充分捕获样本的可用信息,促进特征的信息传输.同时,提出了一种混合损失以应对类不平衡问题,并为其设计了一种自适应的尺度因子选择方法.最后,从数学上证明了该模型的收敛性.实验表明,所提出的方法在多种不同模态的小样本数据集上达到了预期的分割效果.2.设计一种多特征自适应聚合元学习方法.它包含三个主要模块:特征提取模块、信息增强器和多特征自适应聚合分类器.设计一些反卷积层组成的信息增强器,以促进样本的有效利用,从而在特征提取过程中捕获更有价值的信息.同时,多特征自适应聚合分类器集成了特征提取模块的几个卷积层的特征,然后将得到的特征传入到相似度模块中,从而实现预测标签的自适应调整.信息增强器和多特征自适应聚合分类器通过混合损失连接,提供了更优的特征表示.最后在几个小样本数据集上验证了该方法的有效性.3.构造一种深度可辨性原型网络.该网络主要包含两个模块:嵌入模块和判别式自适应原型分类器.嵌入模块用于获取输入样本的特征表示.判别式自适应原型分类器则自适应地聚合支持集中的所有同类样本的特征表示以合成该类的一个原型表示,然后通过计算查询集中的每个样本与所有类别的原型表示之间的相似度得到预测标签.此外,为了增强嵌入模块所获取的样本特征表示的可辨性,进一步改进损失函数,综合考量类间距离和类内距离,从而提高了原型表示的可辨性.实验结果显示,该方法可以增强样本特征的可辨性,从而提升分类性能.

关键词： 机器学习   湍流模型   雷诺平均   大涡模拟  

摘要： RANS模型因其易用性、高效性被广泛采用,但是RANS模型因其不确定度而存在计算精度不足的问题。此外,LES方法尽管能在高分辨计算中取得较好的计算精度,但是所需的大量计算资源限制了该方法的使用。针对传统湍流模型的问题,本文利用机器学习方法对RANS模型及LES模型分别构建机器学习替代模型,并且完成的主要工作总结如下:1.不同机器学习算法在RANS湍流模型中构建替代模型对比研究。从Boussinesq涡粘假设出发,采用多种机器学习算法分别对定常状态下的湍流涡粘性系数进行建模,构建机器学习数据驱动替代模型,在经典的后台阶流动问题展开模型验证对比研究。计算结果表明,在计算效率方面,各机器学习算法构建的模型均能够有效地提高;在计算精度方面,各算法替代模型物理量的计算均能保证在理想范围之内,并且机器学习替代模型均能有效捕捉分离及再附着现象;其中人工神经网络、极限梯度提升及K近邻算法在构建机器学习替代RANS湍流模型中更具潜力。2.机器学习替代模型在不同雷诺数下的泛化性研究。在相对于训练流动不同雷诺数变化的测试流动中的计算结果显示,当测试流动雷诺数与训练流动雷诺数较为接近时,替代模型计算结果能够有效地与原始RANS计算结果吻合;而当测试雷诺数低于训练流动雷诺数时,会存在偏差,并且这种偏差随雷诺数下降而更明显;而在相对于训练流动更高雷诺数下的测试流动中,模拟的偏差会随这雷诺数的升高而进一步减小。揭示了机器学习替代RANS模型的计算精度会随测试流动雷诺数升高而提高的现象。3.针对大涡模拟,使用机器学习方法来重构亚格子不闭合项的研究。模型验证的研究在不同雷诺数下的槽道湍流展开,通过在低雷诺数槽道湍流数值模拟的研究中表明,相对于原始动态Smagorinsky模型的计算,新的机器学习亚格子替代模型能够精确地预测湍流流场的统计性质和空间结构,并且在计算效率上有明显的提升。表明了机器学习算法应用于大涡模拟优化建模具有较高的意义,对揭示复杂的湍流流动现象具有广阔的应用前景。

关键词： 深度强化学习   机器人操作   模仿学习   协作策略  

摘要： 强化学习作为人工智能领域的新星,成功地解决了序列决策问题。它与机器人结合,有利于非结构化环境的操作任务。随着实际任务的复杂化,突破单个机器人能力的限制亟待解决,因此智能化的双机械臂的协作应运而生。本文以多智能体强化学习为算法框架,针对该领域探索以及数据利用等问题,以具备协作策略的双机械臂作为研究对象,旨在实现机器人合作以及自主抓夹的相关问题,并从算法优化的层面展开深入探讨。主要内容包括以下四个方面:（1）探讨了强化学习算法训练初期存在大量无效数据问题,提出了基于多智能体协作策略的事后经验回放技术（M-HER）。以虚拟目标替换经验池中随机数据,解决了稀疏奖励下的多目标问题,帮助机器人初期获取大量有效操作技巧,有利于策略更新。（2）研究了高维连续空间问题,提出了基于模仿学习的协作策略（RTLf D）。在驱动机器人自身探索的同时,利用少量专家数据引导,两者兼备不约束于专家数据,高效解决了多智能体从零开始学习的不足。针对实际收集专家数据存在的错误及不完美序列等问题,提出了裁决机制,以区分专家数据的优劣,获取稳定的策略。仿真测试验证了算法的有效性,表明了模仿协作和裁决机制能够帮助机器人形成高效的策略。（3）在模仿学习机制的强化学习框架下,提出了以生成对抗网络为奖励驱动的多智能体模仿学习算法。以同步策略作为机器人与环境互动的核心,稳定输出策略,并提出了具有两种子结构的好奇心模块,基于内部奖励驱使机器人探索更多新的状态与动作,在专家策略的基础上搜寻最优的策略。为防止过度探索,提出了参数共享、值截断、时间截止三种方法,以约束机器人探索范围和提升实际表现。（4）分析了机器人协作特性,搭建了仿真实验环境,定义了框架中观测与动作空间。开发了基于算法环境的接口,用于信息互动。探讨了从仿真模型到真实机器人之间的差异,利用区域随机化技术,获取了抗干扰的模型,并用于真实机器人操作。综上所述,本文以多智能强化学习为基本目标,从增加数据利用率、加快训练速度以及提升探索能力三个方面着手研究,高效训练机器人形成协作策略。

关键词： 脑机接口   运动想象   共空间模式   离散小波变换   麻雀搜索算法  

摘要： 近年来,随着机器学习的火热发展,脑机接口研究领域也重归热门,相应的也暴露出很多问题。脑电信号的基本特点就是非线性和非平稳性,这就表明不同人的脑电信号差异巨大,在进行预处理和特征提取时,没有统一的完美的方法。鉴于此,本文针对2008年BCI CompetitionⅣ的Data sets2a数据集的9位受试者的脑电信号,提出了一种新的预处理方案。此外,本文首次引入SSA对SVM分类器进行核系数和惩罚系数选优。本文主要进行了以下研究:(1)在预处理过程中,设计了一套新的预处理方案:带通滤波+滑动时间窗口+叠加平均。传统时间片的选取一般是固定时间段,这种方式对不同的受试者具有局限性。首先针对原始数据集进行FIR带通滤波,然后利用滑动窗口选择时间段,再对时间段进行叠加平均。(2)在特征处理方面,本文选择小波包变换+共空间模式对预处理后的数据进行特征提取。传统的小波变换对高频部分的信号不太友好,小波包变换很好地克服了这个缺点,对时频域的特征非常敏感,共空间模式能有效的提取空域特征。这种特征提取的组合,兼顾了时域、频域和空域的信息。(3)为了验证本文新的预处理组合的有效性,本文设计了三个传统分类器:ANN、CNN和SVM。这三个分类器的分类结果表明本文提出的预处理方案是有效果的,可以在一定程度上提高分类准确率和Kappa系数,尤其是信号质量不好的脑电信号。此外,针对本文数据集的第7位受试者,其数据非常优异,SVM分类的平均分类准确率能达到86%,是所有分类准确率中最高的。(4)虽然工作(3)已经验证了本文新提出的预处理方案的有效性,但是三个分类器中分类效果最好的SVM相比于其他文献,还是略有不足。为了进一步提高分类准确率,引入SSA用于优化SVM核系数和惩罚系数,提出一种新的优化方案:SSA-SVM。通过实验,与工作(3)中设计的三个分类器进行效果比对,分析结果表明SSA-SVM分类器在整体上提升非常明显,最高的平均分类准确率达到了90%。针对数据质量不好的受试者,分类效果提升也很明显。最后通过与其他具有类似特征提取的方案的文献进行效果比对,结果表明SSA-SVM依然具有优势。通过本文的研究,不仅为脑电信号的预处理提供了一种新的方案,也为脑电信号的分类提供了一种新的思路。

关键词： 主动配电网   深度强化学习   协调优化控制   图卷积神经网络   电压优化   合环电流控制  

摘要： 随着风电、光伏等分布式电源的高比例并网和电力电子设备的大规模接入,以及高速通信和人工智能等ICT技术在电力系统中的逐步深入和广泛应用,传统配电网正转变为含有多种分布式电源、网络结构更加灵活、控制手段更加丰富的主动配电网。由于主动配电网结构由过去的单点辐射状网络转变为多子系统的复杂网络,潮流由单向流动变为双向流动,控制自由度也大量增加,不仅分布电源出力波动具有很强的不确定性,而且各个子系统之间相互耦合作用复杂,给其协调优化控制带来了巨大的挑战。近年来,以深度强化学习为代表的人工智能技术飞速发展,在各个领域均有广泛应用,其在海量数据特征提取、复杂映射关系学习以及连续决策等方面具有明显优势,从而,基于深度强化学习的主动配电网协调控制方法可望具有良好的应用前景。本文将适用于主动配电网协调优化控制的深度强化学习方法以及其在主动配电网协调控制问题中的应用作为研究课题,以实现分布式电源、无功补偿装置以及储能设备等各类可控资源的协调控制与高效利用,保障配电网的安全稳定运行。由于主动配电网协调优化控制存在众多研究方向,本文将聚焦于最常见且重要的主动配电网电压优化控制问题和合环电流调控问题,也为其他协调控制问题的研究提供参考思路。本文完成的主要研究工作如下:(1)为解决主动配电网中各可调设备的协调优化控制问题,深入分析了主动配电网中并联电容器、有载调压变压器、分布式电源和储能装置等可调设备的特性以及调节能力,并建立了相应的数学模型。进而,将图卷积网络对图信息的感知能力和强化学习决策能力进行了整合,提出了用于主动配电网协调优化控制的深度强化学习框架。所提框架建立了主动配电网状态和各可调设备动作量之间的映射关系,能够根据主动配电网的当前状态快速进行决策,避免了规模增大带来的维数灾难和迭代寻优困难问题,对相关研究具有重要的参考意义。(2)为解决主动配电网优化运行问题,建立了主动配电网多时间尺度电压协调优化控制模型,提出了一种基于深度强化学习的多时间尺度下主动配电网电压协调优化控制方法。所提方法有效地将有载调压变压器、并联电容器组等慢速调节设备和分布式电源、储能等快速调节设备进行动态协调控制,同时避免了风电、光伏等分布式电源波动性带来的不良影响。最后,改进的IEEE33配电网算例仿真分析表明,所提方法正确、有效且鲁棒性强。(3)针对主动配电网的合环电流调控问题,建立了以主动配电网中各可调设备为控制变量的数学模型和马尔科夫决策模型,提出了基于深度强化学习的合环电流调控方法。所提方法能够根据主动配电网合环前状态快速给出合环电流调控方案,最后以某地典型10k V合环网络为算例进行了仿真测试,验证了所提方法有效性和鲁棒性。

关键词： 半监督分类   流行正则化   逐点光滑性   对抗学习   深度域适应  

摘要： 随着科学技术的不断进步,当今世界各个领域随时随地都在产生大量的数据,这些数据是没有标记的,缺少标记信息,人工标记既费时又费力。因此,为了解决数据标记不足的问题,半监督学习和迁移学习应运而生,并逐渐成为机器学习研究领域的重要内容。半监督学习同时利用有标记数据和无标记数据训练模型,然后对目标数据进行预测。迁移学习则首先利用有标记的源域数据学习模型,然后再使用这个学习的模型对无标记的目标域数据进行预测。虽然目前存在许多对数据进行分类的方法,但仍存在以下不足:1)半监督学习中,流形正则化(Manifold regularization,MR)是一个经典的框架,但是MR的光滑性约束是对全部样本对实现的,即将每一对样本视为一个对象,没有考虑单个样本的光滑性。2)迁移学习中,域对抗神经网络(Domain adversarial neural networks,DANN)是解决无监督分类学习问题的典型算法,该方法在对齐源域和目标域的整体数据分布过程中容易产生负迁移。此外,仅利用源域有标记样本训练得到的一个分类器来预测目标数据,其结果可能并不可靠。因此,为了解决上述问题,本文的研究主要包括以下两个内容:首先,为了降低成对样本可能产生错误的同时仍然保留样本的逐点光滑性,不考虑成对样本而考虑到每一个样本的光滑性,提出了一种解决半监督图像分类问题的新方法,即逐点流形正则化(Pointwise Manifold Regularization,PW＿MR)方法。该方法不仅考虑了每一个样本的光滑性特性,还引入了局部密度对每一个样本的重要性进行衡量,从而促进MR框架的预测准确性。其次,为了充分利用有标签样本的知识,提出了一种双向判别域适应网络(Bidirectional Discriminant Domain Adaptive Network,BDDAN)。在该方法中,使用域对抗神经网络DANN进行特征对齐减小域间隔,通过图像变换进一步学习域不变特征。在这个过程中,同时学习两个分类器,通过两个分类器的概率输出引入一致性损失函数,从而提高预测的可靠性。另外,利用有标签样本计算各个类别之间的相似关系,使预测为同一类别的样本具有相似的软标签,从而帮助提升分类性能。最后,在数据集上进行实验,实验结果表明提出的PW＿MR和BDDAN方法都分别能够改进分类性能,提高预测的准确性。

关键词： 森林火灾检测   YOLOv3   YOLOv4   轻量化网络   CenterNet  

摘要： 近年来森林火灾频频发生,给人类社会带来了巨大的财产损失和人员伤亡,因此如何快速有效实现森林火灾检测是当前的一个热点问题。随着深度学习技术的进步,图像识别与目标检测广泛应用在各个领域,针对森林火灾检测问题,本文基于深度学习的相关知识提出了三种森林火灾检测方法,主要研究内容如下:(1)提出了一种基于通道剪枝YOLOv3算法的森林火灾检测方法。将通道剪枝思想引入到算法中实现了模型的有效压缩。该算法首先对YOLOv3网络进行基础训练得到高精度的算法模型,再对每一个网络通道引入缩放因子,然后与通道的输出相乘,对网络权重和缩放因子进行联合训练,将缩放因子值较小的通道剪除,再对网络模型微调。利用测试集对网络的性能进行测试:在不牺牲检测精度的情况下,将网络参数降低至原来的1/6,前向推理耗时变为原来的1/2;(2)提出了一种基于MobilenetV3-YOLO v4算法的森林火灾检测方法。将轻量化卷积神经网络Mobilenet引入到YO LOv4网络,有效地减少了网络参数量,提高了网络检测速度。利用MobilenetV1、V2、V3网络替换YOLOV4的主干特征提取网络CSPDarknet-53,将YOLOv4网络中的卷积改进为深度可分离卷积,并将改进后的网络参数进行对比,最终得到了 MobilenetV3-YOLOv4算法进行森林火灾检测:与YOLOv4算法相比,牺牲了1%的检测精度将检测速度提高了一倍;(3)提出了一种基于CenterNet无锚框检测算法的森林火灾检测方法。将无锚框目标检测算法应用到森林火灾检测中,提供了一种新的解决思路。该方法将目标检测问题转化为关键点估计问题,首先确定目标的中心点位置,再回归到目标的其它属性。首先生成关键点对应的热力图,热力图的峰值即目标的中心点,再对中心点回归计算得到其局部偏移量和边界框的宽高信息,最终预测得到目标边界框。该方法在测试集上得到了 84%的检测精度和每秒44FPS的检测速度。

关键词： 弱监督学习   多标记学习   噪声标记  

摘要： 多标记学习是监督学习中一项基础且重要的任务。随着机器学习和深度学习技术的蓬勃发展,多标记学习成功地应用在信息检索、推荐系统和蛋白质功能预测等领域。尽管当前关于多标记学习的研究工作取得了巨大进展,但目前关于多标记学习的研究往往基于强监督假设:假设每个训练样本的标注信息完全准确。然而,由于收集完全正确标注的训练样本往往需要耗费大量的时间和费用,并且受数据本身特点、标注者差异性和外部环境等因素的影响,这一假设在现实世界中是不切实际的。为更好解决这一实际问题,本文研究噪声环境下的多标记学习问题。近年来,噪声环境下的多标记学习问题的研究范式主要为偏多标记学习。在偏多标记学习中,每个训练样本的标记集合由真实标记和噪声标记共同构成。现有的偏多标记学习方法主要集中在如何减小噪声标记对多标记分类器性能的影响,以学习一个鲁棒的多标记分类器。为实现这一目标,一些方法旨在识别每个训练样本的真实标记,而另外一些方法主要通过低秩假设和稀疏假设建模偏多标记学习问题。然而现有的方法存在以下一些问题:(1)现有方法忽略了训练样本的特征与标记的负面信息对其真实标记的影响;(2)现有方法都不能很好甚至无法处理标记空间过大的问题;(3)现有偏多标记学习方法的假设仍旧较强,从现实世界中收集到的训练样本不一定都包含噪声标记。针对现有工作存在的不足,本文从以下三个方面学习噪声环境下的多标记学习问题:(1)现有偏多标记学习方法忽略了训练数据特征与标记之间的负面信息。具体来说,如果两个样本的候选标记集合有很大的重叠部分,不管它们的特征相似度如何,它们的真实标记应该是相似的;而如果它们在特征和候选标记空间中不相同,则它们的真实标记应该彼此不相同。针对这一现象,为了在偏多标记学习数据上实现可靠的预测,本文提出了一种新的基于标记与特征合作的偏多标记学习方法(PML-LFC)。PML-LFC利用样本的候选标记集合计算样本之间的语义相似度并与样本特征相似度相结合协同估计每个训练样本的标记置信度,并且用估计的标记置信度矩阵训练所需的多标记分类器。PML-LFC通过统一模型以交替优化的方式实现分类器和潜在标记置信度矩阵的学习。大量的实验结果表明,PML-LFC可以很好地利用样本的特征信息和标记信息估计标记置信度矩阵以减小噪声标记的影响,并且PML-LFC可以学习一个鲁棒的多标记分类器提升分类性能。(2)当标记空间过大时,现有的偏多标记学习方法普遍存在计算代价高昂甚至无法处理的问题。为解决这一问题,本文提出了一种基于标记压缩的偏多标记学习方法(PML-LCom)。PML-LCom首先将观测到的样本-标记关联矩阵分解为一个潜在的真实标记矩阵和一个不相关的噪声标记矩阵,然后将真实的标记矩阵分解为两个低秩矩阵的乘积,其中一个矩阵对样本的压缩标记进行编码,而另一个矩阵探索低维空间中的标记相关性。其次,PML-LCom通过压缩后的低维标记矩阵学习多标记分类器的系数矩阵。此外,PML-LCom根据样本特征相似度对压缩后的标记矩阵进行正则化,并对标记矩阵和分类器进行联合优化。在合成和真实偏多标记数据集上的实验结果表明,标记压缩可以有效提高算法的有效性和效率,PMLLCom在预测大标记空间下未标记样本的标记方面取得了优于现有解决方案的性能。(3)针对偏多标记学习方法假设每个训练样本一定存在噪声标记这一假设仍旧不是十分符合一些现实场景的问题,本文提出噪声环境下基于标记纠正的多标记文本分类方法(LCN)。与偏多标记学习假设每个训练样本的标记以候选标记集合方式给出不同,LCN假设数据在标注时每个训练样本的非真实标记有一定概率转化为其标记,即噪声标记。LCN通过一种端到端的方式实现标记纠正和多标记分类器的联合学习。LCN包含两个模块:标记纠正模块和分类模块。在标记纠正模块中,LCN利用标记语义信息和特征信息学习每个类的类别原型集合。这些原型被用来计算与提取的深度特征之间的相似度以纠正每个训练样本的标记。在分类模块中,分类器将每个样本的原始标记和纠正后标记结合,一起作为监督信息指导分类器训练过程。这两个模块通过统一框架结合在一起,并通过交替优化方式训练。在两个多标记文本基准数据集上的大量实验结果表明,LCN可以有效地降低噪声标记对分类器性能的影响,表明其优于现有的方法。

关键词： 高中物理   力学   学习方法  

摘要： 高中物理是让普遍高中生头疼的一门学科。高中物理的概念比较抽象,应用规律也比较复杂,尤其物理学中的力学是一个重点和难点,我们在学习中经常会遇到很多的问题,比如对力学知识点的理解不够深入;学习效率低……这些问题对于日后的物理学习还会产生一些阻碍,大多数的学生缺乏有效的学习方法。文章结合高一物理力学学习的一些经验,提出几种有效的学习方法及学习技巧,以帮助大家攻克力学难题,勇攀物理高峰。

关键词： 国产院线电影票房   多元线性回归   Lasso回归   随机森林   XGBoost  

摘要： 近年来中国文化产业的快速发展在带动国民经济发展方面发挥着日益重要的作用,而电影作为文化产业的支柱之一,不仅能够丰富人民群众的精神世界,也能为我国经济的不断发展带来收益。1992年十四大召开后,中国正式启动电影产业市场化改革,这一改革动摇了对我国电影业造成长期束缚的计划体制,让电影的商品属性得到认知,同时意味着我国电影工作者要更多地考虑投资方和观众的需求。而在进入21世纪后,中国院线电影的总票房保持了高速增长的良好态势,特别是在近十年进入了飞速发展时期。2010年,中国院线电影总票房仅为101亿元,而在2019年,这一数字已经超过642亿元,在短短十年时间里就增长了超过6倍。自2012年起,我国成为了全球第二大电影市场,院线电影票房仅次于美国。在我国电影市场不断扩大的过程中,国产院线电影票房规模也呈现不断增长的趋势,在全年院线总票房中的占比从2010年的59.04%增长到2020年的83.72%,《战狼2》、《哪吒之魔童降世》等票房爆款不断涌现。而在后疫情时代的经济恢复时期,我国电影产业由高速度发展转向高质量发展变得尤为重要。因此,持续、及时、准确的国产院线电影票房影响因素分析,对于我国的电影行业从业者具有重要意义。它能够反映观众的需求、市场的发展趋势,指导制片公司拍摄出更高质量的影片,指导发行公司安排合理的发行、宣传、营销策略,合理配置资源,从而提高院线电影票房、控制投入成本,实现收益最大化。本文的研究选取了2011年-2020年间,内地票房超过1亿人民币的362部国产院线电影作为样本进行分析,随机选取其中的90%(326部电影)作为模型的训练集,10%(36部电影)作为模型的测试集。在数据来源上选择了艺恩网、豆瓣网、猫眼网、淘票票、时光网、微博六个网站,对以上电影的相关数据进行整理。本文从电影摄制、发行、宣传营销这三个角度,选取了电影类型、制片公司、明星演员、导演水平、发行版本、系列IP、影片时长、上映档期、发行公司、观众口碑、首日票房等18个因素,将这些自变量与院线电影票房之间的关系进行分析。之后运用了统计学习的方法,分别建立多元线性回归模型、Lasso回归模型、随机森林模型和XGBoost模型,对于包含36部电影的测试集进行预测,将MAPE作为指标,比较不同模型的预测效果。结果表明:XGBoost模型预测精度最高,其次是随机森林模型,而Lasso回归模型和多元线性回归模型预测精度较低。在建立模型的同时,本文中通过综合各个模型,得到影响票房的四个重要因素:首日票房、观众口碑、发行版本、喜剧类型。最后,根据数据分析的结论,向电影制片公司和发行公司商提出建议,并对于此次研究过程中的不足进行总结。