关键词： 非完全信息   强化学习   多任务学习   机器博弈  

摘要： 随着人工智能技术的发展,在越来越多的场景中可以看到人工智能技术的实际应用。作为和人类真实生活最贴近的人工智能研究领域,机器博弈也受到了研究者们广泛的关注。其中非完全信息的机器博弈场景因为信息感知不完全导致的复杂性以及更符合人类生活的实际规律,成为机器博弈中研究的焦点。深度强化学习作为研究机器博弈的一种有力的方法,已经在各种博弈环境中被应用,并在一些领域取得了重大的突破。本文主要研究非完全信息条件下强化学习智能体如何在多个任务场景中取得优秀性能的问题。针对传统的单任务智能体泛化性差的问题,提出了并行学习的多任务强化学习算法,并行的在多个场景上训练智能体,使其在多个环境上均表现优异。为了加快训练的速度,获得更好的训练性能,本文结合行动者-学习者结构以及异步的行动者-评论者算法,提出了并行多任务强化学习的整体算法。通过对数据采集和知识训练的解构,使得训练性能大幅上升。同时算法针对因为解构导致的离线训练中数据延迟不匹配的问题,提出了分别针对学习者和行动者的数据校正方案,通过数据校正来修正模型学习的数据的正确性,提升智能体的学习能力。此外本文基于多任务学习中的硬共享表示,结合辅助任务学习,提出了对多任务强化学习的优化方案。辅助任务从任务认知和辅助控制两方面出发,提升智能体的性能。一方面,通过提升智能体对整体环境的识别能力,来避免智能体在多个任务场景之间错误的使用经验进行决策的问题,使得智能体可以平衡各个环境之间学到的经验。另一方面,针对强化学习中的图像画面输入,设计辅助控制任务,强化智能体理解环境的能力。通过让智能体预测未来像素变化来强化智能体对于环境的元素的分辨能力。通过各种辅助任务和主任务结合学习,进一步的强化提出的智能体的水平。最后使用复杂的三维非完全信息视频游戏场景作为实验验证平台,验证多任务强化学习框架中各个组成部分的有效性。通过和其他智能体对比以及将智能体应用在未训练的场景上展示本文提出的方法的优势。

关键词： 声学事件识别   声学场景分类   音频语义特征学习   时序关系   联合学习   深度卷积网络  

摘要： 声音信号中包含着大量关于人们生活环境的信息。随着互联网上音频数据的日益增多,以及人们对智能设备依赖程度的增加,迫切希望机器能具有更多的感知和理解声音的能力。针对声音感知与理解的研究,目前主要集中在声学事件识别和声学场景分类上。二者同属于音频分类的范畴,其所要解决的关键问题之一,就是如何学习出有效的音频语义特征表示。鉴于音频是一种时序性信号,其语义内容既取决于所包含的各个基元内容,也取决于各个基元间的时序关系。然而传统的基于帧级别的声学特征提取方法,以及流行的基于深度学习等片段级别的时频域特征学习方法,由于未明确考虑各帧级别或片段级别基元间的时序依赖关系,因而大都无法有效刻画音频样本中的完整时序信息,从而也不能有效学习出具有完整语义内容的样本级特征表示。尽管近年来有部分研究工作开始尝试使用时序建模的方法,来将基元间的长时依赖关系引入到音频语义特征学习过程之中,但这些方法自身还存在着一定的局限性,且未充分考虑音频信号的复杂多样性。因此,仍然需要对时序关系依赖的音频语义特征学习方法进行更深入的研究。基于此,本文从无监督和有监督学习两个方面,对音频样本中时序信息的学习问题展开研究,提出了一系列解决方法:1.为探索能有效刻画完整时序信息的语义特征学习方法,先从最简单的情况出发,尝试一种能够在单一尺度上捕捉基元间时序关系的时序建模方法。首先利用音频词袋方法以固定的时间尺度构建出每个样本的片段级基元表示序列,然后以此为基础,提出一种基于回归的无监督时序性特征学习方法。它以基元间的时间先后顺序为约束,利用参数可学习的线性函数来对基元间的时序关系进行编码,并通过求解支持向量回归问题来对参数进行学习,最后将函数参数作为完整序列的特征表示。此外,通过使用基于稀疏编码的音频词袋方法所构建出的基元表示序列作为输入,所提出的方法可以获得更为鲁棒的音频语义特征。实验结果表明,所提出的无监督时序性特征学习方法可以有效提升音频分类系统的性能。2.鉴于目前大多数时序建模方法都是在单一尺度的基元表示序列上,对基元间的时序关系进行建模。然而,音频数据中各声音事件的变化快慢程度并非一致,其所对应的基元尺度也不可能完全相同。因此,采用统一尺度的基元表示不足以充分反映音频数据的这一特点,需要考虑多尺度的基元表示形式,以及有效刻画多尺度基元间时序关系的方法。为此,将所提出的基于单尺度基元间时序关系的时序性特征学习方法,推广为具有层级结构的能有效捕捉多尺度基元间时序关系的金字塔时序池化网络。首先采用能在多种尺度上刻画局部时频结构的卷积神经网络来构建出样本的基元表示序列。然后利用金字塔时序池化网络学习序列中的多尺度时序信息,进而得到表达能力更强的音频特征表示。实验结果表明,对于声学事件识别和声学场景分类,所提出的方法均可有效地提升系统的性能。3.鉴于音频数据的类别标签包含了人类对其认识的先验知识,合理地利用这些先验知识,将有助于获得更有效的语义特征表示。为此,利用双层优化思想,提出一种有监督的时序性特征学习方法,将类别先验信息引入到时序关系依赖的语义特征学习之中。首先通过将先前基于回归的无监督特征学习中的时序关系编码问题,看作是顶层分类器优化目标的底层约束条件,来构造出任务驱动时序性特征学习问题的双层优化结构。然后采用基于梯度的优化策略对此双层优化问题进行求解,以实现对基元间时序关系及分类器参数的联合学习。实验结果表明,所提出的方法能在更低维度的特征空间中获得区分能力更好的语义特征。4.鉴于声学场景中存在着语义无关联的短时声音模式,它们之间并不存在时序依赖关系。若捕捉所有模式间的时序关系将会引入冗余信息,因而需重点考虑捕捉语义相关模式间的时序关系。为此,提出以语义近邻为约束来学习基元间时序关系的思想,进而提出一种端到端的三维卷积神经网络,来实现对基元表示、基元间时序关系依赖的语义特征,以及分类器的联合学习。所提出的网络将经过卷积运算后得到的局部基元表示映射到语义空间,并通过聚类的方式获得各基元的语义近邻,然后采用多层感知机来对各基元及其近邻间的时序关系进行学习。此外,还提出一种注意力池化的方法来对语义邻域内的时序关系进行聚合,从而使得网络能在更大的邻域内获得有助于分类的时序关系。实验结果表明,所提出的网络可在声学场景数据集上获得优异的分类性能,并超过众多主流的深度学习方法。

关键词： 类风湿性关节炎   SYK抑制剂   机器学习   QSAR   描述符  

摘要： 类风湿性关节炎是一种慢性和进行性自身免疫性疾病,其病理特征是整个身体多个关节出现对称性肿胀和疼痛。它的大多数临床表现是关节炎症,它是所有慢性炎症性关节疾病中最常见的,并影响大多数成年人。基于类风湿性关节炎的发病机理以及相关的分子细胞和病理生理学研究,发现脾酪氨酸激酶(SYK)在类风湿性关节炎的发病机理中起着非常重要的作用。SYK(Spleen tyrosine kinase)全称是脾酪氨酸激酶,是一种非受体型酪氨酸激酶。SYK抑制剂可以用于治疗类风湿性关节炎。本文引用了许多种可以对SYK产生强的抑制活性的小分子物质。根据小分子的活性(p IC)值,利用Python进行了定量构效关系(QSAR)研究,并建立了训练集、测试集和验证集,使用多种机器学习算法来测试这三个数据集的预测能力,结合四种机器学习算法对SYK抑制剂进行QSAR建模分析,从而筛选出一些特征值描述符对新的SYK抑制剂的活性值进行预测。具体研究内容如下:(1)筛选描述符:通过特定的选择算法对使用的1444个描述符进行筛选,经过三步筛选操作以后,剩余的描述符数量为一百个以内,并且相关性都在0.6以下。自身方差变化都高于0.1。(2)建立QSAR模型:使用随机森林等算法对238个结构多样的SYK抑制剂进行活性预测,并且使用特征值选择算法对剩余的几十个描述符进行特征值选择,最终建立的QSAR模型不但有很好的预测效果,而且还能鉴别出与SYK抑制剂活性相关的重要描述符。同时本文也使用遗传算法耦合支持向量回归技术对SYK抑制剂进行预测,该算法可以同时实现对描述符进行选择和对支持向量机参数进行优化,这样不但可以大大增加模型的计算效率,而且还提高了模型的预测能力。该模型最终给出训练集相关系数R=0.94,测试集预测相关系数R=0.91。使用建立的模型可以在药物合成前对SYK抑制剂进行筛选、预测和优化。(3)通过以上的这些方法本文产生了最终的结果。特征值选用10个以内的2D描述符,得到的结果分别为:随机森林算法训练集R=0.91;支持向量机算法训练集R=0.94;KNN算法训练集R=0.76;GBRT算法训练集R=0.88。都达到了较好的结果。本文所建立的模型都展示出了较高的预测能力,它们在药物设计的早期便可以筛选出理想的药物分子,并且可以为以后合成高活性的药物分子提供强有力的理论支持。

关键词： 概率积分参数   开采沉陷预计   多种群遗传算法   多核支持向量机   BP强预测器   混沌算法  

摘要： 开采沉陷预计模型及参数体系是“三下”采煤设计的核心基础理论。准确、可靠的反演概率积分参数是实施精准地表沉陷预计的前提,构建地表下沉预测模型是矿山开采的难点,但对于由开采沉陷引发的地质环境灾害的防治具有重要意义。当前文献表明,已有学者建立了概率积分参数和开采沉陷下沉预计模型,但是仍然存在一些问题:（1）在实测值反演概率积分参数的过程中,标准遗传算法（SGA）求取概率积分参数存在易早熟收敛,后期易陷入局部最优解的缺点。（2）在缺少观测站的矿区的概率积分参数预计过程中,BP神经网络没有考虑概率积分参数的相关性而导致概率积分参数预计的精度的降低,与最终的下沉和水平移动曲线不符合;（3）对于单个下沉点的预测,BP神经网络易陷入局部最优解,同时没有考虑残差而导致精度降低;（4）淮南矿区是高水位矿区,随着矿山开采的进行,水将淹没监测点导致监测点无法测量。支持向量机（SVM）在水下下沉点的预测过程中,单核函数在泛化能力方面较低,同时没有考虑残差而导致精度的降低。针对以上问题,本文进行了一定的研究,主要取得以下结论:（1）利用加权的思想提出了多种群遗传算法（MPGA）来反演概率积分参数。在实测值反演概率积分参数的过程中,为了弥补标准遗传算法（SGA）单个种群求取概率积分参数的早熟收敛,后期易陷入局部最优解的缺点。提出了多种群遗传算法（MPGA）来反演概率积分参数,研究了该算法的准确性与可靠性。模拟实验表明:基于MPGA的概率积分参数反演模型不仅能够准确求取预计参数,而且对于观测站数据中的随机误差和监测点缺失都具有较强的抗干扰能力。朱集东煤矿1222（1）工作面概率积分法求参实验表明:在MPGA只迭代了 57次就收敛,然而SGA迭代了 100次才收敛的情况下,MPGA得出的下沉值和水平移动值的拟合标准差是31 mm,SGA得出的下沉值和水平移动值的拟合标准差是32 mm,表明基于MPGA的求参模型较SGA求参模型在准确性、迭代次数这几个方面有一定的优势。（2）提出了一种新的改进的神经网络概率积分参数预计算法。为了提高对于缺少观测站的淮南矿区的概率积分参数预计的精度,提出了一种新的改进的神经网络概率积分参数预计算法（NIBPNN）,不仅考虑概率积分参数的相关性,同时还考虑概率积分参数的准确性。将全国105个矿作为训练集,4个淮南矿作为测试集,利用以上模型对概率积分法参数进行预计,并且分析模型预计参数的精度、下沉值和水平移动值的中误差,结果表明NIBPNN较BPNN,IBPNN有较大的改善。（3）利用加权的思想提出了多个BP神经网络加权的融合混沌残差的BP强预测器（BP-Adaboost）的地表下沉预测模型。为提高地下开采引起地表下沉预测结果的精度,由于BP神经网络在单点下沉预测中精度较高但容易陷入局部最优解,于是提出了融合混沌残差的BP强预测器（BP-Adaboost）的地表下沉预测模型。以顾北矿1312（1）实测值为例,分别用融合混沌残差的BP-Adaboost模型、BP神经网络模型和BP-Adaboost模型对最大下沉值点进行稳定期和活跃期的单步预测和多步预测,结果表明,融合混沌残差的BP-Adaboost模型无论是在单步预测还是在多步预测上的精度均最高,尤其在单步预测上有显著的提高。（4）利用加权的思想提出了多个核函数加权的带有混沌残差的遗传算法优化的多核支持向量机（CHAOS-GA-MK-ε-SVM）水下预测模型。由于淮南矿区是高水位矿区,随着矿山开采的进行,水将淹没监测点导致监测点无法测量,SVM在水下监测点下沉预计中精度较高。提出了一种带有混沌残差的遗传算法优化的多核支持向量机（CHAOS-GA-MK-ε-SVM）水下预测模型。基于无水沉降区域的实测数据,用CHAOS-GA-MK-ε-SVM模型对水下下沉值进行预测,并分析预测结果的准确性和可行性。淮南顾北煤矿1312（1）首采面表明:在监测点的数据较为完整的情况下,CHAOS-GA-MK-ε-SVM模型精度较高,活跃期6期预测值中有4期可用,前4期平均相对误差（MRE）为1.7%,精度较高可以使用,而最后2期MRE是9.6%,精度较低不可以使用。谢桥2111（3）表明:在监测点的数据较为完整的情况下,CHAOS-GA-MK-ε-SVM模型精度较高,稳定期6期预测值中所有期都可以使用,6期的MRE是0.9%。但在监测点的数据严重缺失的情况下,训练样本缺少将会导致CHAOS-GA-MK-ε-SVM模型过拟合,此时应当采用遗传算法优化的支持向量机（GA-ε-SVM）模型去预测水下下沉值。GA-ε-SVM模型6期预测值中所有期都可以使用,6期的MRE是3.3%。图23表27参81

关键词： 结构文法   模仿学习   行为分割   动作识别   机器人  

摘要： 人类在成长过程中,可以通过感知、模仿、学习来获取操作的技能。而随着人工智能、计算机视觉技术的发展,人们也开始考虑机器人能否像人一样从环境中感知任务、理解任务、并泛化任务,来应对复杂多样的操作场景。根据以上内容,本文开展了基于结构文法的机器人模仿学习研究。主要包括以下几个方面:首先,采用标定后的Kinect V2相机获取演示活动的彩色图和深度图,并将其对齐。利用Open Pose算法识别彩色图中的二维骨骼关节坐标,结合深度图,得到三维人体姿态信息序列。选取基于中心关节点的特征描述方法来提取人体上肢的姿态特征。形成演示活动的人体姿态特征序列。其次,针对行为分割问题,提出了一种基于Cam Shift算法的行为分割方法。利用演示动作与所涉及的物体总是在同时刻出现这一特性,根据Open Pose获取的二维关节坐标,提取手部关节附近的区域,采用Cam Shift算法跟踪手部附近物体来达到行为分割的目的,同时也得到了分割后每个动作所涉及的物体信息。在动作识别方面,根据传统HMM训练方法鲍姆-韦尔奇(Baum-Welch,BW)算法存在的问题,结合人工免疫算法(Artificial Immune Algorithm,AIA)的特点,提出了一种基于AIA-BW的混合训练模型。利用该模型提取了演示活动的动作信息。结合上述两种方法将汉诺塔演示活动转换成{动作-物体}序列。然后重点研究了演示策略的学习问题,提出了一种基于结构文法的演示策略学习方法。将{动作-物体}序列抽象为动作基元序列,利用结构文法中的概率上下文无关文法(Probabilistic Context Free Grammar,PCFG)方法对动作基元序列进行表征,构建初始语法,计算其规则概率,同时得到动作基元序列的子集概率集。采用Chunk操作和Merge操作对初始语法进行若干变换,形成语法空间。采用最小描述长度(Minimum description length,MDL)准则对语法进行评估,改进Beam Search搜索方法来寻找语法空间中的最佳的语法,即演示活动的策略,利用该策略指导机器人执行更复杂的高阶任务。最后,分别进行了数据合成实验、以及汉诺塔实验。在数据合成实验中,同过与其他方法的MDL数据进行对比,验证了该方法良好的数据压缩性能及较强的抗干扰能力。在汉诺塔实验中,分别在低噪声环境和高噪声环境下观察若干组三阶汉诺塔演示活动,得到三阶汉诺塔演示活动的策略,利用该策略观察四阶汉诺塔演示活动,进而指导机器人执行四阶汉诺塔任务。实验结果表明该方法较强的泛化能力和良好的抗干扰性能。

关键词： 多示例学习   单侧标记学习   包映射   双层嵌入   正包和负包  

摘要： 多示例学习范式作为当下的研究热点,能够极大地降低对数据集标签的要求。在大量完备训练数据的前提下,现有的多示例学习研究取得了较好的成果。然而实际问题中,由于标记成本和环境限制等原因,完整的数据标签通常难以获得。收集单侧正或负类样本所需的标记成本大幅减少,我们称这种基于单侧正或负标签数据和无标签数据训练二类分类器的问题称为单侧标记学习问题。单侧标记场景进一步降低了对数据集标签的要求,适用范围较广,十分具有现实意义,是一个新颖的学习问题。本文从两个角度研究了多示例场景下的单侧标记问题,并分别提出了不同的解决方法。文章的主要内容和工作如下:(1)基于两种信息映射的单侧负标记数据的多示例学习方法在只有负标签的多示例学习场景下,通过映射将多示例问题转化为单示例问题再进行解决。为了充分利用单侧标记数据的信息,同时考虑基于数据信息的统计特征和基于标签信息的判别映射特征。首先利用统计特征给每个无标签包赋予一个“伪标签”,从而进一步获取更具有分辨性的映射特征。在确保映射步骤充分提取了数据信息后,再使用经验风险最小化损失函数,从而仅从单侧标记的训练数据得到在数据整体分布上无偏的最优分类器。多个数据集上的实验验证了该算法的有效性。(2)基于双层嵌入策略的单侧正标记数据的多示例学习方法相较于单侧负标记数据,只有正标签的多示例学习问题更加困难。由于多示例场景下正包中的示例不全是正示例,导致仅有的正标签所含有的信息更加模糊。针对这一场景下的多示例学习问题,本文提出了一种基于双层嵌入的多示例学习方法。该方法通过将多示例问题转化为单示例问题再进行解决。与仅使用简单单层映射的方法不同,双层嵌入机制分别为正样本和无标签样本制定不同的映射,并在正样本中使用了权重策略,以确保能够排除负示例的干扰,让正包关键示例的特征得以凸显。双层嵌入策略能够提取净化过的关键示例的信息,很大程度去除了标签信息的模糊性。最后,在单示例样本的基础上,使用基于类先验概率的分类错误最小化损失函数来得到最优分类器。多个数据集上的实验验证了该算法的有效性。

关键词： 体验式学习方法   小学数学   有效性  

摘要： 数学学科具有较强的抽象性特点,要想帮助以直观思维为主的小学生理解抽象数学知识,就必须要让学生全面参与到学习活动中来,而体验式学习方法,则正是实现这一目标的有效途径。基于此,本文对体验式学习方法进行了简单介绍,同时结合小学数学教学的相关实践经验,为体验式学习方法的有效应用提出了一些建议,希望能够对小学数学学科的课堂教学方法创新提供一定参考。

关键词： 同态加密   机器学习   多密钥   NTRU   CSP  

摘要： 近年来,越来越多的机器学习算法依赖于云计算.当机器学习在云环境中进行训练或分类时,容易引发攻击者对数据的恶意获取和利用.因此,本研究在国家自然科学基金“大数据环境下车联网隐私保护及拜占庭容错协同融合机制”,重庆市教委科学技术研究重点项目“多源异构数据环境下车联网信息的安全传输及形式化验证方法”,重庆市基础科学与前沿基础研究项目“山地环境下车联网海量数据隐私保护协同融合方法研究”等基金的支持下,基于多密钥同态方法对隐私机器学习方法做了相关的研究.论文的主要工作如下:1.为了解决机器学习中加密数据冗余导致训练过拟合的问题,本文构建了一个能够防止在云服务器上出现冗余的隐私存储和通信方案.该方案在保证语义安全的前提下,利用数论工作组构造了一个两方重复数据清洗协议.具体来说,客户端提供了待上传数据的去重标签,云服务器同态地检查标签列表中是否存在冗余,存在重复的情况下,服务器中文件对应的标签和相应的解密密钥将被返回,从而赋予客户端下载和解密文件的能力.分析表明,该方案的安全性可以规约到格上的最近向量问题,并且完全实现了语义安全,同时,该方案不需要任何可信第三方假设.2.在明文数据训练模型的基础上,基于重线性化技术,本文采用多密钥同态加密算法将现有模型改造为密文驱动模型,这种模型解决了机器学习过程中的回归隐私问题.结合对输入数据进行实数编码、解码和对激活函数多项式近似的方法,实现了加密方式的神经网络回归.在该模型中,可以同态多密钥加密数据,在语义安全的前提下完成数据预测.实验结果表明,数据加密后回归精度与加密前的预测精度非常接近,而在整个过程中,服务器和数据提供者的真实信息都不会暴露给对方.3.为了进一步保护在多数据提供者场景下机器学习训练过程中的隐私,本文提出了一种同时针对多方数据和单个模型的神经网络隐私训练及回归方法,各个数据提供者分别与云进行一次加密交互,最终实现隐私机器学习的训练及回归.结合共轭搜索问题和离散对数问题的困难性,训练数据和系统模型的保密性可以规约到充分研究的安全假设上.在效率方面,由于所有的消息都被编码为低维矩阵,与明文实现相比,存储和计算开销的扩展率是线性的,没有精度损失.同时,由于该方案基于完全同态加密算法,所以容易被移植到其他涉及多方的机器学习模型中.

关键词： 小学数学:多媒体教学   学习方法  

摘要： 多媒体教学具有形象性,直观性的特征,能够将图像与声音融合在一起,不仅可以有效吸引学生的注意力,同时还能激发学生的课堂学习兴趣。在实际数学教学中,教师可以通过多媒体结合教材内容,使理论知识和学习兴趣充分结合,从而保持学生学习数学的兴趣。

关键词： 随机游走   表示学习   边约束   属性网络   早期融合   自编码器  

摘要： 在过去十年里,信息科学技术和移动互联网的发展催生了海量的数据,这些数据及其关联关系通常被抽象为网络,例如社交关系网络、论文引文网络、生物信息网络。自然地,从这些信息网络中学习有效信息就变成了迫切的现实需求,因此,网络表示学习技术受到了广泛的关注。到目前为止,研究者们针对网络表示学习提出了许多方法,总的来说,最具代表性的方法有两类,其一是以deepwalk算法为代表的基于随机游走和浅层神经网络的方法,其二是以SDNE模型为代表的基于深度神经网络的方法。本文将基于现有的研究成果和目前存在的问题进行探讨和研究,主要研究内容如下两个方面:(1)针对现有算法大多致力于研究网络拓扑结构特征,忽视网络中连边信息的问题,提出了一种基于网络连边约束的网络表示学习算法(Edge Constraint based Network Representation,ECNR)。该算法通过网络连边信息约束随机游走。即先通过节点表示学习的方法学习连边的表示,然后在节点采样过程中使用有约束的随机游走,使每次采样都尽量选择边关联更强且边向量更相似的节点,最后使用词向量学习模型skip-gram来对节点序列进行训练,得到节点的向量表示。在三个数据集Cora,Citeseer和Wiki上进行节点分类的实验,和对比算法相比,ECNR算法均取得了较好的效果。(2)针对现有算法忽视节点和其邻居之间属性存在差异的问题,提出了一种基于自编码器的特征早期加权融合表示学习算法(Weighted Early Fusion Representation Learning based on Auto Encoder,AE-WEF)。该算法在早期对节点属性特征和结构特征进行加权融合,然后将融合后的特征输入到自编码器进行优化,得到最终的节点向量表示。将AE-WEF算法应用于数据集Cora,Citeseer和Wiki的节点分类任务中,与对比算法相比,Macro-F1和Micro-F1分别平均提高0.1和0.103。