关键词： 以太坊   区块链   异常检测   交易网络   异构网络表示学习  

摘要： 以太坊作为全球第二大区块链交易平台,通过部署智能合约,提高了区块链交易应用的拓展性。面向以太坊交易的异常检测研究可使以太坊账户免遭不法分子的侵害,近年来引起了人们的广泛关注。但随着交易规模的扩大,各种曾经出现在传统货币交易中的骗局转移到了以太坊为代表的区块链数字货币交易中,使以太坊交易异常检测研究面临诸多挑战。以太坊交易网络可由网络表示学习方法映射为低维向量,将所得向量应用于异常检测中,提高以太坊交易异常检测效率。然而,以太坊中往往存在多重的交易信息,仅通过同构网络难以将复杂的交易信息表示出来。此外,异常账户会通过与正常账户交互隐藏异常交易信息,影响表示学习的效果。针对上述问题,本文提出面向以太坊交易数据异常检测的异构网络表示学习方法。主要研究工作如下:(1)面向以太坊交易数据异常检测的多层属性融合异构网络表示学习方法针对以太坊交易数据存在的多重异构属性,本文提出基于多层属性融合的异构网络表示学习方法。该方法通过收集具有多重属性的以太坊账户交易数据来建立异构交易网络,设计一种面向以太坊交易信息的特征提取策略,有效保留以太坊交易的多重属性。此外,该方法对交易数据表示过程中融合异构交易属性,通过基础嵌入、边嵌入和属性嵌入构成的异构网络表示学习方法学习节点表示。实验结果表明,多层属性融合的异构网络表示学习方法在存在多重特征以太坊交易数据集的异常检测应用上优于现有算法。(2)面向以太坊交易数据异常检测的关系过滤异构网络表示学习方法针对以太坊交易数据中异常账户的行为伪装,本文提出基于关系过滤的异构网络表示学习方法。该方法设计一种关系相似度感知过滤策略,在关系过滤的基础上利用强化学习模块自适应地选择每种关系内的优化邻居,有效过滤异常邻居关系。此外,该方法还提出一种基于异构图神经网络关系内及关系间的节点聚合方法,并在聚合过程中添加残差映射模块,提高对包含关系伪装以太坊交易数据表示学习结果的准确率。实验结果表明,关系过滤的异构网络表示学习方法在有伪装行为的以太坊交易数据集的异常检测应用上优于现有算法。论文最后,总结了面向以太坊交易数据异常检测的异构网络表示学习方法主要研究内容,并展望了未来的研究方向。

关键词： 有效合作学习   陶渊明   《桃花源记》   教学策略  

摘要： 合作学习是一种符合新课改要求的教学理论与策略体系，一般包括课前教师精心设计讨论问题、课上教师引导学生自主探究、课中教师叫答小组及答案展示、答后教师及时评价小结四个环节。从当前课堂教学的情况来看，合作学习面临着合作学习理念理解有偏差、合作学习内容设计不合理、合作学习方法运用刻板化、合作学习教师定位不准确、合作学习教师评价单一化等诸多问题。有效的合作学习能够激发学生学习文言文的兴趣和积极性，提高学生的合作探究能力，促进学生个体认知发展。在《桃花源记》一文中运用合作学习法，可以为合作学习的课堂实践运用提供借鉴，从而使文言文教学取得更大成效。

关键词： 多模态影像配准   多任务学习   多器官配准   二值图特征   互注意力   矢量融合  

摘要： 随着人工智能与现代医疗技术的不断融合,计算机视觉技术在临床诊疗的各个阶段都逐步进入应用阶段。其中,医学影像配准技术不仅是多模态影像分析、医学影像融合等任务的基础,而且能直接在多个诊疗过程中得到应用。目前的多数影像配准任务研究集中在脑部和胸腔,对腹部医学影像配准研究较少。腹部多模态医学影像配准主要存在大形变、跨模态、整图形变、多器官四大难点。本文从实际的宫颈癌和肝脏疾病诊疗过程出发,针对CT与MRI、增强CT的多模态影像配准问题,对应四大难点分别提出了相应的解决策略,构建深度学习模型帮助医生在诊疗过程中更直观地利用多模态成像信息,更加精准地发现、确认病灶,实现精准医疗。 (1)提出了一种基于器官分割和语义mask的多级跨模态大形变配准方法,用来解决下腹部CBCT与MRI配准时软组织形变严重、模态灰度分布差异过大的问题。在利用Mask-RCNN网络分割出需要配准的关键器官后,该方法基于分割结果和二值图特征,构建出适应不同器官特点的不同种类语义Mask,用于表征不同模态影像的灰度结构特征,再经过仿射-形变的多级配准框架,相对平滑地对求解软组织形变场。该方法在多个腹部器官上取得良好的配准效果。 (2)提出了一种基于互注意力和语义共享的多任务配准方法,用来解决肝脏增强CT整图配准过程中信息难以筛选的问题。在该框架中,首先采用双路网络和互注意力机制,将不同模态影像转化为中间模态,并且采用逆一致性损失约束中间模态的生成,接着传入分割和配准两个分支网络,由分割网络辅助监督信息筛选,配准网络完成配准任务。多任务训练过程采用交替训练和粗训练-精训练的方法,大大加快了网络收敛速度。该方法在增强CT上有着更强的形变能力。 (3)提出了一种基于深度概率图和矢量融合的多器官配准方法,用来解决下腹部CBCT与MRI多器官配准时,器官对应错误和不同形变场融合冲突的问题。首先,此方法分别求解出每个单器官的配准结果,并且由辅助网络提供深度概率图,通过提出的VFF模块,概率图辅助配准结果求出单器官形变场的融合权重,根据融合权重从散度域对形变场加权融合。该方法在进行多器官配准时可以良好地对应器官关系,有效地减少每个器官对周围器官的影响。

关键词： 生物序列   自然语言处理   表征学习   预训练模型   自动化特征工程  

摘要： 基因组被誉为“生命之书”,大自然通过生物序列书写描绘整个生命过程。对生物序列的研究有助于从分子视角探索生命本质现象。生物序列与自然语言具有很大的相似性,以自然语言处理技术为基础来揭示“生命之书”的含义,有助于提供对生物序列所编码的功能和结构的全面理解,并大大促进生物序列分析研究的发展。自然语言处理和机器学习的性能很大程度上取决于数据表征的质量。核酸和蛋白质序列是两类最重要的生物大分子序列。核酸和蛋白质分子序列种类繁多,但序列组成结构却高度相近,不同序列的表征编码方式基本相同。因此,本文从核酸和蛋白质序列中选择几种典型的分子作为生物序列表征学习的研究对象,包括植物R蛋白、m RNA、nc RNA-蛋白质相互作用(NPI)及抗冠状病毒肽(ACVP),以传统特征工程、静态表示、动态预训练表示以及自动化特征工程为技术手段,对生物大分子的序列表征学习进行了研究。主要开展的研究内容概述如下: (1)基于成对能量含量的植物R蛋白预测方法。植物R蛋白能识别病原微生物分泌的效应蛋白,并引发对病原微生物侵染的免疫反应,准确识别植物R蛋白是植物病理学的一个重要研究课题。现有计算模型大多关注动物蛋白分子而缺少植物蛋白的研究,且其中的蛋白质序列表征学习方法主要依赖氨基酸频率特征,忽略了氨基酸之间的特性。本文提出了一种基于传统特征工程的植物R蛋白预测模型Stack RPred。首先,引入了氨基酸残基的成对能量含量矩阵,并以此提出了两种植物R蛋白表征学习方法;然后,将获得的序列表征信息输入所构建的双层Stacking集成学习框架进行训练,以预测植物R蛋白质。五折交叉验证和独立测试集验证的准确率分别达到了97.5%和96.7%,表明Stack RPred方法是一种预测植物R蛋白的有效工具。 (2)基于多尺度可解释性的m RNA亚细胞定位预测方法。m RNA在基因转录后调控中起着关键作用,且是指导蛋白质生物合成的直接模板。然而,目前预测m RNA亚细胞定位的工作还很少,对m RNA序列表征学习方法的探索还有待进一步加强,尤其是,缺乏对可解释性方法的分析研究。因此,本文构建了一种可解释性的多尺度注意力机制的预测方法m RNA-CLA,用于预测多标签的m RNA亚细胞定位。该模型通过多尺度卷积网络层获得不同位置的序列特征,并利用自注意力层对每个序列产生的注意力权重,结合CNN层中提取位置权重矩阵,对模型进行了可解释性分析。特别是对不同位置的m RNA分子进行序列碱基分析,得到不同位置的序列的碱基特异性。从评估结果来看,m RNA-CLA方法提升了m RNA亚细胞定位的预测性能,同时,通过对m RNA序列进行可视化的分析,增加了模型的可解释性。 (3)基于图表征学习和社区检测的NPI预测方法。nc RNA-蛋白质相互作用涉及生命重要过程,探索nc RNA-蛋白质相互作用具有重要意义。现有方法多是通过探索nc RNA或蛋白质分子的序列或结构表征信息,而对它们之间相互作用的表征分析相对比较缺乏,尤其是应用GNN方法在预测NPI的潜力仍未得到很好的开发。为此,本文中提出了一个基于GNN表征学习方法的NPI预测模型。该模型是通过转化NPI预测为子图二分类预测问题来开展研究。具体来说,首先利用两组结构化标签来区分两种不同类型的节点:nc RNA和蛋白质,从而缓解了图网络中过度耦合的问题。随后,根据图中节点的社区所属关系,初步优化nc RNA和蛋白质的表征。此外,该模型应用了一种自注意力机制来保留图的拓扑结构,以减少池化过程中的信息损失。最后,分别在两个稠密图和两个稀疏图上进行了实验验证,实验结果表明,所提方法在稠密图上的预测准确率与现有方法相比表现最好,预测准确率均超过90%;在稀疏图中整体上也呈现出很好的实验性能。 (4)基于自动化特征工程的ACVP预测方法。COVID-19大流行正严重影响人们日常生活,基于序列表征学习策略开发ACVP预测模型有助于抗新冠病毒药物的研发。然而,尽管已经发现了很多的抗病毒肽(AVP)数据,但作为AVP成员之一,经过实验验证的ACVP样本仍然很少。此外,由于现有的预测方法多是凭经验选择特征和设置预测模型参数,容易产生主观偏差,使得模型训练愈发“昂贵”。自动化特征工程方法能对特征和模型进行优化,有助于缓解上述问题。因此,本文提出了一种基于自动化特征工程的ACVP预测方法ACVP-Auto。该方法首先对AVP和ACVP序列进行多视角表征学习,然后,引入贝叶斯技术优化搜索空间以选择特征和模型的最佳组合,借助AVP数据集和少量的ACVP数据构建训练模型。本文通过构建自动化的机器学习模型,不仅提升了模型预测性能,而且能有效避免低效的人工经验超参设置,有助于规模化推广。

关键词： 类脑Spiking神经网络   生物侧抑制   时空反向传播   负对数似然度量   渐进代理梯度  

摘要： 人类大脑具有高效的计算方式和极低的能量消耗,能对外部环境做出快速而精准的判断。目前的人工神经网络实现了大脑宏观层面的信息处理方式,在人工智能领域取得了巨大成就。但是,人工神经网络需要海量的数据与强大的算力支撑,难以在资源受限的边缘设备上进行部署。类脑计算作为一种新兴的计算方式,从大脑神经元的微观运行机制中找到突破口,构建出低功耗与低延迟的类脑Spiking神经网络模型。然而目前类脑Spiking神经网络的理论发展和应用受到多方面的限制,包括缺乏合理解释的网络架构、高效的学习算法和有效的编码方式等。基于此,本文进行了以下研究探索工作:1.提出了一种具备生物侧抑制功能的类脑Spiking神经元模型——LISNM,并将其拓展为在时间和空间维度可迭代计算的类脑Spiking神经网络模型。该网络模型考虑了相互连接的神经元彼此的非循环侧抑制作用,即一个神经元因兴奋产生的脉冲信号会降低附近神经元的膜电压从而抑制其发放脉冲。因此,该模型不但能反映层内神经元被相邻神经元抑制的现象,而且能使得层间神经元的信息通过空间域和时间域前向传播。2.提出了一种跨尺度的混合学习方法——GLHSTBP。该方法考虑了生物脑的宏观信息计算方式,同时包含生物神经元微观信息处理机制,并且结合了全局监督学习和局部无监督学习。在全局学习中,定义了一种基于脉冲发放数量的负对数似然度量误差函数,误差信息从输出层通过时间和空间两个维度向前层回传,层间突触权重由误差信息更新;提出了一种渐进代理梯度学习方法,不仅能解决多层Spiking神经网络训练中脉冲状态对电压不可导的问题,还能保证网络早期的快速训练。在局部学习中,定义了神经元的敏感度因子,神经元脉冲发放数量越多,敏感度因子越小。层内突触权重的更新与层内神经元的敏感度因子有关。3.为了验证提出的基于LISNM的类脑Spiking神经网络模型和GLHSTBP学习方法的有效性,本文首先设计了一种结合了首次脉冲时间编码方法和速率编码方法的新型编码方案,用于将输入信息转换为脉冲序列。然后通过将模型和算法应用在UCI机器学习分类任务、手写数字图像识别任务和语音信号识别任务,最终的结果充分证明了该网络模型和算法的高效性。

关键词： 机器学习   特征工程   传感器漂移   迁移学习   多任务学习  

摘要： 近年来,由气体传感器阵列和模式识别模型组成的电子鼻(E-nose)作为一种替代的气味分析方法在生产生活中各个领域得到了广泛应用。随着研究人员对识别算法的进一步深入研究,气体信息的数据提取方法越来越成熟。但目前还没有一种通用的特征方法适用于不同应用场合,需要根据具体问题设计选取不同方案的特征来解决通用性差的问题。此外根据特征处理后的数据特点,识别方法也需要结合实际工程需求进行选择。因此,整体的气体识别过程需要人为不断调整最佳的决策组合才能获得较高的分类精度。针对以上在机器嗅觉系统的各类工程应用中的问题,本课题的研究着眼于机器学习技术与气体识别技术的融合,首先从数据分析的角度出发,数据预处理进行Z-score标准化、多项式转换;特征处理对提取的时域特征进行方差选择以及主成分降维,组合出三种不同特征工程方案,然后结合K-邻近法、逻辑回归、支持向量机以及BP神经网络四种不同的机器学习算法,验证分析每种特征方案对分类效果的影响,结果表明预处理采取多项式转换+标准化,特征处理采取方差选择的特征方案在反向传播神经网络下分类效果最好。证明了在气体分类任务中选择合适特征工程和分类模型的重要性。其次考虑到机器嗅觉系统在现实应用中,传感器发生漂移之后收集到的数据分布不同,识别系统性能会严重降低。本课题为了解决传感器漂移导致的数据样本空间分布不一、预测准确率过低等问题,提出基于转移样本的多任务学习方法(TSMTL)来校准漂移数据。将每个不同批次数据定义为一个域,在每个域中测量选取的一组转移样本,利用每个目标域的转移样本在其各自的投影空间中与源域中的转移样本对齐来降低目标域漂移的影响。通过对比现有的传感器漂移补偿算法,验证了该方法在所需辅助样本较少的情况下取得了更好的准确率。而且该算法能够同时学习源域数据的训练模型和多个目标域数据的预测模型,证明了该算法的高效便捷。

关键词： 深度学习   老电影修复   卷积神经网络   图像彩色化  

摘要： 经过一个多世纪的拍摄和积累,现存老电影的数量庞大,而其中的大多数受到不稳定的存储介质和不理想的存放条件影响,保存状况较差。对于部分经典电影,有专门的团队与项目负责进行修复;而对存量巨大更加一般意义上的老电影,往往无法动用过多人力物力进行修复与保存。近几年深度学习领域的快速发展,为破解这个困境提供了新的思路。基于深度学习的方法具有更好的增强效果以及较高的灵活性,能够适应各种老电影的修复工作。而当下的人工智能热潮也鼓舞着更多的相关群体开始关注和利用类似的人工智能工具自发完成这类工作。 为了促进老电影修复工作的进展,紧随时代潮流,本文从老电影退化特征分析、模拟退化数据准备、老电影修复与彩色化神经网络的实现、相关应用程序的开发几个方面展开了研究,实现了一种针对老电影的代替人工手动修复的修复与彩色化方式,兼顾一定质量与效率,具备完成批量老电影修复与增强任务的能力。配套开发的应用程序也能够帮助没有开发基础的用户自行完成老电影修复、彩色化与简单剪辑的工作。 对于老电影修复网络,针对已有方法对结构性损伤先验不足的问题,设计了结构性损伤识别网络模块,并利用提出的老电影数据退化模拟方法进行了训练。该模块能够较好地提升老电影结构性损伤特别是斑块的修复效果,网络的整体水平与目前已有的修复算法相近。对于老电影彩色化网络,在参考式彩色化网络框架的基础上提出了一种自动彩色化网络,并在筛选过的分类图像上训练,具有较为鲜艳的彩色化效果。与目前流行的修复与彩色化算法比较,提出的网络在各项指标上具有不错的水平,而在老电影真实数据上的测试,也证明提出的网络具备可观的老电影修复与彩色化能力。

关键词： 交互式推荐   离线强化学习   深度强化学习   表示学习   状态偏差修正  

摘要： 强化学习是交互式推荐系统的重要范式,其能够通过与用户不断地交互,捕捉用户的动态偏好,进而为用户提供更加精准的推荐服务。然而,训练最优推荐策略需要与用户进行大量的交互,不仅成本高昂,而且存在用户流失的风险。离线强化学习的目标是从预先收集的固定离线数据集中学习最优推荐策略,不需要与用户进行额外交互,因此可以有效解决上述问题。然而,推荐环境具有复杂多变的特性,状态空间动态变化,因此离线数据集中的状态转移轨迹难以完全覆盖可能的状态空间,从而可能产生状态偏差。面对真实推荐环境中未见过的状态,离线学习得到的推荐策略难以准确估计其价值,从而导致推荐性能下降。针对以上问题,本文提出一种基于状态偏差修正的离线强化学习方法。该方法通过限制策略所引导的状态分布来修正状态偏差,从而使离线学习得到的策略能够在真实的推荐环境中更好地泛化到未见过的状态。具体研究内容如下: (1)针对真实推荐环境中因状态偏差而导致推荐性能下降的问题,本文提出了一种基于状态偏差修正的离线强化学习方法。该方法首先基于高斯分布对离线数据集中采样的状态进行随机扰动。然后,基于状态偏移模型和行为策略网络生成具有噪声的下一个状态,模拟状态偏差。最后,通过训练策略最小化带有噪声的下一状态与离线数据集状态分布之间的距离,以修正真实推荐环境中可能存在的状态偏差。 (2)针对推荐环境中因数据高维稀疏而导致推荐效率降低的问题,本文使用表示学习方法对数据进行优化。首先使用稀疏主成分分析对数据进行降维,从而减小了状态空间的复杂度。接着,使用稀疏自编码器从降维后的数据中进一步提取更有意义的特征表示,从而提高策略的推荐效率。 (3)在真实数据集上验证本文提出方法的有效性。在网易伏羲实验室提供的交互式推荐数据集上进行对比实验。实验结果显示,本文提出的方法在训练集和测试集上均有较好的推荐效果,且在测试集上显著优于现有方法。此外,在推荐效率上也有显著提升。这表明本文提出的方法通过对状态偏差进行修正,能够更好地在真实的推荐环境中泛化。

关键词： 拉曼光谱   化学计量学   深度学习   信号处理   成分分析   评述  

摘要： 拉曼光谱技术具有快速、准确、应用灵活和灵敏度高等优点，在生物医药、食品安全、医疗诊断和石油检测等领域广泛应用。拉曼光谱技术常与化学计量学方法结合使用，以实现对具有复杂光谱行为及低含量物质的灵敏检测。深度学习作为一种在特征提取和图像识别领域表现优异的人工智能方法，在拉曼光谱技术中的应用受到了越来越多的关注。结合了深度学习方法的拉曼光谱检测技术在准确率和检测速度等性能指标上均可以得到优化。本文综述了拉曼光谱结合化学计量学和深度学习方法用于物质分析检测领域的应用进展，介绍了拉曼光谱分析方法的分析过程以及光谱数据处理方法，包括传统的化学计量学方法如多元线性回归（MLR）、主成分分析（PCA）、线性判别分析（LDA）和偏最小二乘（PLS）等，以及光谱信号预处理和深度学习分析方法等，最后讨论了基于深度学习的拉曼光谱检测技术的优缺点以及发展前景。

关键词： 深度学习   持续学习   手部运动估计   表面肌电信号   手势识别  

摘要： 深度学习凭借强大的特征提取能力,已经被广泛应用于计算机视觉、语音识别、自然语言处理以及人机交互等领域。在人机交互领域,深度学习算法大量用于手部运动估计,尤其是手势识别。能否直接快速识别出手部运动意图关系到人机交互的效率,是制约人机交互应用落地的重要因素之一。 手部运动估计需要大量表面肌电信号(Surface Electromyography,s EMG),然而在实际应用中采集到的肌电数据是以数据流的形式源源不断呈现,并且数据分布形式可能逐渐改变。这些都要求深度学习算法能够在线持续学习新特征,但是目前深度学习手势识别算法大多离线训练,在训练迭代时存在灾难性遗忘现象,无法利用之前学习到的特征。持续学习可以克服神经网络灾难性遗忘现象,能在仅改变神经网络参数情况下学习新知识。就我们所知,目前鲜有人使用在线持续学习方法识别手势。为了解决这些问题,本文提出一种在线持续识别手势方法,该方法主要工作如下: 1.调整持续学习的骨干网络,成功在线持续识别不同手势。为了提高模型泛化性能,通过在损失函数中添加L2正则化项来限制模型的权重范数,并避免过度拟合问题。这种方法持续识别五种手势的准确率可以达到82.7%,遗忘率为7.9%,同时这种方法在CIFAR-10上,持续分类准确率从63.8%提升到67.0%,遗忘率从8.3%降低到7.0%,在CIFAR-100上持续分类准确率从30.8%提升到31.8%,遗忘率从6.8%降低到6.2%。 2.针对肌电信号的特征提出了一种基于梯度的缓存更新策略,该策略通过一个约束条件保证每次选入缓存的样本都是逐步最优的,并且将约束条件转换到梯度空间降低计算复杂度,因此只需要计算当前任务样本参数梯度与缓存中样本参数梯度的余弦一致性即可判断选择哪些样本进入缓存中。这种方法持续识别五种手势准确率可以达到89.9%,遗忘率为4.0%。与上一种方法结合后,混合方法持续识别五种手势准确率可以达到95.0%,遗忘率为2.4%。