关键词： 睡眠脑电   睡眠脑电纺锤波   融合卷积神经网络   双模态融合   迁移学习  

摘要： 睡眠对人们日常的生产生活有着重要的影响,而当今社会不少人因为自身工作和生活压力大等众多因素影响,导致精神长期精神处于紧张状态,深受睡眠疾病的困扰,但目前诊疗睡眠疾病的主要方式方法还是依靠睡眠量表的评估以及医生根据睡眠脑电图做出判断,这是非常耗时耗力且工程量非常大,并且会影响睡眠疾病的诊疗速度,很难够使病人准确且快速的得到治疗。 纺锤波是人类睡眠质量的一个重要标志,通过纺锤波的算法自动识别来代替医生的判断,将提高医生的诊疗速度。本文针对以上目的提出了基于迁移学习的睡眠纺锤波检测研究,通过睡眠纺锤波自动检测方法,一方面是提高医生诊断睡眠疾病的诊疗速度,另一方面与可以分析比较出失眠患者与正常人之间的睡眠纺锤波的差异。 本文使用来自首都医科大学宣武医院的真实并且经过技师进行标注的睡眠纺锤波数据构成的数据集进行实验,既保证了实验的真实性,同时也对实验数据进行了t检验,以防止由于个体差异对实验数据造成的影响从而对实验结果产生不必要的误差。实验首先对获取的数据滤波、降采样等预处理,为后续实验进行先前的准备工作。 本文所采用的数据首先根据构建的一维和二维卷积神经网络进行实验,但经过程序和各方面的微调,所得结果虽然稳定,但仅能够达到之前研究者所研究的睡眠脑电纺锤波检测的水平,并没有明显的提高,针对这一不足,本文提出了一种双模态融合的卷积神经网络,将一维和二维卷积神经网络模型学习到的特征等进行融合,汇总之后再输出最终的结果,经过多方面的调试和调整,最终使双模态的融合结果相对之前提出的自动检验的研究方法的结果有了进一步的提升。且本文首次提出在卷积神经网络基础上的迁移学习,使得在正常睡眠被测者数据上学到的特征迁移到失眠被测患者的数据上,实现一个纺锤波的特征的迁移学习,从而高效的检测出正常睡眠被测者和失眠被测患者之间通过纺锤波表现出来的差距,从而进一步确定失眠患者的病情,并进行下一步的治疗。 正常睡眠被测者的数据输出结果达到94.5%以上,相比之前的研究提升了2%,迁移到失眠被测患者数据的输出结果为85%左右。因为失眠被测患者作为存在睡眠疾病的数据,在此数据上根据正常睡眠纺锤波的特征所检测到的睡眠脑电纺锤波的特征存在差距,由此表明,失眠被测患者的睡眠脑电纺锤波相比较正常睡眠被测者存在一定的不足,从而判断出是否存在睡眠疾病。 本文实验结果表明,卷积双模态融合网络相比较单独的一维和二维卷积神经网络的睡眠纺锤波自动检测结果有明显提升,从正常睡眠被测者数据模型上学习到的睡眠纺锤波的特征也能有效的迁移到失眠被测患者的睡眠数据中,并且达到了理想的效果。

关键词： 小学   信息技术课堂   项目式学习   定义与特征  

摘要： 项目式学习即一类动态的学习方法，可以促使学生主动地探索现实世界的挑战与问题，更深入地掌握相关知识与技能。项目式学习方法在新课改后被引入小学教育中，有利于促使小学生的核心素养养成。本文以小学信息技术课堂为例，首先对项目式学习方法的定义与特征进行了阐述，其次对小学信息技术课堂教学的现存问题进行了分析，再次明确了项目式学习在小学信息技术教学中的应用意义，最后提出了项目式学习方法在小学信息技术课堂中的运行策略，希望为小学教师提供理论参考。

关键词： 三维点云   表征学习   无监督学习   旋转不变性  

摘要： 点云表征学习是三维计算机视觉研究中的一项重要任务。相较于监督学习,无监督学习不需要大量的人工标注,并且能更好地学习点云的潜在结构以获得通用的表征。然而,由于点云数据和无监督学习的特性,从未标注的数据中学习有效的点云表征具有一定挑战性。目前,大多数无监督表征学习方法在点云随机旋转时性能不佳,而现有的一些旋转鲁棒方法单一地从局部或全局对点云进行特征转换,并使用最大池化进行特征聚合,缺乏对点间关系的学习,因此存在特征表达能力不足问题。此外,由于缺乏人工标签训练,无监督学习难以直接从点云中学习高层语义信息,例如对象类别。本文提出两种有效的方法用以解决这些挑战性问题,主要工作总结如下: (1)针对无监督点云表征学习中的旋转干扰问题以及现有旋转鲁棒方法中存在的特征表达能力不足问题,提出了一种基于局部-全局旋转不变特征的无监督点云表征学习方法,通过联合学习局部和全局旋转不变特征提取信息丰富的点云表征。对于局部表示,利用手工设计的旋转不变特征描述符对输入点云进行转换,生成旋转不变的点云局部特征;对于全局表示,提出基于PCA(Principal component analysis,主成分分析)的全局旋转不变坐标重建任务,补充手工描述符缺失的全局几何信息。为了使输出的点云全局表征蕴含丰富的点间关系,设计局部和非局部特征提取模块自适应地学习点云的局部点间关系和非局部自相似性。实验证明,该方法可以在无监督的情况下学习旋转不变且区分度良好的点云表征,有效提升了下游任务的性能。 (2)针对无监督点云表征学习中的高层语义信息欠缺问题,提出了一种基于2D视图-3D点云重构的无监督点云表征学习方法。该方法从两个方面学习高层语义信息:首先,基于深度度量学习的思想建模局部、非局部和全局特征之间共享的类别语义知识,以挖掘点云自身潜在的具有区分性的高层语义信息;随后,模拟人类通过二维视图理解三维物体的机制,设计基于PCA对齐的2D视图-3D点云重构任务,使点云表征集成了来自三维点云和二维视图的丰富学习信号。此外,使用一种动态权重损失解决了训练中多个损失函数的权重分配问题。实验证明,该方法在随机旋转的合成数据集Model Net40和真实数据集Scan Object NN上的识别精度分别达到90.96%和89.02%,超越了目前先进的无监督点云表征学习方法,并可以和部分有监督的方法相媲美。

关键词： 高中物理   学习误区   学习方法  

摘要： 对高中物理学习过程中常见误区和解决方法进行研究分析的主要目的在于加强对高中物理阶段存在的学习误区的关注并帮助解决，从理论上通过应用有效的学习方式，促使学生的物理学习从量的积累实现质的发展。从实践上立足于整体，在提高学生物理学习效率、激发学习兴趣等方面应用高效的学习模式。本文围绕高中物理学习阶段存在的误区，从学习目标、学习思维、易错混淆题以及实践性等方面确立解决对策。

关键词： 迁移学习   领域自适应   最优传输   类别均衡  

摘要： 近年来,基于人工神经网络的计算机视觉工作取得了令人瞩目的成绩,这一方面得益于网络结构的不断优化,另一方面,数据集的容量和丰富度提升也至关重要。但是在现实应用场景中,由于数据集采样的所处环境、所用设备以及采样方式等多种因素的影响,不同数据集之间往往存在差异。使用朴素的神经网络模型无法建立起不同数据领域间的联系,这会影响模型的泛化能力和对大规模数据集的利用率。领域自适应迁移学习技术利用有标签的多源域信息,通过在高维空间上对领域关系建模,筛选并生成域不变特征,从而最小化不同领域之间的差异,最终自适应地提高模型在所有数据领域上的表现。现存的迁移学习模型主要基于欧氏距离度量和对抗神经网络,试图通过显式的计算或生成器和域鉴别器间隐式的对抗学习,在高维特征空间搜索域不变特征。然而,两者皆无法体现数据样本的类别结构对高维空间的影响,这加大了少数类别与多数类别样本间的偏差,并且当不同域间样本差异过大,即其支撑集无交集时,两者的度量能力会发生退化。这些因素最终导致所提取的特征混杂了域私有特征,造成领域负迁移。本文提出一种基于最优传输理论的类别均衡化迁移学习模型。首先,为了更全面地利用标签信息,避免度量能力退化,本模型将源域和目标域数据集统一映射到特征-标签联合概率分布空间,并使用基于最优传输理论的度量筛选源域和目标域间的域不变特征。针对不同域间样本类别的不平衡问题,本模型使用预计算的类别比例修正联合概率分布空间,鼓励在小类别样本和主成分特征上进行概率传输,并得到最优耦合矩阵和最优传输距离作为修正后的度量和变换,以便后续阶段的分类器进行分类。最后,为了最小化理论的分类误差上界,本模型额外度量了多源域间的距离,以充分利用源域内的信息构建域不变特征,并使用多分类器区分决策边界,进一步增强了模型的泛化能力。为验证本模型在多源域领域自适应迁移学习任务上的有效性,本文选择了DigitFive、Office-Caltech、Office-Home三个不同规模与主题的复合图片分类数据集,进行了13次迁移适配,并与未进行迁移、未考虑类别比例的若干模型进行对比。本模型在三个数据集上分别取得了94.03%、98.37%和74.54%的分类准确率,高于基准模型和对比模型,验证了本文提出的方法的有效性和适用性。为了进一步分析与验证本模型对性能的提升,本文还设计了消融实验和参数敏感度实验,并绘制了迁移前后的T-SNE特征分布类聚图,用以验证各个模块对最终结果的贡献。

关键词： 铝锂合金   机器学习   纳米压痕   力学行为  

摘要： 铝锂合金相比传统铝合金具有更高的比强度、抗疲劳性能,被认为是理想的航空航天轻量化结构材料。铝锂合金优异的综合力学性能来源于微观组织特征的精细调控,探明铝锂合金的构性关系对力学性能优化至关重要。然而,铝锂合金微观组织特征与力学性能关联规律复杂,实验表征与模拟计算等研究方法难以比较各微观组织特征影响强弱关系,极大地增加了该问题的研究难度。近年来,以机器学习驱动的材料性能研究日趋成熟,为该问题的研究提供了新思路:通过收集大量的铝锂合金构性关系数据,使用机器学习方法分析构性关系数据集,预测合金力学性能并给出微观组织特征的重要性排序,进而指导数学物理模型的构建。 由此,本课题围绕铝锂合金微观组织特征对微区力学性能影响规律与机制这一科学问题展开,以AA2099铝锂合金为研究对象,结合纳米压痕（nano-indentation）、扫描电镜（SEM）、电子背散射衍射（EBSD）、透射电镜（TEM）等表征测试手段,高效地建立了铝锂合金微观组织特征—硬度数据集;结合机器学习数据挖掘与实验机制分析,揭示了微观组织特征参数与AA2099铝锂合金微区力学性能关联机制。本文主要发现及结论如下: （1）删除低关联性参数有助于提升机器学习模型的预测能力。ST样品中,最近晶界距离(Ddis)和晶粒最短轴(Dmin)与硬度呈负相关,ND加载施密特因子(SFND)与硬度呈正相关。对比了线性回归（LR）、决策树（DT）、随机森林（RF）、BP神经网络（BP）四种模型的预测效果,其中随机森林算法拥有更高的预测精度,能够利用半定量地给出微观组织特征的重要性排序。在所有样品中,Dmin、Ddis、SFND均为重要微观组织特征。 （2）Berkovich压头的纳米压痕硬度测试可视作ND方向的单轴压缩变形,基体一般会开动施密特因子最大的两个滑移系来协调塑性变形。靠近晶界的压痕点硬度明显升高,且高角晶界相较于低角晶界作用更为显著。T1相惯习关系能够增强晶体取向对硬度的影响程度,压痕点硬度与{111}滑移面与表面最小夹角正弦值(sinmin)呈明显的负相关趋势。实验表征分析结论与机器学习的预测结果吻合度良好。该现象表明机器学习预测结果即便在微观组织结构-硬度相关系数未达到预期情况下（R2＜0.9）,仍能准确地对微观组织特征重要性进行半定量排序。 （3）析出强化是T8态铝锂合金的主要强化机制,应变硬化为该状态样品的次要强化机制。采用简单叠加的屈服强度模型中,晶界对屈服强度的贡献有限,忽略晶界强化仍可根据强化模型得到较为准确的预测值。而采用简单叠加强化效果的方式并不适用于纳米压痕硬度预测模型,晶界强化对硬度有显著的影响,需考虑晶界强化与固溶强化、应变强化、析出强化的耦合作用。基于机器学习重要性排序结果,添加晶界强化系数k对简单叠加模型进行修正;最后总结了宏观力学性能与微观力学性能的关联规律,发现纳米压痕硬度与拉伸屈服强度总体上呈良好的线性分布。

关键词： 国债   远期利率   时变风险溢价   机器学习  

摘要： 从1981年恢复国债发行开始,中国国债在这四十多年间市场规模不断发展壮大,市场主体日趋多元,市场活跃度逐步提升,对外开放稳步推进,制度框架逐步完善。2016年以来,中国债券市场规模已超越日本,紧跟美国,稳居世界第二。中国债券规模之大,反映了我国经济实力的强大,以及金融市场的深度和成熟度。 随着债券市场的不断发展完善,债券市场的利率变化和债券超额收益成为业界和学术界广泛关注的焦点。自改革开放以来,中国一直在稳步推进利率市场化,建立了市场供求决定的利率形成机制。债券的时变风险溢价代表了市场对未来投资不确定性的风险补偿,反映了市场预期和投资者对风险的态度,这是宏观经济未来走势的重要预警指标,对资产定价、风险管理和货币政策制定具有关键作用。期限溢价的研究可以帮助我们了解投资者的风险承受水平、评估长期利率趋势和预测未来经济状况。近年来,时变风险溢价备受关注,特别是在与宏观因素和货币政策等因素相关的深入研究背景下。同时,利率期限结构的预期理论是金融衍生产品定价和风险管理的重要理论基础。然而,在中国债券市场,已有研究表明存在明显的时变风险溢价,且这些期限溢价本身也存在着时变波动性。因此,我们需要深入研究期限溢价,以更准确地应用利率期限结构理论。 机器学习是人工智能的一个先进子领域,其核心目标是构建算法和模型,使计算机系统能够基于数据自主地进行学习和优化。它采用数据驱动的策略,模拟人类的认知和学习机制,以实现对复杂环境中的模式和结构的自适应识别和预测,从而提高系统的决策和执行效率。很多学者已经将机器学习方法应用于资本市场,应用领域大多是股票,对债券的研究较少。本文采用8种机器学习的方法,通过中国零息债券的远期利率及宏观数据对债券的时变风险溢价进行预测,从而解决最小二乘法预测精度低的问题。 本文主要研究的是远期利率和宏观经济变量对于零息国债持有期超额收益的预测,持有期设置为1年,样本区间为2006年3月到2023年3月。本文采取主成分回归、偏最小二乘回归、岭回归、套索回归、弹性网回归、梯度提升树、随机森林以及神经网络8种机器学习算法对零息国债持有期超额收益进行预测,并将这些机器学习方法的预测结果与最小二乘回归的预测结果进行比较。本文的所有算法均由python完成。 研究结果表明,传统最小二乘回归在预测方面的表现最差,在9个不同到期期限的国债超额收益的预测中,其预测的样本外R2均为负。8种机器学习方法对于最小二乘回归方法的预测准确度均有较大幅度的提升,其中表现最好的是梯度提升树算法。之后进行了D-M检测,其结果均为正且显著,说明各种机器学习模型相对于最小二乘回归显著的提升了预测准确度。本文也研究了不同经济周期机器学习方法的可预测性,发现最小二乘回归预测能力仍为负,机器学习方法则是衰退期的预测结果要好于扩张期。进一步研究宏观经济变量的相对重要性,找到了对到期期限为2年至10年的零息债券的持有期超额收益预测最重要的5个宏观经济变量。最后对文章主要结论进行稳健性检验,所得结论与原结论保持一致。 准确的预测债券时变风险溢价不仅有利于投资者进行交易决策,而且有助于更精准的刻画中国债券利率期限结构。一个合适的利率期限结构不仅有助于央行制定正确的货币政策,而且有助于促进我国债券市场的发展和完善。

关键词： Bootstrap抽样   Bagging集成学习   Spark分布式计算   质量选择  

摘要： 随着计算机新技术在各行业的应用和大数据理念的广泛传播,人们慢慢认识到社会已进入大数据时代。然而,海量数据在带来丰富效益的同时,也加深了技术人员处理分析数据的难度。在计算机科学领域,机器学习可以从这些数据中挖掘出大量可用信息,辅助人类做出各种决策。其中,集成学习是机器学习中常用的增益手段。针对大规模数据分析,单机显然有些力不从心,无法完成大规模数据分析与建模,以MapReduce范式为基础的Hadoop、Spark等框架在分布式计算领域中得到了广泛的采纳。 Bootstrap是一种经典的有放回随机抽样方法,它从给定原始数据集中进行等量的有放回随机抽样得到一个Bootstrap样本集。Bootstrap思想派生出Bagging(Bootstrap aggregating)集成学习模型,它通过有放回随机抽样得到多个Bootstrap样本集后,对每个样本进行独立的分类或回归建模,最后集成计算每个样本的子结果得到最终集成结果。虽然传统Bootstrap抽样和Bagging集成学习的串行程序容易实现,但是计算时间长,数据扩展性差,不适合大规模Bootstrap样本的集成学习,且对于较大的原始数据集和复杂建模算法,程序运行效率低,浪费内存资源。Bagging集成学习有良好的并行性,可并行化执行,然而对同一原始数据集的不同分析任务,每次运行都要重新进行在线Bootstrap抽样,数据可重用性低,浪费计算资源;同时,在建立很大规模的集成模型时,计算效率和集成模型扩展能力受集群内存资源限制。 本文提出并设计了一种基于Spark分布式计算引擎的Bootstrap样本划分(Bootstrap Sample Partition,BSP)大数据模型和基于BSP数据模型的分布式集成学习方法。利用大数据分布式计算的思路解决上述存在的痛点与问题,高效地生成原始数据集的BSP数据模型,一次性生成,可重复使用,支持多次不同集成学习任务的数据分析,同时提高了大规模Bootstrap样本集成学习的计算效率和集成模型的预测精度。 具体研究成果包括两大内容:(1)提出BSP数据模型分布式生成算法,可以高效地预先生成原始数据集的大量BSP数据块作为BSP数据模型,为Bootstrap统计分析和集成学习提供Bootstrap样本集,提高后续数据分析的计算效率和建模能力。BSP数据模型将训练数据表达成Bootstrap样本集的集合,存储成HDFS分布式数据文件,并将此算法封装成Spark内部的转换算子to BSP,支持大规模BSP数据模型的高效生成。(2)提出基于BSP数据模型的分布式集成学习方法。从BSP数据模型中随机选取部分数据块,将每个数据块读入集群各节点的虚拟机中,接着由主节点分发串行算法作用于每个数据块上独立地、并行地进行统计分析计算或模型训练计算,可选择加入对BSP数据块的质量优选策略,然后将这些BSP数据块的局部子结果传送到主节点做集成计算,生成集成学习结果。本方法的BSP数据模型生成和子模型建模均采用非MapReduce范式的分布式并行计算方法,每个数据块的计算独立完成,减少了计算节点间的数据通信,整个建模预测过程只有一次聚合集成操作,极大地提高了计算效率。它解决了传统Bootstrap抽样和Bagging集成学习的串行实现,计算效率低,数据扩展性差,不适合大规模Bootstrap样本的集成学习等问题。 根据上述研究内容,本文实现了一套完整的基于Spark计算引擎的面向大数据分析的分布式分析系统,系统中包含BSP数据模型、分布式生成算法和分布式集成学习方法的落地,所有配套的相关算法和算子均已集成至Spark开源软件中,可供Spark应用程序调用。实验结果表明,新方法可以高效地生成原始数据集的BSP数据模型,支持多种分布式集成学习的数据分析,同时提高了大规模Bootstrap样本集成学习的计算效率和集成模型的预测精度及稳定性。

关键词： 抗冠状病毒肽   分类模型   多肽识别   不平衡学习   堆叠学习  

摘要： SARS-CoV-2及其变体病毒会导致严重肺炎和急性呼吸窘迫综合征，严重影响人类的生产生活.抗病毒肽，白细胞介素-6(Interleukin-6,IL-6)诱导肽以及其他靶向SARS-CoV-2的多肽已应用于COVID-19治疗中，所以其准确识别对于抗病毒药物的开发具有重要意义.虽然现有的模型在识别靶向SARS-CoV-2的多肽方面取得了一定的成功，但其性能对于诊断和治疗的实际应用仍有改进的空间，因此本文基于不平衡学习方法构建靶向SARS-CoV-2的多肽分类模型，研究内容主要分为三个部分.　　第一，构建了一种基于数据角度的不平衡学习和两层堆叠学习框架的抗冠状病毒肽分类模型.首先使用9种特征描述符来表征丰富的序列信息，并将其融合成一个特征向量，再进行数据归一化和不平衡数据处理.在堆叠学习框架的第一层中，结合3种特征选择方法和4种机器学习分类算法，得到12个基模型.在第二层中，将最优的概率特征输入逻辑回归算法中，训练得到最终的分类模型.模型在独立测试数据集上取得了良好的分类性能.　　第二，构建了一种基于数据角度的不平衡学习的IL-6诱导肽分类模型.首先采用5种特征描述符提取了 IL-6诱导肽的序列信息，并将其融合成一个特征向量.再进行数据标准化和不平衡数据处理.然后使用Boruta算法进行特征选择.最后将得到的40维最优特征向量输入到极端随机树分类器中进行训练，得到最终的分类模型.模型在独立测试数据集上能够实现相对较高的性能和较好的稳健性.　　第三，构建了一种基于算法角度的不平衡学习的多种功能活性的抗病毒肽分类模型.首先采用9种特征描述符以及2种特征提取方法对不同功能活性的抗病毒肽进行特征提取得到一个特征向量，并进行数据归一化处理.然后比较特征选择方法所选的特征子集与完整特征集.最后将所选的最优特征向量输入到不平衡学习分类算法中构建最终的分类模型.模型在独立测试数据集上能够实现相对较好的性能.　　本文基于数据和算法两个角度的不平衡学习构建了两个二分类和一个多分类模型.本文所构建的分类模型将成为一种有价值的，用来识别，注释和表征靶向SARS-CoV-2的多肽模型，为抗病毒多肽药物的研究和开发提供些许辅助作用.

关键词： 语言表征学习   外部知识   资源丰富语言   资源稀缺语言   跨模态  

摘要： 语言表征学习旨在从文字中抽取语义信息,并将其表示成计算机可以理解的数据格式。作为人工智能研究中的一个重要领域,语言表征学习的研究成果不仅有助于计算机更好地理解和处理自然语言,还将极大地促进各种下游自然语言理解任务性能的提升。近年来,深度学习的发展推动了语料资源丰富语言(如英文与中文等语言)表征学习的进步,但仍然有很大的进步空间。同时,由于世界上还有很多语言缺乏足够语料资源,在这些资源稀缺语言上的表征学习仍然存在一定的困难。此外,语言-视觉多模态数据的兴起也给语言表征学习提出了更高的要求。针对上述语言表征学习所面临的挑战,本文从资源丰富语言表征学习、资源稀缺语言表征学习和跨模态语言表征学习等方面入手,提出对应的解决方案。本文的主要研究内容如下: 在资源丰富语言表征学习领域中,针对现有预训练模型在理解具有复杂结构的语句方面存在的问题,本文引入外部句法知识并提出了一个基于句法增强的预训练模型。通过设计一个句法感知的模型结构、构建大规模的句法预训练语料库,提出新的句法感知的预训练任务,本文的模型能够更好地利用句法知识提升其对复杂语句的解析能力。六个公开的基准数据集上的实验结果表明,本文所提出的模型可以学习到更高质量的语言表征。 在资源稀缺语言表征学习领域中,针对在机器阅读理解任务中现有模型难以准确学习不同语言单词间的对应关系以及单语言内单词间的句法关系的问题,本文引入了跨语言语义对齐知识和句法知识。通过构建外部知识感知图、设计图上的表征学习算法,提出新的图预训练任务,本文的模型可以更好地利用融入的外部知识来学习单词之间的语义关联信息。两个公开的基准数据集所有资源稀缺语言上的实验结果表明,本文所提出的方法可以提高资源稀缺语言表征的质量。 在语言-图片跨模态语言表征学习领域中,针对在多模态方面级情感分类任务中由于训练数据不足而导致模型难以准确地从多模态数据中抽取相关的语义信息来丰富语言表征的问题,本文引入了跨模态语义对齐知识和句法知识。本文首先根据引入的外部知识构建知识指导矩阵,然后使用基于图卷积神经网络的算法赋予该指导矩阵反映多跳关系的能力,同时使用离散化操作来过滤掉其中的极端值。最后,该指导矩阵可以切断模型中文本内部或语言-图片跨模态之间的无意义连接,使得模型在少量训练数据的情况下依然可以准确地从多模态数据中抽取相关的语义信息。两个公开的基准数据集上的实验结果表明,本文所提出的模型可以学习到蕴含更丰富语义信息的语言表征。 在语言-视频跨模态语言表征学习领域中,针对在视频问答系统中由于忽略不同单词语义组合的情况导致难以准确地利用视频信息来丰富语言表征的问题,本文引入了外部句法知识来帮助模型更好地理解不同单词之间的语义组合情况,从而更有效地利用视频语义信息。本文首先根据句法知识构建句法超图,并通过超图卷积网络来模拟不同单词之间语义的组合,再使用基于最优传输机制的方法,根据不同的语义组合分别从视频中准确地抽取相关的语义信息,并将该信息通过句法超图传递到对应的单词上。三个公开的基准数据集上的实验结果表明,本文所提出的模型可以准确地利用视频语义信息来丰富语言表征。