关键词： 伊藤随机系统   强化学习   最优控制   平均场  

摘要： 随着科技的不断发展,工业过程愈发复杂,系统在运行过程中常常受到不确定性、非线性等随机因素的影响。传统的确定性系统已无法满足控制系统的需求,因此需要借助伊藤随机微分方程来描述这类复杂系统。一般情况下,随机干扰采用维纳过程进行描述,然而还存在一些复杂的跳跃型干扰无法通过维纳过程加以描述,需要引入泊松过程来描述这种跳跃性干扰。在控制理论研究领域,随机系统的最优控制问题是一个重要的研究方向,在金融、化学、物理、生物学等多个领域都有着广泛的应用。 不同于其它控制方法,强化学习方法不需要系统的具体知识,而是使用系统的在线状态和输入信息来学习和调整控制策略。因此,基于含有维纳和泊松噪声的随机系统以及含有维纳和泊松噪声的平均场随机系统,在本篇论文中,提出了一种部分无模型和无模型策略迭代方法来解决这两类系统的最优控制问题。下文将对本论文的具体研究内容进行概述: (1)针对含有维纳和泊松噪声的伊藤随机系统的最优控制问题进行了研究。首先,利用伊藤公式求解了系统相关的随机代数黎卡提方程,将最优控制问题转化为随机代数黎卡提方程的求解;其次,提出一种基于隐式迭代算法的部分无模型策略迭代算法,并证明了其收敛性;此外,考虑了泊松强度的影响,并研究了其对系统收敛精度的影响;最后,通过金融模型和数值算例验证了所提出算法的有效性。 (2)针对含有维纳和泊松噪声的伊藤随机系统,研究了系统的最优控制问题。鉴于所提出的部分无模型策略迭代算法在迭代过程中还需要依赖系统动力学的部分信息,由此带来了一定的局限性。为此,考虑以上伊藤随机系统,首先,结合强化学习思想提出一种在线迭代算法,该算法基于自适应动态规划方法,在不需要系统动力学信息的前提下就能求解出系统的随机代数黎卡提方程;然后,对所提算法的收敛性进行了证明;最后,考虑了泊松强度和收敛精度之间的关系。 (3)针对含有维纳和泊松噪声的平均场随机系统,研究了系统的最优控制问题。首先,求解出系统相应的随机代数黎卡提方程,将方程的形式进行转换;然后,利用无模型的策略迭代算法迭代求解系统相应的随机代数黎卡提方程,并在一定秩的条件下证明了算法的收敛性;最后,通过仿真算例验证了该算法的有效性。

关键词： 预后评估   基因组学   影像组学   深度学习   注意力机制  

摘要： 癌症预后评估的目标是全面预测患者状态,包括生存期预测、复发事件及对特定治疗的反应等,精准的预后有利于医生针对患者的预后情况制定不同的治疗方案。目前,癌症预后评估面临的主要挑战在于其异质性,同类型同分期的癌症患者可能表现出不同的癌症发展情况和治疗反应。因此,开发能够基于癌症患者特征生成对应预后评分的个性化预后模型显得尤为重要。 深度学习技术的发展使得个性化癌症预后评估成为可能。通过分析大量患者数据识别关键生物标志物,有望实现精准预后评估,指导治疗决策。本研究利用深度学习技术,基于等多组学数据研究和开发了癌症预后评估的生物标志物,有效提高了预后评估的精确度。考虑到三阴性乳腺癌的免疫治疗预测难题及结直肠癌肝转移患者预后评估问题,本文主要研究的内容和创新点可以概括成以下两个方面,即结合图注意力神经网络的三阴性乳腺癌(TNBC)亚克隆识别方法和基于放射影像数据的端到端生存预测模型。 (1)基因组学数据分析往往仅关注基因的内容信息,而忽视了基因间的互作用信息。本文的方法通过双重自监督机制同时捕获和学习基因样本的内容及其相互间的结构信息,可以有效地识别出瘤内免疫亚克隆,能够有效筛选免疫治疗的潜在受益者,为临床免疫治疗提供了新的方向。 (2)针对接受了肝脏切除术的结直肠癌肝转移(CRLM)患者的术后生存期预测问题,本文提出了一个能从影像数据中自动提取特征的深度学习预后模型。该模型通过分析术前CT图像,能够自动识别患者肝脏区域,并生成对应的3D全肝信息,基于患者的3D肝脏信息,本文进一步开发了CRLM患者的术后生存期预测模型,此模型不仅能够精准地预测患者在手术后不同时间段内的生存概率,还可以为每位患者生成一个综合性风险评分,有望在临床上帮助医生精准制定诊疗方案,提升患者的生存质量。

关键词： 小学低段   词汇教学   多元化学习   多媒体教学   语文教育  

摘要： 小学低段语文词汇教学在传统模式下难以满足学生多样化的学习需求，教学方法单一、学生学习兴趣不足、词汇应用能力提升有限等问题较为突出。本研究基于多元智能理论和建构主义学习理论，提出多元化学习方法的实施策略，并通过案例分析探索其实践效果。研究表明，多元化学习方法通过情景化教学、多媒体工具、游戏化设计和小组合作等方式，能够显著激发学生的学习兴趣、提高词汇记忆效果和语言表达能力，为语文教学创新提供了有力支持。

关键词： 知识表示学习   知识图谱   图神经网络   链接预测   三元组分类  

摘要： 知识表示学习主要应用于人工智能领域,旨在有效地将现实知识转换为计算机能够理解并且能处理的形式,以便利用这些知识进行推理、决策和问题解决。研究者们提出了众多知识表示学习模型,将知识转换为向量形式,用于推理和决策。基于翻译的模型是知识表示学习方法中备受关注的研究方向,通过将三元组中的实体和关系转化为低维向量来衡量二者之间的语义相似度。融合附加信息的模型考虑了除三元组本身的结构信息之外,还考虑到了在知识图谱中的文本信息或图像信息,这些信息为三元组提供了可靠的辅助信息,可以增强模型的语义表达能力。但是,现有的模型还存在一些不足:例如,大多数模型只考虑单个三元组的信息,忽略了更多的全局信息,比如实体的关系路径信息、层次结构信息、文本描述信息等。还有一些模型在处理知识图谱时忽略了实体在图结构中的上下文信息,在对称/反对称、逆和组合关系模式中的表达不完整。为此,本文深入探讨了结合图神经网络的知识表示学习方法,旨在通过提升三元组向量的语义丰富性,增强知识表示学习模型在预测和分类任务中的能力。本文主要的研究内容和创新点如下: (1)针对大多数模型只考虑单个三元组结构信息,忽略了更多的全局信息这一问题,本文提出了一种融合多源信息的知识表示学习方法。该方法不仅考虑了三元组的结构细节,还融合了关系路径、文本描述和实体层次类型信息。有效地利用了多个信息源,提高知识表示学习模型的表现能力和泛化能力。在该模型中,首先,将关系路径、文本描述信息和实体层次类型信息转换为向量表示;然后,将三种信息的向量表示与原有三元组中的关系向量组合在一起,输入到由图注意力网络为主要结构的编码器中进行训练;最后,获得融合三种信息的实体和关系的最终向量表示。实验结果表明,该模型在推理相关信息方面有明显地提高,同时增强了处理复杂关系的能力。 (2)针对有些模型忽略了知识图谱中实体的上下文信息这一问题,本文提出了一种基于四元数融合图上下文信息的知识表示学习模型。该模型通过深入分析图神经网络的结构和特性,探索了如何有效地整合图上下文信息,以丰富知识图谱中实体和关系的向量表示。具体来说,该方法利用超复数空间和四元数数学架构,将实体间的关系视作三维空间中的旋转来解释。然后,利用图神经网络作为编码器,融合图上下文信息来进行最后的向量表示。实验结果表明,这种方法不仅增强了模型对复杂关系的捕捉能力,还提升了知识的可解释性和推理精度。 通过在标准数据集上的实验验证,本文所提出的方法展现了在预测准确性、分类效能以及处理复杂关系方面的显著优势。这些研究成果可以为解决知识表示学习中的实际问题提供了有效的技术路径。

关键词： 量化交易   智能学习方法   超图   图学习   融合学习  

摘要： 在当前金融市场信息化日益发展的环境下,量化交易作为一种基于数据分析和数学模型的交易方式,受到了越来越多的关注和应用。传统的人工交易方式受限于人的主观意识和情绪波动,难以及时有效地捕捉市场的变化和机会。而量化交易则通过系统化、自动化的交易策略,执行更科学、更高效的决策,能够更好地应对市场变化和风险挑战。随着人工智能技术的快速发展,以深度学习为代表的智能学习方法在量化交易领域展现出潜力,使得基于智能学习方法的量化交易系统成为研究热点。本文通过构造智能决策模型来搭建股票交易系统,主要研究内容如下: (1)针对金融市场中股票之间复杂的关联关系导致特征学习易失效的问题,提出了一种基于超图Transformer的股票交易系统。其中,使用超图模型对股票之间的高阶关系进行建模,并通过集成超图神经网络和Transformer引入了新的超图Transformer层,在节点更新过程中利用其自注意力机制来捕捉关键信息,能够自动地学习到不同股票之间的关注程度。同时,为了更好地捕捉股票之间的复杂关联关系,利用互信息方法划分强相关股票集合,进而聚合该集合内股票的公共特征进行股票特征表示增强,从而提升模型预测的效果。根据制定的交易策略对上述智能决策模型推荐的股票进行测试,在中国A股市场上表现出了良好的性能。 (2)针对传统超图结构在量化交易应用中的局限性,提出了一种基于增强超图融合学习的股票交易系统。首先从数据驱动角度,利用余弦相似性等度量方法衡量行业指数与该行业非隶属股票的波动相似性,扩大行业超边所纳入股票范围,以弥补单纯使用先验知识构建超边的不足。其次,针对各超边所包含的股票集合,使用Fuzzy C-means进行聚类分析,利用股票相对聚类中心的距离作为其行业隶属关联矩阵的取值。最后,将增强后超图转换为市场股票加权图,进而将上述加权图和增强超图实现“图-超图”的融合学习,进行股票推荐,并完成在中国A股市场上的测试,以验证模型的有效性。

关键词： 属性网络   表示学习   注意力机制   异常检测  

摘要： 随着信息技术的迅速进步,网络数据的体量和复杂性呈指数级增长。特别是在社交网络平台上,我们可以观察到包含数亿用户及其庞大交互数据的复杂网络结构。这些用户不仅频繁地参与互动,而且还携带了丰富的属性信息。这种由网络结构与节点的属性共同定义的复合系统,构成了属性网络。属性网络表示学习旨在将网络中的节点映射到低维空间,以深入挖掘其中的行为模式。学习到的向量表示有助于理解网络结构的生成原因,还能作为知识指导如疾病传播预测、舆情控制、交通规划等实际应用问题。鉴于其广泛的应用价值,属性网络表示学习在近期受到越来越多的关注和研究。 然而,目前在属性网络表示学习的关键步骤中,现有研究在各个阶段都存在不足。在网络构建初期,从结构化数据中提取非结构化的网络拓扑信息往往依赖于经验规则,这会导致关键信息的缺失或冗余。其次,在近似关系挖掘时现有方法关注于保留节点间的强近似关系,忽略了高阶的邻域近似关系。此外,在节点近似性保存时,现有研究方法忽略了网络结构和属性间的不一致性问题,即网络结构上紧密相邻的节点对存在完全对立的属性特征。最后,在生成节点表示阶段,单一的节点或边关系的向量表示,难以捕捉它们在不同上下文关系下的语义多样性和意图多样性。本文旨在探讨各关键步骤中的问题,并提出相应的解决方案,主要贡献概述如下: 1、针对属性网络构图中出现的信息缺失和冗余问题,本文从实际应用出发,提出了一种基于注意力机制的属性网络表示学习算法。其中,基于子图采样的层级构图方式用于提取局部网络结构数据。同时注意力机制被引入到每一层子图结构中,以达到筛除无关信息的目的。不同于传统欺诈检测分散的提取数据、设计特征、分类流程,本文设计了一套从原始数据采样到属性网络数据生成,再到下游任务分类的整体检测框架。实验结果表明,本研究方法在准确性上较现有欺诈检测方法有显著提升。 2、现有的属性网络表示学习方法主要保存节点间的强近似关系,如结构上直接链接,共享同一批邻居或属性特征近似等情况。邻域近似性作为一种高阶的弱近似性关系,指的是一个节点及其周围邻居的集合在结构或属性上与另一个节点及其邻域的相似程度。它在属性上表现为集合中节点属性分布的相似程度,在结构上表现为节点在集合内部扮演角色的相似程度。针对邻域近似性被忽略的问题,本文设计了基于图级别对比学习的属性网络表示学习聚类算法。不同于传统方法仅基于确定的成对近似性关系构建正负样本对,本文通过定义和探索节点邻域群间的近似性关系,将近似性关系保存拓展至图级别,并发现更多潜在的正样本对。在真实世界的数据集上的实验结果,很好证明了本文的方法相比于现有最先进方法,能够获得显著性能提升。 3、针对属性网络中网络结构和属性特征不一致的问题,本文提出一种基于双重注意力的对抗自编码器算法。算法通过保存网络结构和节点属性间的一致性和互补性,削弱因噪声链接和网络数据不完整导致的对立冲突。研究中引入的属性注意力机制旨在、减弱噪声链接的影响,而结构注意力机制则在不同深度的结构中分配权重,以还原更完整的网络结构。此外,我们开发了一种高效的对抗学习方法,帮助算法模型将两种异质表示嵌入到统一的向量表示中。在三个真实世界网络数据集上的广泛实验表明,所提出的算法在节点分类、链接预测及网络可视化方面都达到了最先进的结果。 4、针对单一节点向量表示无法表征多样的语义关系问题,本文提出了一种基于上下文感知的异常检测算法。算法通过互注意机制为每条边上的节点对计算独有的基于上下文感知的向量表示。该表示向量能够提取并表征节点属性中与该次链接相关性最紧密的属性特征。丰富的上下文信息又为节点向量的生成提供了多角度视图,进而算法可以根据向量内部比较迅速定位到局部异常链接。此外,算法设计了异常门控机制为节点对分配全局异常分数,通过联合优化基于上下文的节点表示学习和异常门控机制,模型能够生成更优质的表示向量,并在局部与全局层面协同识别异常。在多个异常网络数据集上的实验,证实了所提出算法的优越性。 5、针对边关系内部存在的多意图纠缠问题,本文提出了基于意图级负采样的解耦属性网络表示学习算法。算法通过邻居路由机制,在边关系上实现了对不同潜在偏好因素的有效解耦。算法将现实网络转化成基于兴趣偏好的意图网络,并为节点生成相应的解耦表示。同时,基于兴趣偏好的正则化机制被嵌入表示学习过程中,以确保各个解耦子空间独立表征单一的兴趣偏好。除此以外,本文还设计了一种对抗性负采样策略,根据解耦后不同的用户意图,负采样策略会自适应地提供高质量的难负样本。在多个真实世界数据集上的实验证明了本文提出的模型相比当前相关研究在各个方面均有显著的性能提升。

关键词： 癌症预后   在线预测工具   监测、流行病学和最终结果数据库   机器学习  

摘要： 背景:2022年,全球新增癌症死亡病例近1000万例。在这些死亡病例中,肺癌、结直肠癌和肝癌是导致死亡的主要癌症类型,分别占据18%(180万例)、9.5%(94万例)和8.3%(83万例)的比例。癌症患者的预后一直是医学界和患者共同关注的焦点。不同治疗方式下,患者的生存预后可能会有显著差异。因此,生存估计是临床医生为患者制定适当治疗方案的重要依据。近年来,机器学习在预测恶性肿瘤领域的应用已经越来越广泛以及在癌症的生存预测方面也展现出了卓越的性能。本研究旨在利用机器学习方法,开发一款针对肺癌、结直肠癌和肝癌患者的基于不同治疗方式的综合生存预测在线工具,为临床医生提供更加准确、全面的患者生存预测信息。 材料和方法:本研究总共纳入来自监测、流行病学和最终结果数据库中2010年至2017年期间的肺癌、结直肠癌和肝癌共计44,302位癌症患者数据。COX回归被用来进行初步的癌症特征筛选,将所有数据以7:3的比例随机分为训练集和内部验证集。训练集的数据用于构建极限梯度上升、随机生存森林、梯度提升机、套索回归模型,测试集数据用于内部验证。同时还使用来自重庆大学附属肿瘤医院数据作为外部验证集数据来对肺癌预测模型进行验证。极限乘积法曲线用来评估模型的风险分层能力。时间依赖受试者工作特征曲线和校准曲线被用来评估所有模型的预测能力和校准能力,并使用决策曲线评估了模型临床应用性。基于Shiny构建的在线网站被用来展示以及应用模型对患者进行生存预测。 结果:在肺癌、结直肠癌和肝癌数据集中,使用COX回归筛选出分别为15、17和16项有统计学意义的特征用于构建极限梯度上升、随机生存森林、梯度提升机、套索回归模型。在训练集中,极限梯度上升、随机生存森林、梯度提升机、套索回归模型的时间依赖受试者工作特征值分别为0.78、0.83、0.78、0.75(肺癌),0.81、0.86、0.81、0.80(结直肠癌),0.80、0.87、0.82、0.79(肝癌);在测试集中,AUC值分别为0.76、0.76、0.77、0.75(肺癌),0.81、0.81、0.81、0.80(结直肠癌),0.82、0.82、0.82、0.80(肝癌)。生存曲线结果显示,四种模型在所有癌种中均具有显著的风险分层能力(P<0.001)。校准曲线表明,随机生存森林模型的校准能力优于其他模型。决策曲线分析显示,随机生存森林模型相较于极限梯度上升、梯度提升机、套索回归模型模型具有更高的决策效益。最后,开发了一款针对肺癌、结直肠癌和肝癌患者的基于不同治疗方式的个性化综合生存预测在线工具。该工具采用在线通过选择或输入癌症患者临床相关信息以及治疗方式、治疗顺序等相关变量即可对患者生存做出的预测。 结论:本研究构建且评估了四种机器学习模型在肺癌、结直肠癌、肝癌中的性能。通过全面的模型性能比较,发现随机生存森林所构建的生存预测模型的性能均优于另外三种机器学习模型,并且在验证集表现出了优良的性能。最终,我们开发了一款针对肺癌、结直肠癌和肝癌患者的个性化综合生存预测在线工具,为临床医生提供更为精准且全面的患者生存预测信息。

关键词： 强化学习   博弈论   在线学习   无遗憾学习  

摘要： 随着强化学习应用场景不断深化,通常存在多个互联互通的智能体共同作用同一环境。多智能体并发学习使得智能体面临非稳态环境,给智能体决策带来极大挑战。博弈论作为研究多智能体交互及理性决策的学科,通过对智能体的决策目标与交互规则进行高度抽象,并求解满足预定需求的均衡解,使得智能体能够在非稳态环境中实现动态、平衡的最优决策。近年来,结合博弈论与强化学习形成“博弈智能”这一新兴研究方向,成为强化学习研究的前沿领域。然而,当前研究仍面临以下诸多挑战。 在竞争型博弈中,由于智能体间目标冲突,策略演化往往会出现循环现象。针对该现象,在无约束场景下已有不少研究进展,但其中只有乐观预测更新、双时间尺度学习等少部分技巧,因其理论证明的灵活性得以应用于具有策略约束的传统博弈论与强化学习领域。然而这些技术仍存在计算开销大、非对称学习、博弈效果不一致等缺陷,因此在带约束场景下,新的通用学习加速算法亟待被提出。本文从多智能体系统与力学分析的关联性出发,提出基于负动量的无遗憾在线学习加速算法,在无遗憾学习动态中加入负动量以缓解策略循环,同时证明了其与在带有旋度的梯度场中加入额外摩擦力场的等价性。本文从理论与实验上验证了上述算法的收敛加速效果,在多类不同规模的博弈验证场景下都取得了前沿水平。 在双人零和博弈中,传统无遗憾算法通常仅具备平均策略的收敛性保证。然而在实际运用中,平均策略难以被表征,同时往往需要通过监督学习来拟合智能体的历史行为,从而引入了额外开销和估计偏差,制约了算法的设计与性能。因此,近年来最终策略收敛性逐渐成为研究热点。本文从博弈聚合的思想出发,通过在原博弈中加入势博弈分量以辅助算法具备最终策略收敛性,并给出指数速率收敛的理论性保证。同时,本文设计了退火与自适应两种技巧以辅助算法在原博弈中也具备最终策略收敛性。基于上述思路并结合方差约减技术设计优先采样方案,本文进一步提出无模型强化学习算法Ferrero。实验充分验证了上述算法能够在各类博弈中取得超过例如NFSP、PPO等强力基线算法的实验效果。 本文将在线学习作为枢纽联系博弈论和多智能体强化学习,期望构建博弈论和多智能体强化学习间的通用求解框架,进一步推动博弈智能向前发展。

关键词： 小组合作   大学生心理健康教育   应用原则   促进作用  

摘要： 随着社会压力的增加和学业负担的加重，大学生心理健康问题日益凸显。许多大学生面临着情绪压力、焦虑、抑郁等心理困扰，甚至出现严重的心理疾病。因此，大学生心理健康教育变得尤为重要。然而，传统的大班授课模式、教学内容共享不足以及单一的教学模式等问题制约了心理健康教育的效果。为提高大学生心理健康教育的质量和效果，有必要深入探究并应用行之有效的教学方法。小组合作学习作为一种积极的教学方式，被广泛认可并应用于不同领域的教育实践中。因此，本文旨在探究小组合作学习在大学生心理健康教育中的促进作用及实施策略，以期为改进大学生心理健康教育提供理论依据和实践参考。