摘要： 在古诗词的世界中，不同的诗人描绘出一幅幅风格各异、内涵丰富的文学画卷。面对相似的自然景象、历史事件和人生际遇，他们的笔触展现出多样的情感维度与独特的美学追求。通过对这些诗作进行群文阅读，我们可以跨越时空，与古代文人展开对话，深入理解他们文字背后的精神世界。群文阅读不仅是对作品间关联的挖掘，更是一种深入文化肌理、探索思想深度的方式。在这个过程中，诗歌不再是静止的文字，而成了流淌的思想，带领我们在诗意的天地间追寻古代文人对自我、自然与历史的深刻思考。

关键词： 深度学习   肝细胞癌   微血管侵犯   钆塞酸二钠  

摘要： 目的:探讨基于钆塞酸二钠（gadolinium ethoxybenzyl diethylenetriamine pentaacetic acid,Gd-EOB-DTPA）增强磁共振多参数的深度学习模型在预测肝细胞癌（hepatocellular carcinoma,HCC）分级及微血管侵犯（microvascular invasion,MVI）的诊断效能。 方法:回顾性收集2018年6月至2020年6月间,青岛大学附属医院344例术后病理证实为HCC患者,术前1个月内行Gd-EOB-DTPA增强MRI检查。以HCC术后病理分级及MVI情况,将患者分为HCC低级别组及高级别组,MVI阳性组及阴性组。使用3D slicer软件手动逐层勾画每个患者的肝胆期15min和DWI两个序列图像中的HCC病灶,生成感兴趣区。使用nnU-Net模型基于肝胆期15min图像进行HCC病灶分割。在分割任务中,将所有肝胆期15min图像按8:2的比例随机分为训练组和测试组。训练构建Res Net18模型进行HCC病理分级及MVI状态预测。在分类任务中,将所有患者图像按8:2的比例随机分为训练组和测试组。经单因素分析筛选出HCC患者高、低级别组间及MVI阴、阳性组间均有统计学差异的临床重要因素,构建临床模型。采用肝胆期15min及DWI图像训练构建Res Net18MR模型。筛选出的临床重要因素与MR多序列图像训练构建Res Net18组合模型。运用Dice系数来评价nnU-Net的分割性能。采用受试者工作特征曲线（receiver operator characteristic curve,ROC）及曲线下面积（area under curve,AUC）比较不同分类模型的预测效能,运用混淆矩阵、准确率、灵敏度和特异性等指标来评价模型分类性能。 结果:nnU-Net模型基于肝胆期15min图像分割HCC病灶的Dice系数为0.737。AFP指标在HCC高、低级别组间及MVI阴、阳性组间均有统计学差异。临床模型、Res Net18MR模型及Res Net18组合模型预测HCC分级的准确率分别为0.638、0.696和0.768,预测MVI的准确率分别为0.551、0.710和0.788。临床模型、Res Net18MR模型及Res Net18组合模型预测HCC分级的AUC分别为0.660[95%置信区间（confidence interval,CI）:0.536-0.784]、0.701（95%CI:0.578-0.824）和0.757（95%CI:0.640-0.874）,预测MVI的AUC分别为0.591（95%CI:0.501-0.680）、0.705（95%CI:0.583-0.827）和0.796（95%CI:0.707-0.884）。相较于临床模型及Res Net18MR模型,Res Net18组合模型在预测HCC分级和MVI状态时展现出更优的性能。 结论:（1）nnU-Net神经网络模型在HCC病灶分割任务中展现出了良好性能;（2）Res Net18组合模型在预测HCC分级及MVI方面具有良好的诊断效能,为术前预测HCC患者HCC分级及MVI提供新方法。

关键词： 联邦学习   去中心化网络   拜占庭攻击   数据异构性   数据生成  

摘要： 随着人工智能特别是机器学习领域的快速发展,联邦学习作为一种具有创新性的解决方案,正逐渐成为解决数据隐私和安全性问题的重要方法。其在分散数据源的环境中进行模型训练的能力,使得在保护用户隐私的同时,能够更加高效地利用分布式数据。这不仅为医疗健康、金融服务等对隐私保护有严格要求的领域提供了可行的解决途径,同时也降低了数据传输和存储的成本。尽管去中心化联邦学习能够克服传统联邦学习中通信资源过高和单点故障的问题,但由于缺少中央服务器的协助,其在安全性保障和异构数据处理方面面临着更为严峻的挑战。在本文中,安全性挑战主要是指拜占庭用户发送任意错误信息给邻居用户,污染全局模型,破坏联邦学习系统;异构性挑战主要是指用户数据不满足独立同分布假设,聚合出不理想的全局模型,甚至阻碍模型收敛。论文主要包含以下几个方面的工作: 1.针对联邦学习中拜占庭用户发送任意错误信息,污染全局模型,影响联邦学习安全性和有效性的问题,在含未知数量拜占庭用户的去中心化网络中,提出可验证的去中心化联邦学习方法。该方法使用SCORE函数,结合验证数据集评估未知属性用户对于全局模型性能的影响,进而排除恶意模型更新并实施安全梯度聚合,实现安全高效的联邦学习。通过对SCORE函数得分结果进行阈值划分,能够降低用户属性分类的错误率并提高诚实用户的容错率。同时,通过理论证明可验证的去中心化联邦学习算法的收敛性,并且使用大量数值实验验证所提方法对于拜占庭用户数量和攻击类型的鲁棒性。 2.针对用户数据非独立同分布场景中去中心化联邦学习性能下降的问题,在顺序式去中心化网络中,提出一种去中心化联邦训练方法DFLGen。该方法分为两阶段,一阶段固定本地模型并训练样本生成器,以期望生成具有全局信息的样本数据;二阶段基于一阶段的样本生成器合成的伪数据,采用知识蒸馏方法,使得模型不仅能学到新的本地知识且不会遗忘过往的全局知识。通过收敛性理论证明,去中心化联邦学习在异构数据场景下的性能下降源于本地数据分布和全局数据分布之间的差异。大量数值实验验证了所提方法能够缓解异构数据对于去中心化联邦学习的影响,相较于其他基线方法具有更高的性能优势,在一定程度上也保护了用户的个人隐私。

关键词： 单细胞RNA测序   图表示学习   图卷积神经网络   数据分析   深度学习  

摘要： 随着测序技术的快速发展,研究者对基因表达差异与表型的关系有了越来越深刻的认识。传统的测序技术专注于细胞群的平均表达,无法准确反映出每个细胞的真实表达情况,这严重影响着对细胞功能认知的准确性。单细胞测序技术的出现解决了这一问题。单细胞测序技术是一种在单细胞水平上对基因组、转录组和表观基因组进行高通量测序分析的新技术,可以揭示单个细胞的基因结构和基因表达状态,反映细胞间的异质性,有助于更深入地研究复杂的生物学问题。近年来,深度学习在单细胞RNA测序(scRNA-seq)数据分析中取得了显著进展,不仅揭示了细胞的异质性和复杂性,而且为理解生物多样性和识别稀有细胞类型提供了独特的视角,为探索生物学的遗传奥秘带来了革命性的飞跃。目前已成为生命科学领域的热点,并广泛应用于临床实践。 scRNA-seq技术为研究者在单细胞层面深入探索细胞的复杂机制提供了强大的支持。然而,单细胞数据的高稀疏性、技术噪声以及计算复杂性,就现有数据分析方法而言,对从混合的细胞群体中精确表示单个细胞特征构成挑战,进而限制了模型在下游任务中的分析能力。本文基于图神经网络的表示学习模型,开展单细胞RNA测序数据的分析研究工作,主要研究内容如下: (1)提出基于图卷积神经网络的单细胞数据分析算法dhaSCA,将特征学习、分类、插补等下游任务集成到一个统一的深度学习模型中,使用混合深度自动编码器GCN-MLP,捕获细胞之间的结构信息,并学习低维细胞表示。此外还引入了下游任务作为约束条件以指导模型学习更准确的细胞特征。本文使用跨测序方式和跨物种收集的八个数据集对模型性能进行了评估,结果表明dhaSCA能够有效提取单个细胞的潜在信息,在下游分析任务中优于其他现有方法。 (2)提出基于多源异构图Transformer的单细胞数据分析算法HGT-SC。本研究通过融合细胞间相似性信息、基因相互作用信息以及细胞与基因的关联信息构建异构网络,引入异构图Transformer(HGT)构建模型。该模型可以从异构的基因-细胞图中捕获到全局和局部图拓扑结构信息,学习单细胞低维嵌入表示。基于八个真实scRNA-seq数据集,本文设计了一组实验来评估HGT-SC的性能,包括分类、插补、聚类和可视化。实验结果表明,HGT-SC在这些下游任务中优于其他先进的方法。因此,HGT-SC能够获得更丰富的细胞表示,挖掘潜在的细胞-基因关联,为单细胞数据的高效分析提供了强有力的支持。

关键词： 深度神经网络   自然语言处理   文本表征   文本分类   跨语言摘要生成  

摘要： 随着信息技术的快速发展,机器智能化成为必然趋势。自然语言处理作为实现人机交互的关键技术,通过文本表征学习使机器能够理解人类语言。近年来,得益于深度神经网络强大的特征学习能力及其对复杂语言现象的建模能力,计算机在文本表征学习方面获得了新的动力。同时,预训练技术的广泛应用更是推动自然语言处理进入蓬勃发展阶段,使得计算机在许多简单或数据充足的任务场景中能够有效地学习文本表征,从而获得显著的性能提升。然而,当数据条件或任务难度存在挑战时,使用深度神经网络进行文本表征学习存在一定难度,导致模型在鲁棒性和泛化性方面表现不佳。本文聚焦于三个具有挑战性的任务(半监督文本分类、文本标签噪声学习和跨语言摘要生成),针对当前文本表征学习面临的一些问题,研究设计有效的表征学习方法,以提升模型的鲁棒性和泛化性,从而进一步扩展自然语言处理的应用范围。本文的创新点归纳如下: (1)针对有限标注数据下模型参数规模较大的问题,本文提出了一种基于教师干预的轻量化半监督文本分类方法Li ST。该方法利用预训练模型在半监督训练下的强大表征能力,促进轻量级模型对大量未标注数据的表征学习,从而有效降低模型规模。具体而言,Li ST结合文本数据增强策略,设计了一种融合知识蒸馏与自训练的学习策略—教师干预。该策略通过逐步降低教师预测在伪标签中的权重,使轻量级模型在吸收教师知识的同时,增强自学能力,从而打破传统知识蒸馏方法的性能和结构限制。实验结果表明,Li ST在半监督场景下尤其在标注数据极为有限(如每类仅2个样本)的情况下,显著提升了轻量级模型的性能表现,在三个基准数据集上的平均提升达17.39%。 (2)针对深度模型对噪声敏感度高的问题,本文提出了一种自适应文本标签噪声学习方法,有效降低了文本表征学习对高质量标注数据的依赖性。该方法通过监测训练集样本的正确性统计量变化来判断模型当前拟合噪声的程度,以实现对不同类型噪声场景的自适应预热,从而避免模型过度拟合错误标注样本。此外,后续的混合训练阶段利用正确性统计量划分噪声数据和干净数据,并对不同的数据子集应用不同的训练策略,以促进模型对错误标注数据的正确学习,从而提升模型的文本表征能力和鲁棒性。实验结果表明,自适应方法能在不同噪声场景下实现预热阶段的准确早停,显著提升模型应对未知噪声场景的能力,在构建的36个测试场景中获得了24个最佳精度性能。 (3)针对目前标签噪声学习方法(包括自适应文本标签噪声学习方法)引入额外估计误差的问题,本文提出了一种动态训练方法,有效避免了误差累积和参数依赖。该方法将模型的学习过程建模为一个统一的动态过程,通过动态标签融合的方式,利用模型预测来修正原始标签可能带来的错误梯度贡献,从而提升文本表征的质量。根据模型在不同文本标签噪声场景下的学习动态,将原始标签的权重变化建模为指数衰减函数,并引入R-Drop策略来增强模型预测的准确性,以维持训练的稳定进行。实验结果表明,与划分阶段的方法相比,动态训练方法能更好地抵抗标签噪声影响,使得模型在鲁棒性和泛化性上有进一步的提升,在36个相同测试场景中的平均提升为1.09%。 (4)针对高难度任务场景(如跨语言摘要生成)中数据利用效率低下的问题,本文提出了一种基于平行翻译对对齐的统一训练方法。该方法将跨语言摘要任务与翻译任务视为同一任务,仅在输入文本长度上有所差异。基于这一思路,本文提取跨语言摘要三元组数据中的翻译对和跨语言摘要对,在同一个模型中对其进行统一训练。此训练方式可以统一输出端的语言向量空间,从而无障碍地实现表征向量和输出分布的对齐,缓解了不同语言向量空间导致的文本表征差异问题。此外,为低资源场景设计了基于统一训练的自训练策略,通过翻译额外的单语摘要数据生成高质量伪标签,以扩充有限的跨语言摘要三元组数据。实验结果表明,统一训练方法和自训练策略实现了对跨语言摘要数据的高效利用,显著提升了模型的跨语言摘要和泛化能力。统一训练方法在完整数据场景下平均性能提升为0.33%,而改进后的自训练策略在低资源场景下的平均性能提升为7.68%。

关键词： 机器人技能学习   示教融合   强化学习   奖励机   多模态信息  

摘要： 机器人具有高精度、高重复性等特点,在装备制造、运输生产、工业加工等领域具有广阔的应用前景。获取新技能和改进已有技能的能力是机器人技术长期以来的愿景,这需要机器人具备从人类示教或与环境交互试错的数据中进行学习的能力。强化学习为机器人与未知环境交互提供了解决方法,但其在可靠性方面仍然存在局限性。因此,本文旨在提高机器人学习能力,通过融合经验知识和探索知识以及多模态策略融合的方法,实现分层次的强化学习以及柔顺安全的残差学习,提高学习的效率和效果。 首先,为提高机器人的感知能力,本文研究了包括语义分割、点云配准和手眼标定等的视觉技术,提出了一种通过视觉示教进行模仿学习的技能学习方法,采集的示教数据也用于强化学习融合示教的方法。同时本文实现了高精度的视觉示教轨迹提取和转换,并用动态运动元语实现技能的泛化,通过机器人开门和齿轮组装实验证明了该方法的可行性。 其次,研究了机器人的强化学习技术并探索提高训练效率的方法。其中,融合示教是一种十分有效的方法。本研究针对在线策略强化学习提出了一种基于预训练的学习框架,通过启蒙学习来提高强化学习的起始点,设计了奖励函数并运用域随机化和误差估计实现了技能的虚实迁移,通过仿真和实物实验证明了该框架的有效性。 另一方面对于离线策略强化学习任务,提出了一种将示教数据融入探索训练过程中的方法,将示教数据添加到经验回放缓存区中在训练时进行采样。同时也基于示教提出了一种奖励机的设计方法,通过奖励机可以对示教信息进行归纳,在抽象级别上分解任务进行分层学习,训练结果证明其可以进一步提高训练效率。 最后,为提高系统的安全性和鲁棒性,本文还研究了多模态信息融合的方法,提出了一种基于自然输入的残差强化学习方法,通过结合神经网络设计和传统导纳控制策略,融合不同模态的信号(视觉、位置、力等),使机器人对环境有更全面的认识。各项实验结果证明此方法有效减少了接触力,提高了策略应用的安全性和适应性。