关键词： 图神经网络   图Transformer   掩码矩阵   残差网络   边特征增强  

摘要： 目前,图神经网络及其变种是图机器学习领域的主流算法之一,包括图卷积网络、图注意力网络和图同构网络等。然而,传统图神经网络模型在处理全局结构信息和计算复杂度方面存在挑战。此外,传统图卷积网络的局限性使其难以对复杂的非欧几里得结构进行建模。为此,图Transformer的研究及应用逐渐成为图机器学习领域的研究热点。尽管图Transformer在处理图结构数据方面取得了显著进展,但是仍然存在一些问题亟待解决。针对各类问题,本文具体创新工作主要包括以下三个方面:(1)为了解决传统图Transformer模型中存在节点之间相对位置信息丢失和邻居节点选择不当导致的性能下降问题,提出了一种基于掩码注意力的图Transformer模型(Masked Attention Graph Transformer,MAGT)。该模型首先设计了一种位置编码融合机制,在每一层的输出节点特征中加入位置编码,以强化位置信息并增强模型对整个网络拓扑结构的学习能力。其次,通过增加掩码注意力矩阵构建了注意力机制来过滤邻居节点,从而提高模型的学习效率。最后,再利用组归一化技术规范化了模型训练过程中的节点特征。通过消融实验和多模型对比实验表明,MAGT相较于其他SOTA基线模型具有更优的检测效果和更好的鲁棒性。(2)为了解决图Transformer模型随着模型深度的增加容易出现特征趋同的问题,提出了一种基于网络残差的图Transformer模型(Network Residual Graph Transformer,NRGT)。该模型在MAGT的基础上增加了残差Transformer结构,将当前层的输入特征作为跨层连接与输出特征相加,避免了特征趋同问题。此外,还采用了归一化前置策略和门控机制,通过对不同位置信息的加权处理,强化与任务相关的节点信息以减轻与任务无关的节点信息对模型的干扰。通过实验对比分析,NRGT的准确率和召回率等性能指标均高于其它对比模型,证明所提方法可以进一步优化模型的准确性能。(3)为了解决传统图Transformer模型未能充分利用图结构数据中的边特征导致其边特征表达能力不足的问题,提出了一种基于边特征增强的图Transformer模型(Edge Feature Enhancement Graph Transformer,EFEGT)。该模型通过构造一种边特征增强方法,对输入的边特征进行非线性增强操作,从而提高了边特征的表达能力。同时,使用边缘残差的方式将前一层的边特征信息与当前层的特征信息进行聚合,以提高模型的非线性表达能力,并使用边缘门控进行加权以加强与任务相关的边特征信息。实验结果表明,EFEGT在图回归任务中表现优于其他对比模型,证明所提模型在处理带有边信息的图结构数据时具备更强的性能。

关键词： 全色锐化   深度学习   拉普拉斯金字塔  

摘要： 遥感图像在多个领域具有广泛的应用,但由于受遥感卫星传感器设计、遥感成像机理等因素的影响,需要通过全色锐化技术对遥感图像进行处理以使得遥感图像能够更好地发挥作用。全色锐化是指将低分辨率的多光谱图与高分辨率的单通道全色图进行融合,以生成高分辨率多光谱图的过程。 本文针对传统方法与深度学习方法的优缺点,提出了一种结合了传统全色锐化方法中的拉普拉斯金字塔方法与深度学习方法的网络模型,即多级融合的拉普拉斯金字塔网络,该网络分为主网络与U形网络两大部分。本文具体工作如下: 首先,将传统全色锐化方法中的拉普拉斯金字塔法与神经网络进行结合提出主网络。通过拉普拉斯网络金字塔对全色图与多光谱图中的特征进行多层次提取。并通过卷积神经网络将全色图与多光谱图生成的拉普拉斯网络金字塔对应层级进行融合。再通过深度学习结合拉普拉斯金字塔逆向合成的方法对图像进行重构,生成融合出的图像。 其次,提出了基于U形网络的梯度映射模块,通过U形网络学习多光谱图与全色图的梯度之间的映射关系。在主网络训练阶段使用预先训练的U形网络对主网络的训练进行引导,使得主网络能够更好地关注图像的梯度信息。 然后,构造了5种带有权重参数的损失函数,使得网络的输出能够更好地平衡空间信息以及光谱信息。并且在多个经典的卫星遥感图像数据集中对5种损失函数在全色锐化任务中的效果以及几种其他经典模型的效果进行了量化对比。 最后,为了验证模块对提高所提网络全色锐化效果的有效性,对所提出网络中的部分模块进行了消融实验。

关键词： 语块学习   语块使用   英语写作  

摘要： 本研究基于《义务教育英语课程标准》(2022年版),分析和讨论初中生在英语写作中语块使用情况以及语块学习方法等相关问题。语块通常指语义清晰、具有语法结构和语境涵义的语言连续体。对语块知识的学习和理解既是外语学习的重要部分,也是影响外语输出流畅性和准确性的重要因素。本研究旨在针对初中生在英语写作中的语块使用情况和语块学习方法进行探讨,目的是针对初中生写作文本中语块使用情况进行调查并给出相应胡语块学习建议,拟讨论的主要问题有,1)初中生的英语写作文本中语块使用的主要类型和特征是什么?2)影响学生语块学习和使用的主要因素是什么?3)初中生学习语块及使用语块的有效方法是什么?本研究以宜宾市某初级中学的110名学生作为研究对象,通过写作文本分析、问卷调查、访谈和课堂观察研究初中生英语写作中语块使用类型和频率,探讨影响学生语块学习和使用的主要因素,总结出学生学习及使用语块的方法,目的以促进学生对语块的学习意识和学习效果。通过定量和定性分析,研究发现:1)初中生英语写作中语块使用类型相对单一,其中动词语块和介词语块使用的频率最高,鲜有使用名词语块中的两词名词和三词名词,此外,学生在写作中错误使用语块,导致写作语言缺乏流畅性和逻辑性等现象;2)影响学生语块学习和使用的主要因素主要涉及语块本身、学生本身和语块训练频率三个方面;3)学生应提高语块认知意识,建立语块学习和使用的概念;学生在识别语块时,简化语块分类,降低对语块识别的难度;学生采用多样的内化语块方式,加强对语块的理解,促进学习效果;不同语境下,采用不同的方式训练语块的使用熟练度和正确性。最后,根据本文的研究结果,对教师和学生提出一些建议和启示,以促进学生的语块学习和使用效果,从而提高初中生的英语写作水平。

关键词： 图像集分类   黎曼流形   哈希学习   核方法  

摘要： 图像集分类近年来引起了研究人员的广泛关注。由于集合数据通常涉及较大的集合内多样性与集合间相似性,图像集往往被建模为黎曼流形上的点。大多数现有的图像集分类方法优化过程计算复杂,当处理大规模数据集时,会产生极其昂贵的计算和存储开销。哈希方法由于其在计算和存储方面的优势,在近似最近邻搜索中受到了广泛的应用。然而目前关于哈希的研究主要是针对单幅图像的,即向量作为输入,如何为表现形式为矩阵的集合数据学习统一的哈希码仍是一个开放性的问题。在面对变化复杂的集合数据时,单一黎曼描述符能提供的判别信息是有限的,融合不同流形特征的信息可以进一步提高分类的性能,然而融合这些分布在异构的流形上的特征也是一个难点。针对以上问题,本文主要研究面向图像集分类的黎曼流形哈希学习方法,充分利用哈希技术的优势和多流形特征的互补信息,提高图像集分类算法的效率和性能。本文的主要贡献如下: (1)提出了黎曼核哈希(RKH)算法。现有的图像集分类算法大多数依赖于复杂的优化过程,难以处理实际应用中的大规模数据集,本文借鉴哈希学习思想,将流形数据映射成紧凑的哈希码,利用哈希码的汉明距离近似图像集之间的距离,以提高分类效率。RKH首先利用核方法对流形数据进行降维,然后通过正交旋转最小化降维投影的量化损失以提高哈希码的性能。在Grassmann流形和SPD流形上的实验结果验证了RKH的分类效率和多流形通用性。 (2)提出了监督离散黎曼核哈希(SDRKH)。为了利用标签信息进一步提高分类性能,SDRKH在RKH的基础上引入分类器损失,联合优化哈希码和线性分类器。RKH将降维和量化分为两个独立的步骤,这可能会导致次优的结果,为了解决这一问题,SDRKH不引入任何松弛直接优化哈希码,离散循环坐标下降被用来逐位求得哈希码的闭式解。实验结果证明了SDRKH在Grassmann流形和SPD流形上能实现优秀的分类性能和分类效率。 (3)提出了黎曼多核哈希(MRKH)算法。该方法设计了一个多核融合框架,利用核方法减小异构流形的差异性,学习一个共享空间进行多特征融合。MRKH在共享空间中保留原始数据的局部结构,同时最小化分类器损失和量化损失,联合学习共享空间、哈希码和分类器。为了进一降低计算复杂度,MRKH使用k-means算法选取一部分锚点代替全部数据构造子核矩阵来近似完整的核矩阵。大量实验结果表明,该方法具有更好的分类性能,同时能提高分类效率。

关键词： 创伤性颅脑损伤   机器学习   卷积神经网络   支持向量机   支持向量回归机  

摘要： 目的当前,成人和儿童创伤性脑损伤的治疗和护理是一个难以解决的全球健康问题。对创伤性颅脑损伤患者的预后和住院时间进行预测可以使得临床治疗效果获得提高,并有助于实现精准医疗,从而大大减少社会医疗负担。随着现代社会计算机技术的蓬勃发展,使得将新的机器学习方法应用于创伤性颅脑损伤（traumatic brain injury,TBI）领域成为可能,已有相关研究表明,计算机方法可以用于患者的相关临床结果的预测研究,准确率较高,对于确定临床治疗的预后和成本效益可能很有价值。本研究共收集了1112位临床诊断为TBI患者的相关临床资料并对其进行回顾性分析,结合多种机器学习（machine-learning,ML）方法和国内外相关研究结果,建立混合模型,用于预测成人和儿童创伤性颅脑损伤的预后和住院时间。方法我们设法收集了2017年5月至2022年5月期间安徽医科大学第二附属医院神经外科中心收治并诊断为TBI患者的相关临床信息,通过筛选和随机分割,其中80%用于训练模型,20%用于测试模型。对于两种预测结果我们分别对比构建了目前国内外研究常用且精度较高的四种机器学习模型,并且使用五次交叉验证方法对模型进行了反复训练和测试,以避免出现过度拟合的情况。在机器学习模型中,11种自变量被用作输入变量,用于评估患者预后的GOS评分和患者的住院时间被用作输出变量。模型训练完成后,我们利用五轮交叉验证方法获得了每个机器学习模型的误差并进行比较,以选择最佳预测模型。最后,为了进一步验证我们的实验结果,我们收集筛选并利用2021年6月至2022年2月期间在安徽医科大学第一附属医院神经外科中心治疗的TBI患者的临床数据对所有模型进行了外部测试。结果最终建立的卷积神经网络-支持向量机（convolutional neural network-support vector machine,CNN-SVM）混合模型预测作为TBI患者预后的GOS分类结果的准确率（accuracy,ACC）在测试集和外部验证集中分别为93%和93.69%,曲线下面积（area under curve,AUC）在测试集和外部验证集中分别为94.68%和94.32%。最终建立的卷积神经网络-支持向量回归（convolutional neural network-supportvector regression,CNN-SVR）混合模型预测TBI患者住院时间的平均绝对百分比误差（mean absolute percentage error,MAPE）在测试集和外部验证集中的结果分别为10.72%和10.44%,该混合预测模型在测试集和外部验证集的决定系数（R2）分别为0.93和0.92。我们的混合模型与单独建立的反向传播神经网络模型、卷积神经网络模型和支持向量机模型相比,获得的预测结果最优,并具有很高的可信度。结论本研究证明了通过结合多种新型机器学习方法建立的两个混合模型的临床效用,可以用于准确预测成人和儿童创伤性颅脑损伤的预后和住院时间。这些模型的应用可以减轻医生在评估创伤性颅脑损伤患者时的负担,协助临床医生进行医疗决策,并为以后的相关研究者提供了一定的参考。

关键词： 插图识别   深度神经网络   IIIF   中世纪研究   图像学  

摘要： 在中世纪研究中，插图抄本是至关重要的图像来源。随着IIIF的广泛应用，古老和新近的数字抄本集可在线访问，并提供可用于互动操作的图像数据。然而，在抄本页面中找到插图的过程变得越来越耗时。文章提出了一种基于机器学习和迁移学习的方法，可以浏览IIIF手稿页面并检测出插图。为了评估此方法，一组相关领域的专家创建了一个新的手动标注的IIIF抄本数据集。初步结果显示，该算法可以检测出抄本中的主要插图页面，从而减少相关研究人员的检索时间。

关键词： 冬小麦种植区   深度学习   遥感   全监督语义分割   半监督语义分割  

摘要： 小麦是我国种植面积大且分布广的主要粮食作物,对保证国家粮食安全起着重要的支撑作用。传统的小麦种植面积提取方法主要依靠人工野外调查,存在工作量大、效率低、成本高等问题,而遥感技术具有准确、快速、动态等优点,已成为作物种植区提取的有效手段。本论文利用15 m分辨率的Landsat-8 OLI(Operational Land Imager)卫星融合影像作为研究数据源,选取河北省石家庄市正定县和藁城区的增村镇作为研究区,开展冬小麦种植区提取的遥感深度学习方法研究。主要工作如下: (1)为了解决传统提取方法效率低且主观性强的问题,提出了基于SE-UNet的冬小麦种植区提取方法。以Landsat-8 OLI卫星影像作为主要数据源,并分别选取分辨率8m的高分六号(GF-6)以及分辨率10 m的哨兵二号(Sentinel-2)作为对比验证数据,提出了一种改进U-Net网络的冬小麦种植区提取方法。首先,通过在Landsat-8 OLI遥感影像上标注小麦种植区制作标签数据集;其次,在U-Net网络中添加SE(Squeeze and Excitation)注意力机制模块融入特征通道间信息,并利用BN(Batch Normalization)层抑制过拟合;最后,经过Softmax分类器得到分类结果。选择Seg Net、Deep Labv3+、UNet作为对比模型,分别利用GF-6、Sentinel-2和Landsat-8 OLI 3种数据构建预测模型。结果表明,SE-UNet网络在基于Landsat-8 OLI数据的预测模型中测试数据集表现最优,平均像素精度MPA(Mean Pixel Accuracy)和平均交并比MIo U(Mean Intersection over Union)分别达到89.88%和81.44%。本方法可为获取大范围冬小麦种植区提供参考。 (2)为了解决全监督语义分割在像素级图像标注中带来的成本问题,提出了基于半监督语义分割的冬小麦种植区提取方法。在已有语义分割算法基础上,采用伪标签自训练,从少量带有像素级标注的图像和大量未标注的图像中学习模型,从而实现冬小麦种植区提取。在构建的初始语义分割数据集中,随机抽取1/16、1/8、1/4和1/2比例的标签数据,结合一致性正则化思想,在未标注的图像上使用强数据扩充,即比经典的裁剪、旋转更强、更多样的数据扩充方式,构建半监督语义分割模型,以缓解过度拟合的噪声标签。对比不同比例标签数据在Seg Net、Deep Labv3+和U-Net三种语义分割网络模型的预测结果,得到基于U-Net网络模型提取效果最好,且半监督语义分割相对于全监督语义分割评价指标MPA和MIo U均有不同程度的提升。相比于1/16、1/8和1/4比例的标签数据,基于1/2标签数据的U-Net全监督语义分割和半监督语义分割MPA和MIo U表现最优,分别为84.62%、76.45%和85.52%、77.83%。本方法可为标签数据不足的场景下提取冬小麦种植区提供参考。 论文基于多光谱、中高分辨率卫星遥感影像,结合深度学习网络模型效率高、识别准确等优势,提出了一种改进U-Net网络的冬小麦种植区提取方法;其次,考虑标签数据有限的场景下,使用更加简洁、快速的半监督方法对冬小麦种植区进行提取,依然取得了满意的结果。可为区域尺度冬小麦种植区的大范围、高精度遥感提取提供方法参考和案例支撑。

关键词： 初期产能   主控因素分析   机器学习   集成学习  

摘要： 随着人工智能技术的不断发展,机器学习在油气领域的应用不断扩大和深化。机器学习以数据为基础,为预测初期产能提供了新的思路。海上砂岩油藏定向井初期产能影响因素差异较大,使用传统产能预测方法泛化能力较低,难以有效地实现规模性预测。然而机器学习将初期产能的预测重点转移到数据特征上,避免了传统预测方法对数据和模型的过度依赖问题,使得机器学习的预测结果更具有普适性。 本文介绍了机器学习预测初期产能的研究框架,明确了油气大数据分析利用的一般流程和主要方向,并对机器学习的建模过程和预测过程进行了研究。机器学习需要较高质量的数据来训练模型,但现实中的数据常常存在数据缺失、数据异常和噪声等问题,这会严重影响机器学习的预测性能和准确性,因此需要进行数据预处理。 通过主控因素分析,本文确定了研究区初期产能的主要受控因素为渗透率、含油饱和度、孔隙度和含水率,表明该区域储集层岩石对流体的传导性能、石油在岩石孔隙中所占的空间体积、岩石的储集性能和油井出水状况对初期产能有着决定性作用。通过对机器学习模型预测初期产能的结果分析,可知线性回归模型不适用于复杂生产和地质条件下的初产预测。BP神经网络随着不断地调整神经元之间的连接权重,使得网络对训练数据的拟合能力不断增强,但模型容易产生过拟合问题,导致模型最终的预测效果不佳。尽管支持向量机模型可以提高预测效果,但与多元线性回归模型和BP神经网络模型类似,均存在预测初期产能较大数据时预测结果偏差较大的问题,故采用对“离群点”预测效果更好的CART回归树模型,发现树模型使得整体预测效果进一步提升。最后本文提出了一种新的集成算法——基于特征相似度的模型选择集成算法,通过融合不同基学习器在部分井上的预测优势,实现了精细化预测,从而使得整体的预测效果更佳。通过对不同机器学习预测模型的对比和优选,最终认为集成学习具有稳定的预测性能与良好的预测效果,可以考虑用于实际油田中,并为初期产能预测提供新的预测方案。

关键词： “玩中学”   “做中学”   “悟中学”   全面发展  

摘要： 两位教师基于幼儿的年龄特征与发展需要，有意识地选择绘本《跑跑镇》中的故事与情境，设计并开展了语言领域和音乐领域的同题异构活动。“玩中学”“做中学”“悟中学”三大教学策略的运用，使《3—6岁儿童学习与发展指南》精神以及课程游戏化理念在教学活动中得以有效贯彻和落实，激发了幼儿的创新意识，体现了绘本教学的有趣和有益。

摘要： 体验式学习方法是一种以学生为主，师生双向互动、共同探究的学习方法。随着素质教育理念的渗透，体验式学习方法能转变传统应试教育模式，建构以学生为主的教学模式，激发学生对数学的学习兴趣，调动学生参与数学学习活动的主动性。因此，小学数学教师要积极探索体验式学习方法在小学数学教学中的实践，推进数学课堂教学效果的提升。