关键词： 深度学习   卷积神经网络   糖尿病视网膜病变   图像分类  

摘要： 糖尿病视网膜病变(Diabetic Retinopathy,DR)是由糖尿病所引发的一种眼底疾病。这种疾病虽然在初期无明显症状,但是随着患病的时间逐渐增加,病情却会越发严重,据统计DR发病率占糖尿病患者的50%左右,致盲率达6-8%。DR造成的视觉损害是不可逆的,所以定期筛查糖尿病视网膜病,及早发现及早治疗成为关键。传统的眼底病变诊断依赖医生的临床经验费时费力,不适合大规模筛查。使用计算机辅助诊断不仅能够节省医生的时间,也能发现更多的潜在患者,对医生和患者都具有非常重要的现实意义。本文设计了两个基于深度学习技术的分级网络检测方法辅助医生进行诊断。本文的主要工作如下:第一,针对单一归一化方法在提取不同层次特征时不能有效发挥网络性能的问题,本文在卷积神经网络中引入自适应归一化(Switch Normalization,SN)方法代替原有的归一化方法,该方法能够在神经网络提取不同层特征时提供不同的归一化方法,拓宽了网络的技术边界,更好的发挥网络的性能。第二,在总结上一个实验的基础上设计了性能更出色的糖尿病视网膜病变分级网络。针对糖尿病视网膜病变类间图像特征差别小及分类临界值相对模糊的问题。设计了融合高效通道注意力特征的Conv Ne Xt糖尿病视网膜病变自动分级模型。针对数据集中各类别样本分布不均的问题,采用引入额外数据集和过采样方法来平衡样本分布。针对采集眼底图像时出现的曝光、伪影等题,使用预处理方法提升图像质量。使用Dropout和Drop Path方法缓解网络的过拟合问题。使用迁移学习方法加速模型训练。实验结果表明,本文所提出的模型准确率为95.21%,敏感度95.20%,特异度98.80%,改进的卷积神经网络能够比较出色的完成糖尿病视网膜病变的分级任务。

关键词： 深度学习   小学英语   阅读教学  

摘要： 目前，很多小学生的阅读活动停留于浅层，导致他们无法通过阅读文本发展自己的语言能力，也难以深度解析文本蕴含的价值理念，这大大影响了学生的学习效果，也阻碍了学生的可持续发展。对此，文章结合教学案例指出，教师可以通过指导学生理解文本、结合问题引发学生思考、鼓励学生评析文本、读后组织写作练习等策略推动深度学习在小学英语阅读教学中的实施，以突破阅读教学困境。

关键词： 少样本学习   替换词检测   文本分类   文本回归   联合学习   ELECTRA  

摘要： 少样本学习是自然语言处理领域中一个重要的研究方向,其主要目标是让模型具备像人类一样的泛化能力,即在少量示例的情况下快速学习和适应新任务。目前,基于掩码语言预训练模型的少样本学习方法是解决少样本问题的主流方法之一,该方法通过在句子中插入提示,将下游任务建模为完形填空问题,从而减少预训练任务和下游任务之间的目标差异。然而,掩码语言预训练模型并不一定是最优的少样本学习选择,与替换词检测预训练模型相比,掩码语言预训练模型表现出更低的计算效率和更弱的性能。因此,本文提出了一种全新的少样本学习方法,将下游任务转换为替换词检测任务,以利用替换词检测预训练模型实现少样本学习。基于这种思想,本文提出了三种具体方法:(1)基于替换词检测预训练模型的少样本分类方法:为了解决少样本分类问题,该方法的主要思想是将下游分类任务重新建模为替换词检测问题。具体而言,首先为所要解决的分类任务定义一个模板和多个标签描述词,并将其插入输入语句,形成提示输入语句;其次,利用替换词检测预训练模型来预测出各标签描述词的替换概率;最后,选取具有最小替换概率(即具有最大原始概率)的标签描述词所对应的类别作为最终的预测结果。(2)基于替换词检测预训练模型的少样本回归方法:为了解决少样本回归问题,并进一步探索替换词检测预训练模型的少样本学习潜力,该方法的主要思想是在(1)的基础之上,将回归任务转换为预测句子属于两个极端类别概率的分类任务,进而将替换词检测预训练模型应用至回归任务。具体而言,首先为回归任务设计相应的模板和极端上下限类别对应的标签描述词,并将其插入输入语句形成提示输入语句;其次,通过替换词检测预训练模型预测出极端上下限类别标签描述词的替换概率;最后,通过插值公式计算出回归预测值。(3)基于替换词检测预训练模型的少样本联合学习方法:为了进一步提高细粒度分类问题的性能,该方法的主要思想是将细粒度分类任务同时建模为分类问题和回归问题,以进行联合学习。具体而言,首先为细粒度分类任务设计分类和回归所需的模板及标签描述词,并将分类和回归的模板以及标签描述词同时添加至输入语句;其次,利用替换词检测预训练模型预测出分类预测概率和回归预测值;最后,将分类预测概率和回归预测值进行融合作为最终结果。在此基础上,该方法还设计了三种不同的融合方式。实验结果表明,本文提出的三个方法总体上比基于掩码语言预训练模型的少样本学习方法表现更优。在单语句分类任务、双语句分类任务、细粒度分类任务和回归任务上均取得了更好的性能。

关键词： 多维时间序列   表示学习   自监督学习   对比学习  

摘要： 时间序列表示学习是时序数据分析任务中的一个重要研究方法。由于自监督学习能够通过设计辅助任务从大规模的无标签数据中挖掘自身的监督信息,进而对网络进行训练得到对下游数据分析任务有价值的表示,已应用到时间序列表示学习之中。但现有基于自监督的多维时间序列(Multivariate Time Series,MTS)表示学习算法无法同时捕获单个样本的时空耦合特征和样本间的不变性判别特征。另外,时域和频域特征是表达时间序列的两种不同模态,而大多基于自监督对比学习的表示方法只提取样本的时域特征,忽略了频域空间的特征。本文针对上述问题,开展了以下工作: (1)提出了一种融合重构和对比的表示学习模型(Multivariable Time Series Representation Learning Model combining Reconstruction with Contrasting,MTS-RC)。该模型首先通过二进制噪声掩码方式对MTS样本进行数据增强,然后采用膨胀卷积和Transformer编码器分别提取MTS及其增强样本的局部上下文特征和局部上下文之间的长时依赖特征,最后由重构增强样本的掩码值捕获单个MTS样本的时空耦合特征,通过对比学习捕获MTS样本间的不变性判别特征。在多个MTS公开数据集上进行分类的实验表明模型所得表示向量训练的分类器准确率均优于典型基线模型。 (2)提出了一种基于时域对比与时频融合对比的表示学习模型(Time Series Representation Learning Model based Temporal Contrasting and combining Temporal and Frequency Contrasting,TS-TFC)。该模型首先由傅里叶变换将时序样本转换为频域样本,通过数据增强技术获得时域和频域样本的增强样本。然后采用膨胀卷积提取时域和频域样本的特征。将时域样本和其增强样本相同位置的时间戳特征作为正样本对,同一样本不同位置的时间戳特征、不同样本相同位置的时间戳特征作为负样本对,进行对比学习时域上的特征。将时域特征和频域特征拼接形成时序样本及增强样本的时频融合特征,基于Sim CLR框架学习时序样本判别性特征。在多个单维时间序列和MTS数据集进行分类实验,由TS-TFC所得表示训练的分类器准确率优于相关基线方法。

关键词： 药物   非临床安全性评价   毒性病理学   人工智能   深度学习  

摘要： 药物非临床安全性评价毒理学试验组织病理学数据在药物发现和开发过程中非常关键，是监管部门在实验动物中评估药物相关毒性及其对临床试验人类安全性影响所必需的。随着全切片图像、数字病理学和算法研究的进步，人工智能已广泛应用于人类临床医学实践。但机器学习，尤其是深度学习在非临床毒理学试验毒性病理学的进展比较缓慢。本文简要综述了毒性病理学在药物发现和开发中的作用、人工智能和深度学习方法概述、深度学习方法在毒性病理学中的应用以及在毒性病理学中应用深度学习方法所面临的挑战，以期为我国药物非临床安全性评价毒理学试验组织病理学检查应用深度学习方法提供一定参考。

关键词： 差分隐私   图神经网络   社交网络   图表示学习  

摘要： 社交网络是现实世界中沟通交流、信息获取等日常活动的主要平台,其中丰富的信息可以用于挖掘个人的行为模式。图神经网络作为强大的图表示学习工具被广泛用于挖掘丰富的节点属性和拓扑关系,以提高相关下游任务的性能。然而,这些学习结果中通常隐含了大量的个人隐私信息,使得隐私保护成为了社交网络中被重点关注的问题。先进的图表示学习结果给恶意的攻击者提供了数据窃取的新手段,同时也为隐私保护方法的适应性带来了新挑战。(1)隐私保护技术捕捉图数据的异质性难。现实世界图中多节点类型与语义关联性丰富了图神经网络的表达能力,却使传统的隐私保护的方法在异质图上失去了一定的保护能力,例如图表示中隐藏了两个用户之间的关联关系,而攻击者仍可以通过用户的高阶的异质信息与语义(共同行为),推断用户的敏感偏好。(2)隐私保护技术对拓扑层次结构的感知能力弱。层次结构可以更好的帮助模型捕捉实体之间的潜在关联,提高模型推断的性能。然而,它也可能曝光敏感关系(不同层级的联系),更容易被攻击者成功地推断出敏感信息,导致严重的隐私泄露问题。因此,本文围绕社交网络的隐私保护图神经网络学习,提高隐私噪声对数据异质性、拓扑层次性的感知能力。主要研究内容如下:(1)针对图数据异质性中的隐私问题,提出了一种具有语义感知的差分隐私异质图神经网络学习方法HeteSDG。首先,本方法定义了一种具有语义增强的成员推理攻击(MIA-S),可以通过语义分析获得额外背景知识;其次,针对节点高阶邻居的异质性,利用注意力机制和语义去偏机制设计噪声量,提供节点级的个性化隐私保护;针对拓扑结构语义的指导性,通过设计适应异质图数据的差分隐私随机梯度下降策略,为训练梯度施加隐私噪声,并通过引入语义正则作为优化的软目标;最后,为了权衡隐私保护与模型性能,利用双层优化机制为节点级和拓扑级隐私保护提供合理的隐私预算分配。HeteSDG在四个真实数据集上进行了实验,以验证隐私保护能力和泛化性。(2)针对图拓扑层次性中的隐私问题,提出了一种基于双曲几何的、层次感知的差分隐私图神经网络学习方法PoinDP。首先,基于Poincaré模型学习每个实体的层次权重,为随机扰动噪声设计了层次感知的差分隐私敏感度。其次,提出了一种基于高斯机制的层次感知扰动机制,以保护社交网络中的隐私信息。最后,在四个真实数据集上的实验结果表明,PoinDP在节点分类任务上具有全面的优势,并能适应性的针对拓扑层次结构中敏感程度不均衡的信息实施保护。综上所述,本文在社交网络的异质性和层次性上分析了隐私泄露风险,并基于图神经网络学习相应的提出了差分隐私图神经网络学习方法,在社交网络隐私保护的应用中具有启发意义。

关键词： 网络表示学习   异质网络   数据挖掘   语义融合   多粒度  

摘要： 异质信息网络是包含不同类型的对象与链接的网络,相较于传统网络,可以更充分自然地建模现实世界中的复杂系统。异质信息网络表示学习作为异质网络分析的重要工具,旨在将不同类型的节点嵌入到低维的向量空间中,同时保留丰富的语义信息和结构信息。这些低维向量可以应用于大量的下游任务,如节点分类、网络可视化和社团发现等。因此异质信息网络表示学习在数据挖掘领域具有重要的研究价值。 目前的异质信息网络表示学习方法在处理异质性的过程中仅保留单粒度内不同类型节点间的关联关系,且这些方法不易扩展至大规模异质网络。然而,现实中的异质网络往往存在着多粒度结构,该结构在很多网络挖掘任务中都起到重要作用。因此,本文重点研究挖掘多粒度内不同类型节点间关联关系的异质信息网络表示学习方法。但是,如何在异质网络的表示学习过程中提取并保留多粒度结构,并利用该结构提高表示学习效率是存在的难点。本文针对该难点提出以下解决方案,首先在给定元路径所表达的语义下构建多粒度结构以融合语义和层次信息。其次多粒度结构中最粗粒度网络保留了原网络的骨干结构,且其规模远小于原网络,通过粒度间的信息传递将最粗粒度网络的节点表示传递回原网络,以提高表示学习的效率。本文的主要贡献如下: (1)为了在异质网络的表示学习过程中提取并保留多粒度结构,提出基于语义融合的多粒度异质信息网络表示学习方法(HINChip)。该方法通过多种语义处理异质性的同时构建每种语义对应的多粒度子网络,以保留层次和语义信息。首先根据不同语义形成多个同质子网络,并在其基础上构建对应的多粒度子网络。其次通过网络嵌入方法学习多粒度子网络中每层的节点表示,最后基于多层语义注意力机制整合不同语义下的多粒度子网络的表示。实验结果表明,HINChip相比于基线,F1值平均提升7.12%。 (2)为了在异质网络上利用多粒度结构提高表示学习效率,在HINChip的基础上,提出基于节点类型划分的多粒度异质信息网络表示学习方法(HEHE)。该方法设计异质粒化模型和异质细化模型以提升网络表示学习方法的嵌入精度和效率。具体来说,异质粒化模型利用社团划分算法将网络中不同类型的节点分别划分至多个社团,将社团合并为粗粒度网络中的超点,迭代该过程以构建异质多粒度网络。异质细化模型将最粗粒度网络中不同类型的节点表示分别由粗到细逐层细化至原始的异质网络上。实验结果表明,HEHE相比于基线,F1值平均提升10.74%,速度提升3.95-170.62倍。

关键词： 稀疏投资组合   K-means   分层聚类   机器学习  

摘要： 稀疏投资组合对比传统的投资组合具有低交易成本、低监管成本等诸多优势,而过去构造稀疏投资组合的方法都是基于最小方差投资组合并对权重向量进行范数约束,当股票数量较大时,需要对高维协方差矩阵进行估计,而高维协方差矩阵的估计难度大、误差大,虽然过去学者提出了多种高维协方差矩阵的估计方法,但其中大部分需要对协方差矩阵的结构进行稀疏性等假定,并依赖于股票收益率的正态性以及协方差矩阵在一定时间内的稳定性,且对于众多估计方法,没有统一的评价标准,无法确定最适的高维协方差矩阵估计方法。基于此,我们提出了一种构造稀疏投资组合的创新方法,通过分行业选股将高维问题转化为低维问题。具体做法是将现有股票集按产业进行划分,包括按照现实存在的产业分类标准划分,以及采用K-means和分层聚类机器学习方法将股票重新分为新的“产业”。在基于并证实同产业股票相关性高,不同产业股票相关性低的假设下,依照不同的标准,从每个产业中筛选出至多一支股票构成我们的投资组合。为了对股票进行正确分组,充分分散行业风险暴露,我们创新性地将分组数目内生化,并提出了检验分组效果的方法,即计算出分组后的组内时变相关系数与组间时变相关系数,作出密度图比较差异,差异越大,分组效果越好。另外,区别于传统的机器学习方法,我们用1减去时变相关系数来衡量两支股票间的距离。在实证部分,受制于高维协方差矩阵估计误差,我们首先选取沪深300成分股为样本,将我们提出的12种稀疏投资组合,与4种基准投资组合进行回测,比较样本外表现,最终我们的投资组合战胜了基准投资组合,可以获得20.14%的年化收益和1.044的夏普比率。我们进一步选取主板所有股票为样本进行回测,年化收益和夏普比率可以提升至23.05%和1.154,而按照过去方法构造的稀疏投资组合失灵。通过考虑交易成本的稳健性检验,我们的优势被进一步证实。

摘要： 摘要 目的 预防血肿周围水肿（PHE）扩大是改善颅内出血（ICH）病人神经系统结局的一种新策略。该研究旨在使用机器学习（ML）方法预测早期和延迟期PHE扩大。方法 纳

关键词： 区块链   智能合约   蜜罐   机器学习   元学习  

摘要： 区块链技术被称为第四次工业革命以来最具有颠覆性的技术,它所具有的去中心化、不可篡改等技术特性使得其具有广阔的应用空间与场景。然而智能合约安全漏洞频发,给合约的运行推广带来了巨大的阻力。蜜罐合约是近年来出现的一种新型合约,区别于尽量隐藏漏洞的传统漏洞合约,蜜罐合约往往会主动暴露出一个看似易受攻击的漏洞供人发现,以此在引诱他人进行攻击,但这个攻击往往会失败。由于蜜罐合约是一种新型智能合约,学术界目前对于蜜罐的识别检测研究还不够完善,仍然存在着一定的提升空间。基于这种现状,本文做出了如下的工作: 本文首先提出了一种LSTM+Attention机制的网络模型,用来对蜜罐合约进行识别检测。现有的蜜罐识别方法都需要人工的参与,而本文利用LSTM+Attention机制实现了端到端的蜜罐识别方法,整个过程完全自动化,无需人工参与,减少了蜜罐识别的工作量,增强了蜜罐识别的便捷性。该方法充分利用了solidity源代码自身的结构信息来进行蜜罐的识别判定,在判断合约是否为蜜罐的问题上准确率达到了0.98、精准率为0.95、召回率为0.95、综合F1分数为0.95,在蜜罐识别问题上取得了相当优秀的表现。 然后本文在前期工作的基础上,提出了HD-CDCS模型来对蜜罐类型进行具体判定。HD-CDCS模型以Code Bert模型为基础框架,并利用MAML的训练方法使得该模型拥有快速收敛的能力,最后在solidity源码数据集上面进行微调过程,最终在小样本数据集的情况下实现了对于蜜罐类型的准确判定。测试实验表明,HD-CDCS模型在蜜罐类型判定问题上,整体的分类准确率达到了0.99。利用Macro-average方法计算得到的精准率、召回率和F1分数分别为0.85、0.92和0.87;利用Weighted-average方法计算得到的准确率、召回率和F1分数分别为0.99、0.99和0.99。在具体的蜜罐类型判定问题上,HD-CDCS也获得了良好的表现。 最后本文实现了蜜罐合约识别检测的在线平台,方便用户利用平台在线实时地对智能合约进行检测。用户可以在与合约账户进行具体交易之前,利用在线平台对智能合约进行蜜罐合约的识别检测。通过提前检测,用户能够规避交易风险,其交易的安全性也得到了保证。