关键词： 标签噪声学习   分类学习   自适应   相对密度   完全随机森林  

摘要： 随着社会发展进入数字经济时代,数据作为生产要素的经济地位日益凸显。如何从海量数据中提炼出有价值的信息,成为了全面深化改革的目标和方向。然而,由于人工标注速度难以匹配数据增长速度,与海量数据相伴而生的标签噪声限制了数据信息的精准提炼,尤其是对有监督的分类学习任务影响巨大。因此,如何缓解标签噪声的负面影响,提升分类算法鲁棒性,成为了值得深入探索的研究课题。现有的标签噪声学习方法在二分类、多分类及不平衡分类问题中,存在非对称噪声导致的过度过滤问题,缺乏通用的多分类标签噪声学习框架和对标签噪声鲁棒的不平衡采样方法,难以应对复杂分类场景中的标签噪声。本文在现有的标签噪声学习方法基础上,围绕非对称的二分类、多分类及不平衡分类数据中的标签噪声的不同特征进行研究,分别提出了面向二分类的自适应标签噪声学习算法、面向多分类的通用标签噪声学习算法以及面向不平衡分类的鲁棒标签噪声学习算法,以提升不同分类场景下标签噪声学习方法的有效性和普适性。本文主要工作内容如下:(1)研究二分类场景中的非对称标签噪声,提出一种自适应的标签噪声学习算法,解决了在非对称噪声下阈值失效导致的训练样本过度过滤问题,缓解了噪声非对称的二分类场景下的分类模型欠拟合问题。本文采用一个相对柔和的假设取代原始相对密度中的硬假设,根据样本局部分布特征的差异性,将全局的阈值变量转为依赖于类别的局部变量,自适应地区分标签噪声样本和非噪声样本,消除标签噪声学习方法对预设阈值的依赖。此外,为进一步扩展算法的自适应性,引入了幂函数调整同类样本的相对密度间距,以便更准确、更全面地识别标签噪声。实验表明,在真实数据集上,本文所提算法能够在标签噪声识全率和错误识别率之间取得最佳权衡,以最小的代价最大程度上保留数据样本的原始分布特征。算法能够有效提升二分类器的泛化能力,在非对称噪声下的抗干扰能力尤为显著。(2)研究多分类场景中的标签噪声,定义多分类标签噪声,提出一种学习多分类标签噪声的通用框架。此外,以完全随机森林算法和相对密度算法为例,应用所提出的学习框架对其进行多分类实例化扩展,并提出两种噪声强度阈值的优化方式,即新型投票交叉验证方法和自适应方法,分别从可靠性角度和时效性角度实现对噪声强度阈值的优化提升,进一步扩展多分类标签噪声学习方法的通用性。实验结果表明,在人工合成数据集和真实数据集上,本文所提出的多分类标签噪声学习框架能够有效缓解多分类场景下的标签噪声带来的分类器泛化能力下降问题,还能够以松散耦合的方式与任意不平衡采样算法结合,实现对不平衡的多分类数据中的标签噪声的有效识别,改善数据质量,提升多分类器的分类性能和对标签噪声的鲁棒性。(3)研究不平衡分类场景中的标签噪声,设计一种面向不平衡分类的鲁棒标签噪声学习算法,同时解决多分类、不平衡、非对称的标签噪声问题。首先,提出一种鲁棒的合成少数类的上采样算法,实现噪声样本的自动识别及非噪声样本的自动分区采样,通过提升采样算法对含有标签噪声的不平衡数据的鲁棒性,改善不平衡分类算法的泛化能力。然后,结合依据通用的多分类标签噪声学习框架扩展后的多分类自适应标签噪声学习算法,过滤上采样后多分类数据中的标签噪声,通过强化分类边界和清理噪声数据,共同对抗多分类、不平衡问题中的非对称标签噪声对寻找最优分类边界的干扰。实验结果表明,本文所提算法不仅能够在单独应用时实现对数据质量的有效提升,对分类性能的有效改善;其组合算法能够形成优势互补,进一步提升了单一算法在复杂分类场景下对标签噪声的鲁棒性。

关键词： 阿尔兹海默症   MRI影像   神经认知量表   生物标记  

摘要： 目的 本论文研究如何整合并优化影像、神经认知评价和生物标记测量等多来源多模态数据以提高阿尔兹海默症发展阶段和转化的分类预测准确率。方法 本文基于阿尔兹海默症影像计划(Alzheimer's Disease Neuroimaging program,ADNI)2004至2018年四个阶段的样本数据,包括从MRI影像数据提取脑室容量、海马体体积、全脑容量、内嗅皮质、梭状回、颞中回、以及脑容量等脑图像特征数据;神经认知量表数据(简易精神状态测量量表和老年痴呆-认知ADAS-cog13量表);生物测量数据(Abeta肽,Tau蛋白和p-Tau蛋白及Apo E4基因型)。基于783个样本的基线数据建立二分类和多分类logistic回归模型用于疾病发展阶段的两两和同时分类预测。基于具有MCI状态的352个样本的纵向数据建立二分类logistic回归用于转化状态的分类预测。本研究将脑图像特征变量、量表数据和生物标记加入到基础模型中,通过交叉验证方法随机划分数据集,并计算准确率、查准率、召回率、F1得分和ROC曲线下方面积等指标进行综合比较,得到最优多模态组合的分类预测模型。结果 对于阿尔兹海默症发展阶段的分类,结合脑图像特征数据、量表数据和生物标记数据建立二分类logistic模型表现最佳。区分AD(阿尔兹海默症,Alzheimer Disease)和NC(正常对照组,Normal Control)、MCI(轻度认知功能障碍,Mild Cognitive Impairment)和NC以及AD和MCI的准确率分别达到了100%,77.18%和89.58%;AUC值分别为100%,85.52%和96.39%,比仅用脑图像数据进行进展阶段的分类预测有显著提高。对于阿尔兹海默症MCI转化的分类预测,脑图像特征数据结合量表数据和生物标记能最大程度地提高准确率,从86.69%提高到了90%以上;相应的AUC值从89.21%提高到了94.06%。结论 结合多来源数据能提高阿尔兹海默症疾病进展阶段和转化的分类预测准确率,为临床诊断阿尔兹海默症所处的发展阶段和转化提供理论上的支持。

关键词： 机器学习   等效球镜度   屈光状态   睫状肌麻痹   儿童   青少年  

摘要： 目的:通过人工智能方法建立复杂预测模型对儿童青少年睫状肌麻痹需求和睫状肌麻痹后屈光度屈光状态进行精确预测。在临床工作中减少不必要睫状肌麻痹带来的医疗资源浪费,减少患者就诊时间,提高诊疗效率。在以学校为背景的流行病学和近视相关研究中,经过模型预测获得与真实睫状肌麻痹后屈光结果无偏倚的人群等效球镜度及屈光状态分布,以便地区间横向对比及同地区纵向队列研究。 方法:在2019年12月至2020年1月筛查过程中于天津市滨海新区对符合纳入标准的6-18岁在校儿童青少年进行全面眼部检查和问卷调查并纳入数据集。样本特征包括睫状肌麻痹前屈光结果、眼部光学生物测量结果、眼压、生活视力、调节滞后量、第一注视眼位偏差角度及受试者年龄、性别、戴镜信息及相应组合特征。经睫状肌麻痹后,采用相同仪器测量睫状肌麻痹后屈光结果并纳入数据集。按9:1比例将数据集分为训练集和测试集,分别用于训练测试模型。预测任务分为三部分,第一部分建立二分类模型,利用睫状肌麻痹前眼部参数和基本信息预测儿童青少年是否有进一步睫状肌麻痹后屈光检查需求;第二部分建立三分类模型,利用睫状肌麻痹前眼部参数和基本信息预测儿童青少年睫状肌麻痹后屈光状态;第三部分建立回归模型,利用睫状肌麻痹前眼部参数和基本信息预测儿童青少年睫状肌麻痹后等效球镜度。 结果:二分类任务中集成学习模型效能最佳,在以0.50D作为阈值区分儿童青少年是否需要睫状肌麻痹时AUC可达0.864,Sensitivity为73.3%,Specificity为80.1%。模型经过调整后在真正例率为0.90时模型假正例率为0.36。本研究中0.50D阈值时需要睫状肌麻痹患者占总样本46.8%,在该人群中使用预测模型可以在不影响屈光检查结果的情况下约节省全部睫状肌麻痹工作量的1/3。三分类任务中集成学习模型效能最佳,可将全部样本中84.2%预测正确,经过机器学习模型预测后的人群屈光状态分布与真实睫状肌麻痹后结果无统计学差异。回归任务中adaboost算法模型效能最佳,81.1%的个体等效球镜度预测值与真实值相差小于0.50D,经过机器学习模型预测后的人群等效球镜度分布与真实等效球镜度分布无统计学差异。 结论:在临床工作中可以应用由集成学习算法训练而成的睫状肌麻痹需求预测模型,在不影响屈光检查准确性的情况下节省约1/3睫状肌麻痹工作量。在无睫状肌麻痹条件的流行病学研究中使用由集成学习算法训练来的睫状肌麻痹后屈光状态预测模型和由adaboost回归算法训练而来的睫状肌麻痹后等效球镜度预测模型可获得与真实值无统计学差异的人群屈光状态分布和等效球镜度分布。

关键词： 缺陷检测   深度学习   弱监督学习   超像素分割  

摘要： 机器视觉技术在产品表面质量检测中有着广泛应用。随着深度学习在图像、文字识别中表现出的优异性能,以深度学习为核心的新一代机器视觉技术引起工业界和学术界的广泛重视。但是,面临着工业缺陷种类繁多、缺陷特征难以提取以及数据标注工作量大等问题,因此本文研究基于弱监督的表面缺陷检测框架,即仅用图像级标签实现缺陷检测并且还能够预测分割图像缺陷区域,主要工作内容如下:1)通过大量调研缺陷检测领域的相关文献,深入了解和学习表面缺陷检测的算法、卷积神经网络以及弱监督语义分割的国内外研究现状,同时研究了语义分割网络、图卷积分割网络以及基于弱监督学习策略的相关理论和基础。2)提出一种基于先验知识的弱监督表面缺陷检测框架,该框架主要由骨干网络、分割网络、分类网络以及基于先验的伪标签生成网络组成。针对缺陷特征难以提取的问题,在分割网络中引入MFA(多尺度特征增强模块)充分提取缺陷特征以及引入RSAM(残差空间注意力模块)使得分类网络更关注分割网络预测的疑似缺陷区域,增强网络特征提取能力;基于先验的伪标签生成网络由超像素卷积和图卷积网络组成,首先利用图像级标签训练超像素全卷积分割网络,接着构建一个2层的图卷积分割网络,将超像素分割网络输出超像素区域的特征向量矩阵以及超像素之间的关联矩阵作为输入,输出每个超像素的预测类别,合并所有超像素预测类别得到伪标签图。3)为了解决像素级标注数据难以获取问题,本文采用基于伪标签的弱监督学习策略用于约束分割网络预测输出,包括基于Topk-loss目标优化函数的多实例学习策略、基于全局先验的学习策略以及基于先验伪标签标签的辅助监督策略。其中Topk-loss目标优化函数对分割预测输出置信度得分前k个输出点进行引导学习,引导缺陷图像前k个预测响应点输出缺陷得分1,引导良品图像前k个预测响应点输出良品得分0;基于全局先验的学习策略通过统计全局最大响应去抑制局部响应;针对弱监督语义分割监督信息不足的问题,提出将基于先验知识的伪标签作为分割网络训练阶段的监督信息,为了生成更加精细的伪标签,采用基于先验知识的伪标签生成和细化方法,通过基于对抗擦除的显著性区域生成方法生成初始伪标签,采用基于超像素的预处理方法以及图卷积推理方法进一步细化得到。4)使用真实工业场景下的换向器图像作为实验数据,通过在提出表面缺陷检测框架上进行不同对比实验以及设定合适实验超参数,验证特征增强模块MFA和RSAM、基于先验知识的伪标签生成网络以及弱监督学习策略的有效性,最终在基于弱监督的表面缺陷检测实验中分类精度达到98.61%,分割m IOU达到71.51%。

关键词： 探究性学习方法   初中   数学教学   实践应用  

摘要： 在新课改的形势下，对初中数学教学工作有了更加严格的要求，传统的教学模式已难以满足当前的教育工作，这就需要教师转变教学思路，创新教学模式。探究性学习方法是近年来应用较为广泛的教学模式，在应用过程中，能够改善教学质量，培养学生的综合素养。另外，由于数学是逻辑性较强的学科，需要在教学中培养学生的逻辑思维能力，所以探究性学习方式对数学教学而言是极为关键的。文章就探究性学习方法在初中数学教学实践中的应用进行分析与探讨，以供相关人员参考。

关键词： 数据分布学习   生成对抗网络   模式崩溃   异常检测   医学图像应用  

摘要： 数据分布学习是机器学习中的基础问题,它主要研究的是给定数据的有限采样下如何对数据的整体分布进行刻画以及如何利用这样的刻画去提升具体下游任务的性能。在本文中,我们主要对数据分布学习领域的三个方向展开工作,这三个方向分别是:数据分布学习中的拟合问题,数据分布学习中的判别问题,数据分布学习的应用问题。我们在这三个方向上分别开展了三个工作的研究,分别解决了各自方向亟待解决的问题,从而为机器学习更广泛的应用建立了一定的理论和算法基础。 对于生成对抗网络中存在的模式崩溃问题,我们提出了一种名为Dynamic GAN的方法来解决它。所提方法首先通过可观测的判别器的输出给出训练样本的模式崩溃状态,通过在特征空间基于模式崩溃状态的自适应聚类获得训练样本的有效划分,并以划分为依据训练动态变化的条件生成对抗网络,从而逐步得到一个能够覆盖真实数据全部模式的生成分布。我们从理论上分析了当生成对抗网络陷入局部最优解时生成分布的性质,并以此为依据验证了所提方法能够覆盖全部模式。进一步地,我们在合成数据以及真实数据上的实验验证了所提方法的有效性以及相对其他相关方法的优越性。 对于图像上的异常检测问题,我们提出了基于特征受限对比学习的异常检测算法。所提方法通过将对比学习的特征向量约束在特征空间的部分区域,从而使特征向量带有异常检测相关的有效信息。进一步地,我们基于这样的训练方法提出了一种新颖的异常分数,它具有在测试时不依赖于训练集、性能优于特征相似度分数的特点。我们在Cifar10和SVHN数据集上的实验验证了所提方法的有效性和相对其他方法的优越性,并通过进一步的实验验证了上述所提异常分数的性质。 对于医学图像的异常检测问题,我们提出了一种多分辨率自编码器框架算法。对于具有不同类型的异常区域的医学图像来说,使用单一的分辨率会损害异常检测性能。因此,我们提出了一种具有多分辨率输出的自编码器模型,使得模型对不同类型的异常区域都能够做到有效检测。进一步地,我们从理论上分析了重构误差与自监督学习对于异常检测性能提升的依据。我们在两个常用的医学图像数据集Retinal OCT以及Retinal Fundus上的实验表明,所提方法均优于相关领域的其他方法,并在进一步的实验上验证了所提方法各部分的有效性。

关键词： 声波反障碍散射问题   门控循环单元网络   动力系统   Lyapunov稳定性   常微分方程门控单元网络  

摘要： 反散射问题是数学物理问题中一个重要的研究领域,这项问题的研究不但具有理论意义,而且在实际工程技术等领域也被广泛的应用,其应用已经覆盖到地理勘探、生物医学成像、无损探伤、雷达探测等众多科技领域.由于反散射问题具有不适定性,这使得常用数值方法在反演过程中具有一定难度,而神经网络的非线性特性,能够有效减少反散射问题中的不适定性所造成的影响,因此本文采用神经网络方法来求解声波反障碍散射问题.本文的主要研究内容是针对声波反障碍散射问题,构造相应的神经网络求解方法,并依据微分方程中Lyapunov稳定性理论,分析对应神经网络的稳定性。本文采用门控循环单元网络(GRU)的方法,构造远场数据和障碍物形状参数之间的映射关系,用以解决声波障碍物形状参数反演问题.该方法主要利用循环网络中的信息传递机制,将不同节点的数据链接成一个向量,以期望利用节点之间的关系进行预测.这里利用微分方程来解释GRU,并通过微分方程中Lyapunov稳定性理论,分析对应微分方程的稳定性,从而给出GRU稳定性的条件.数值实验结果说明了在不同观测点个数和入射点个数条件下,网络能够较好的反演出障碍物的形状和位置信息,同时可以发现随着观测点个数的增加反演出的障碍物曲线越来越接近真实障碍物曲线,并且远场数据在含有噪声的情况下,GRU方法仍然具有较好的反演效果,验证了该方法在解决反障碍散射问题上具有稳定性.基于GRU稳定性的分析方法,进一步构造了常微分方程循环单元网络(ODE-RU).该网络依托于具有稳定性的连续微分方程,通过向前Euler离散以及Lyapunov稳定性定理,得到同样具有稳定性的离散微分方程,这个离散方程可以表示为一种前向传递关系,这就是ODE-RU网络的基本框架.在此基础上加入门控机制,形成了一种基于微分方程的门控神经网络,这种门控结构能够控制ODE-RU网络中记忆单元的信息传递.数值实验说明在声波反障碍散射问题中,无论在单一入射点还是在多个入射点的情况下,ODE-RU均能够较好地反演出障碍物的边界,并且与其它两种不同的循环神经网络GRU、LSTM相比,ODE-RU的反演效果稳定且误差均低于上述两种循环神经网络.

关键词： 深度神经网络   胸部X光   双重注意力机制   胸肺部疾病   心脏肥大  

摘要： 利用计算机辅助准确快速地检测和分类胸肺部疾病,对于患者的早期临床诊断和后期治疗意义重大。近年来,深度学习技术的发展日新月异,深度卷积神经网络已经能够从大量样本中学习到疾病的语义信息和关键特征,实现对医学影像进行分析与处理。本文主要研究基于深度学习的胸肺部疾病检测分类算法及其应用,研究内容包括:(1)构建了一个精准的心脏肥大疾病数据集。由于现阶段大规模胸肺部疾病数据集的分类标签基本上都是通过自然语言处理技术从诊断报告中分析得出,训练集中的疾病标签仅有约90%的准确率,本文基于Chest X-ray 14数据集和NLM-CXR数据集构建了一组可用于深度神经网络的胸部X光片数据集,并为每张图像配置了准确的疾病标签。(2)提出了一种基于深度学习的双重注意力算法,实现对胸部X光片进行疾病诊断和分类。该方法利用特征通道注意力模块和特征空间注意力模块在通道维度和空间维度增强与疾病相关的特征,同时抑制无用的噪声干扰,从而增强骨干网络的信息提取能力。该算法使用本文自建的心脏肥大疾病数据集以及Chest X-ray 14数据集验证算法的有效性。实验证明,本算法在两个数据集上都能取得高质量的诊断结果。(3)提出了一种基于多尺度频率注意力网络的胸肺部疾病诊断算法,用于分析胸部X光片并诊断多种胸部疾病。该算法利用二维离散余弦变换提取并融合胸部X光片在不同频率的特征,减少图片尺寸缩小带来的信息损失。此外,该算法还设计了一种多尺度通道注意力模块,该模块可以捕获多尺度的跨通道信息交互,增强通道注意力的性能和学习效率。(4)设计了一种基于深度学习的胸肺部疾病辅助诊断系统。辅助诊断系统可以对输入的医学影像中可能包含的疾病进行准确且快速的检测和分类,标识出疾病可能存在的区域,从而辅助医生的临床诊断。该系统将本文提出的两种算法作为系统的推理引擎,为了提升算法模型的推理速度,本文将算法模型进行了层融合、模型量化等多种优化方案处理。本文从胸肺部X光片的图像基本特征以及相关疾病的临床诊断原理出发,提出了两种基于深度学习的胸肺部疾病诊断和分类算法,并构建了一个标签精准的心脏肥大疾病数据集作为现有胸肺部X光片数据集的补充。同时,结合本文中给出的算法,重新设计了一种胸肺部病辅助诊断系统,系统的算法推理引擎在进行了相关优化后基本能够满足临床辅助诊断的需求。

关键词： 细胞位置检测   注意力机制   机器学习   深度学习   YOLOv5  

摘要： 随着科技的不断进步,尤其是电子显微镜的不断更新迭代,分析细胞的形态、活动以及运动轨迹已经不再是天方夜谭。比如医生们可以使用专业仪器,对血液中的成分进行检测,计算血液中三种血细胞的比例,推测出人体的健康状况。使用深度神经网络对细胞视频进行检测,可以帮助人们找到复杂画面中的细胞、粒子等物质,代替人的眼、脑力劳动,将人从繁杂的体力劳动中解脱出来,从事更有意义的研究创新工作。本文针对细胞监控视频中的细胞检测问题,提出了细胞位置检测的传统方法,针对传统方法不能顺利区分相邻很近的两个细胞的问题,本文改进了YOLOv5算法,增加了注意力机制和三通道特征融合结构,实现了细胞位置的自动检测和相邻细胞的识别。论文的主要工作和创新点如下:(1)针对细胞监控视频,使用计算机视觉的传统方法,经过KNN去背景、阈值二值化、去噪声、连通区域检测等方法,搭建了细胞位置检测模型,根据细胞二值化后易分裂的特点,提出了基于连通区域面积排序的NMS算法,改进了细胞检测算法。(2)针对传统方法下,细胞位置传统检测模型无法顺利区分相邻细胞的情况,本文使用YOLOv5模型进行细胞位置的检测,并且在YOLOv5网络基础上,创造性地将去背景的视频截图、去除背景块的视频截图和原图相结合,提出了三通道特征融合结构。该结构既考虑了细胞的表面特征信息,又考虑了时间维度的特征信息。相较于直接在原始截图上使用YOLOv5模型,增加三通道特征融合结构的YOLOv5s网络在640、1024和2400的输入尺寸上,AP50分别增加了1.4%、3.6%和4.7%,达到了99.1%、98.9%和99.1%。在使用更大规模的YOLOv5m模型时,AP50增加了3.9%、3.1%和3.8%,达到了99.3%、98.9%和99.2%。(3)为了增强三通道特征融合结构中不同通道间的融合能力以及对特征的表达和提取能力,增强模型的泛化能力,本文优化了添加特征融合结构的YOLOv5s网络,在其骨干网络层中增加了注意力机制,提出了3种增加CBAM注意力机制的方法。在细胞图像测试集上取得了较高的准确率和召回率,增加了特征融合的效果,在双通道融合数据集上,AP50指标最多上涨了0.7%。通过使用特征融合网络和加入注意力机制的方法,AP50最高增长5.2%,从94%增长到了99.2%。