关键词:
乳腺病理图像
良恶性分类
多阶段迁移
注意力机制
图卷积网络
对比学习
摘要:
乳腺癌严重威胁着女性健康,早期诊断和治疗可以提高患者的生存率。常见的诊断方法包括影像分析和组织活检病理分析,前者包括磁共振成像、乳腺钼靶X线摄影检查等手段。相较于前者,组织活检病理分析作为诊断乳腺癌的“金标准”,可以为医生提供权威的诊断依据。传统的病理诊断通过人工阅片的方式,根据需求在不同倍率图像下进行分析,具有一定主观性和重复性。近年来,人工智能的快速发展为病理诊断提供了新的辅助途径,此方法能够帮助医生提升诊断精度,使诊断结果更科学、客观。其中以深度学习为代表的方法在病理图像良恶性分类领域已经取得了良好进展,但仍存在着一些问题,比较典型的包括:1)由于人工注释乳腺病理组织图像耗时费力,现实中小样本数据集较为常见,导致神经网络容易出现欠拟合和泛化能力低的问题;2)病理图像中的乳腺组织空间信息是病理医生诊断乳腺癌的重要依据之一,卷积神经网络难以充分感知空间信息;3)部分良性肿瘤和恶性肿瘤在病理图像上外观相似,特征差异较小,传统的深度神经网络对特征差异较小的良恶性病理图像区分能力不足。针对上述问题,本文以乳腺病理图像为研究对象,围绕深度学习方法开展良恶性分类研究,具体内容包括:(1)基于多阶段迁移和注意力机制的病理图像良恶性分类研究:针对上述问题1,本文以VGG19和Res Net34为基础,采取多阶段迁移的策略开展研究,分两阶段进行。第一阶段迁移中,根据自然图像和病理图像共享纹理特征等底层信息的特点,通过引入Image Net预训练参数的模型对大规模IDC乳腺病理图像数据集分类训练,使模型初步具备良好的病理特征提取性能。经过上述训练,在第二阶段迁移中,进一步微调模型提升其对小样本数据集的分类性能。在Breakhis数据集上验证,准确率达到了0.895。在VGG19和Res Net34的基础上,引入注意力机制,从图像的通道和空间层次筛选重要信息,提升模型分类性能。该模型在病理图像分类任务上获得了0.888的准确率。将上述两种方法结合,模型最优准确率进一步提升至0.914。(2)基于图卷积网络的病理图像良恶性分类研究:针对上述问题2,本文基于图卷积网络开展研究。通常的图构造方式复杂,本文利用卷积神经网络获取的特征图构造图结构,该结构可以充分的反映病理图像不同区域在空间上的关联性,能够提升模型对空间特征信息的感知能力。普通的图卷积网络卷积层数有限,提取深层次特征的性能较弱。因此利用交替更新机制思想,将卷积层构成一个循环反馈结构,任意两个卷积层之间都可以进行前向传播和后向连接。特征信息在任意层之间传递,通过反复叠加,使网络提取到更深层次的特征。结果表明,该模型的分类准确率达到了0.919。(3)基于对比学习的病理图像良恶性分类研究:针对上述问题3,本文采取对比学习方法开展研究。该方法采用孪生网络计算同一样本的不同增强视图的特征间相似度,能够感知样本间的特征差异。孪生网络学习的特征能很好的体现同类样本特性,进而区分不同类别样本。由于该网络提取细粒度特征的能力有所欠缺,故利用多尺度模块改进特征提取过程,从而获取更准确的细粒度特征。结果表明,基于对比学习的分类模型在乳腺病理图像良恶性分类上达到了0.933的准确率。本文以乳腺病理图像为研究对象,围绕深度学习开展良恶性分类研究。针对目前典型的小样本、空间信息利用不充分、特征差异度小的问题,分别提出了基于多阶段迁移、图卷积网络和对比学习的分类方法。研究结果表明,上述方法在乳腺病理图像良恶性分类中取得了良好的效果,具有积极的临床应用价值。