关键词:
数据高效
深度学习
医学图像分割
半监督学习
多模态学习
摘要:
医学图像在疾病诊疗过程中扮演着极其重要的角色。对医学图像的分割能够对解剖结构或者病变组织进行定量分析,从而促进诊疗过程精准化。医学图像分割任务通常需要有经验的临床专家参与,对图像进行逐个切片的人工分析,该过程由于医学图像例如CT或者MRI等通常包含数十至数百张切片,从而对临床医生的人力有较高需求,此外由于分析医学图像需要良好的医学专业知识,并且存在主观性判断问题,因此对医学图像的观测还存在观察者差异问题,由此对自动化医学图像分割算法的需求逐渐旺盛。近年来,以数据驱动为基础的深度学习模型在医学图像分割领域取得显著进展。然而,由于模型训练对数据的需求较大,深度学习方法在医学图像分割领域的发展受到显著制约。一方面,获取大规模人工标注数据对于医学图像而言成本极高,另一方面,隐私等原因使医学图像数据难以收集。面对当前深度学习在医学图像分割领域遇到的瓶颈,本文从半监督学习和多模态学习角度出发,针对解剖结构、病变区、微小病变区三类对象,开展面向医学图像分割的数据高效深度学习方法研究,以促进无标注数据、多模态数据的高效利用。本文主要研究贡献如下:
1.针对心脏解剖结构MRI图像分割问题,提出了基于空间一致性约束的半监督学习方法,扩展了深度学习分割模型训练数据规模,有效地降低了分割模型对标注数据的需求。基于解剖结构在例如旋转、平移、缩放等仿射变换情况下,对应结构的语义具有不变性,即像素语义在空间变换下具有一致性,该方法鼓励模型对图像仿射变换的结果输出相同的语义分割结果,从而使将无标注数据蕴含的特征信息向模型传递,最终以空间一致性约束半监督学习的方式实现了数据高效的心脏MRI分割方法。
2.针对COVID-19病变区分割问题,提出了多模型下的自集成协同训练的半监督学习方法,实现了基于有限标注CT样本与大量无标注CT样本的COVID-19病变区精准分割。在该工作中,两个独立训练的模型被用来构造两个独立的特征空间视角,以对病变区目标生成不同的视图,丰富了边界模糊、形态多变的病变区的特征信息量。基于该协同训练框架,相同的无标注样本在两个视图下的预测结果可交替作用于两个模型,以实现利用无标注数据的目的。此外,为了提升无标注数据在协同训练过程中的预测质量稳定性,我们提出了自集成一致性约束策略,鼓励无标注数据预测结果与时序集成的预测结果相一致,进一步提升了协同训练框架的半监督学习性能。通过自集成协同训练方法,该工作实现了以半监督学习为基础的数据高效的COVID-19病变区分割。
3.针对颅内动脉瘤这种微小病变区分割问题,提出了一种样本权重感知策略,实现了高效利用无标注数据进行模型训练的目的。该方法旨在利用微小结构难以识别、颅内动脉瘤形态差异等情况下,模型在训练过程中对不同样本的预测质量存在差异的特性。本文针对多变微小病变区构建了预测结果质量评估模块,能够在训练过程中自动地对无标注数据预测结果进行评估,并利用该评估分数对样本进行加权,约束其对于损失函数的贡献,从而避免较差预测结果对模型训练的影响,从而以样本权重感知的半监督学习方式实现了数据高效的颅内动脉瘤分割。
4.颅内动脉瘤在CTA图像中的识别敏感度相对较低,为了提升深度学习模型在颅内动脉瘤分割任务上的性能,并且充分利用稀缺的临床数据,本文提出了一种基于局部上下文对齐的非配对多模态分割方法,该方法借助DSA对颅内动脉瘤有较高成像质量的特性辅助CTA进行分割,扩展了分割模型可用的数据范围,提升了基于CTA的颅内动脉瘤分割性能。为了提升非配对多模态图像特征信息融合,本文提出了多模态上下文对比学习策略,对非配对多模态的特征进行语义对齐,以非配对多模态学习的方式实现了数据高效的颅内动脉瘤分割。