关键词:
脑-机接口
运动想像
深度迁移学习
多源域适应
数据对齐
摘要:
脑卒中严重威胁着人类健康和生命安全,特别是中国脑卒中年发病率显著高于世界卒中总体年发病率,卒中幸存者高达1300万,约四分之三饱受肢体运动障碍的痛苦,并给家庭和国家带来沉重负担。我国的脑计划于2016年正式启动,2021年在“十四五”规划纲要中进一步将脑科学、人工智能等前沿领域交叉融合作为国家重大科技战略,以提升脑重大疾病的诊治水平。因此,研究智能、高效的运动神经康复方法具有重要理论意义和应用前景。
基于运动想像脑电(MI-EEG)的脑机接口技术,在运动神经康复中展现出特有的先进性、有效性和脑机交互性,而MI-EEG的精准识别是关键。利用深度学习技术识别MI-EEG,可避免或减少特征工程和人为因素的影响,却面临着MI-EEG数据量小、模型训练不充分的困境。与迁移学习相结合使“借用”数据或模型成为可能,然而,各人拥有其独特的大脑解剖结构、功能与神经活动模式,MI-EEG存在明显的个体差异性,且随运动想像任务的改变及时间的推移而变化,从而削弱了基于深度迁移学习的识别方法的自适应性和泛化能力。为此,本文将基于数据对齐、域适应、知识蒸馏及优化等技术,从单源域到多源域,重点深入研究跨受试者、跨任务甚至跨数据集等情景的MI-EEG深度迁移学习方法,以提升深度神经网络模型的迁移效果。
论文取得主要研究成果如下:
(1)基于相关距离的源域优化及模块化参数迁移方法
为改善单源域参数迁移效果,提出一种基于相关距离的源域优化及模块化参数迁移方法。首先,基于皮尔逊相关距离法优化源域数据,并经短时傅里叶变换获得时频谱图;然后,设计一种简化的浅层VGG-16卷积神经网络,并采用源域时频谱图进行模型训练;进而,利用模块化的冻结-微调迁移策略完成模型参数迁移与微调。基于两个公共数据集进行相同MI任务跨数据集迁移学习实验,9名目标受试者的平均10折交叉验证识别率和Kappa值分别为94.79%和0.8980。结果表明:类间距较大的优质源域有益于改善源模型性能,而模块化的冻结-微调策略能够快速自动找寻并冻结源模型中贡献最大的模块,提升模型迁移效果的同时,有效减少了目标模型的训练时间。
(2)基于双对齐的多源域适应方法
为减少多源迁移学习中域偏移的影响,提出一种基于双对齐的多源域适应方法(DAMSDA)。首先,基于连续小波变换对多导联MI-EEG信号进行时频分析,并将对应0-32 Hz频段的时频谱图拼接,构成多源域和目标域;然后,利用预训练的Res Net50网络寻找目标域的决策边界,并计算每个源域样本与目标域信息样本间的归一化互信息,用于源样本加权对齐;进而,设计一个嵌入最大均值差异(MMD)损失的多分支深度网络(MBDN),将每个源域-目标域对在再生核希尔伯特空间进行特定特征分布对齐;最后,将每个单分支网络的分类精度降序排列,并用于MBDN的加权预测,以自动确定最佳源域数量。基于三个公共数据集进行相同MI任务的迁移学习实验,跨受试者迁移的二分类和四分类识别率分别为92.56%和69.45%,跨数据集迁移的二分类识别率为89.57%。结果表明:基于样本和特征的两次对齐极大地增强了每个源域-目标域对的同类MI任务特征分布的相似性,且MBDN的加权预测能自适应地匹配部分源域,进一步提升对域偏移的应对能力,基于Kappa值及t检验等统计分析均显示了DAMSDAF的优越性。
(3)基于中心对齐和加权对抗学习的部分域适应方法
为减轻多源部分迁移学习中离群源类的负迁移,提出一种基于中心对齐和加权对抗学习的部分域适应方法。首先,基于小波包变换对每导MI-EEG进行信号增广和特征增强;然后,基于黎曼流形将所有源域和目标域数据分别进行中心对齐;进而,设计一个加权选择性对抗网络(WSAN),将目标域生成的“软标签”同时用于MMD、域判别器组及分类器损失函数的类级加权;最后,基于粒子群优化算法优化网络损失参数。基于两个公共数据集进行部分迁移学习实验,从四类到二类、三类及从三类到二类跨受试者迁移的平均识别率分别为79.64%、73.58%和84.32%,从四类到二类和从三类到二类跨数据集迁移的平均识别率分别为87.25%和91.87%。结果表明:在黎曼中心对齐减少受试者差异后,WSAN的选择性对抗学习和损失参数的优化,进一步提高了源域和目标域同类别特征分布的一致性,实现了同类别正迁移的增强和离群源类负迁移的削弱,并通过统计性检验。
(4)基于两级对齐和知识蒸馏的跨类别迁移学习方法
为应对多源域和目标域间跨类别数据分布差异,提出一种基于两级对齐和知识蒸馏的跨类别迁移学习方法(CTL)。首先,利用围绕中心点的快速划分算法分别获取源域和目标域每个类的中心样本,构造中心对齐矩阵,对任一可能的类到类的迁移对应(CCTC)进行一级域对齐;然后,利用欧氏对齐对每个源域完成二级受试者对齐;进而,将目标