关键词:
脑-机接口
变异性问题
深度学习
运动想象
稳态视觉诱发电位
摘要:
脑-机接口(Brain-Computer Interface,BCI)通过将思维活动转化为控制指令,可以提供一种更加自然的交互方式。BCI历经几十年的发展,正逐步从实验室走向商业化,有望引发下一代人-机交互技术变革。然而,脑电非稳态特性及个体间差异性导致的BCI变异性问题直接阻碍了BCI的商业化,因此亟需研究能够克服BCI变异性问题的方法。近年来,深度学习在BCI解码方面显示出独特的优势,但将深度学习引入BCI实际应用还需解决深度学习在不同场景下的泛化性问题。为此,本文围绕深度学习在BCI上的泛化性问题,从问题研究、算法优化及平台验证三个方面开展了深入研究。首先,针对深度学习在BCI上的泛化性问题,在多个运动想象(Motor Imagery,MI)和稳态视觉诱发电位(Steady-State Visual Evoked Potential,SSVEP)数据集上开展系统性的算法分析实验。分析了深度学习在个体内识别场景、跨个体识别场景以及跨数据集识别场景下的解码性能,发现单一数据集内泛化能力良好的深度学习模型在跨数据集识别时不能维持其泛化性能,即BCI中存在跨数据集变异性问题。跨数据集验证方式更符合实际场景下BCI应用所面临的复杂多变因素,因此更适合作为衡量BCI解码算法泛化性能的首选验证方式。该项研究也针对各范式信号特点分析了可能造成跨数据集变异性问题的主要因素,从而为后续算法优化提供可能的改进方向。后续工作分别针对MI解码任务和SSVEP解码任务展开算法优化实验。针对MI解码任务,基于减小数据分布差异的基本思想,从协变量漂移、内部协变量漂移两个方面分别设计优化策略,提出一套适用于MI解码任务的深度学习模型迁移框架,并在8个MI数据集上开展算法实验,结果表明该框架显著提高了深度学习模型在MI解码任务上的跨数据集识别泛化能力(p<0.001),相较于基准算法跨数据集识别正确率最高可提升约7.7%。针对SSVEP解码任务,结合SSVEP信号特点,基于模板匹配的基本思想,设计了固定模板网络和动态模板网络两种新的深度学习模型,并在3个SSVEP数据集上开展算法实验,结果表明两种深度学习模型在个体内和跨个体识别场景下均显著优于基准算法(p<0.001),BETA数据集0.5s时个体内平均识别正确率最高可提升约8.8%。最后,针对研究过程中面临的数据收集困难和算法实现缺失的现状,研制了一套基于Python的BCI解码算法开发平台,设计了BCI数据集读取处理框架,实现数据读取和预处理流程的自动化;统一了BCI解码算法调用接口,实现了主要的BCI解码算法。在数据集方面,该平台现可处理14个公开数据集。在解码算法方面,该平台现已实现了28种矩阵分解算法、6种黎曼几何算法、6类深度学习模型以及3种迁移学习算法。基于该平台采集BCI实验数据并开展系统验证,结果表明相关设计能较为有效的开展BCI解码算法研究,该平台作为基础研究工具有望为进一步研究跨数据集变异性问题提供技术支撑。综上所述,本文在多数据集上开展深度学习对于BCI解码任务的泛化性实验,系统分析BCI中的跨数据集变异性问题,分别对MI解码任务和SSVEP解码任务展开算法优化,探索深度学习模型克服BCI变异性问题的可行性,并针对研究过程中的相关难点研制出一套BCI解码算法开发平台。本文的相关成果有望为未来进一步提升深度学习模型泛化性能、推动BCI应用商业落地提供经验积累和技术储备。