脑机接口中结合脑电和脑磁图信号来提高运动想象分类

微信搜索《脑机掌门》，实时关注文章发布！

分享一篇2019年发表于INTERNATIONAL JOURNAL OF NEURAL SYSTEMS（计算机科学大区1区TOP）的Integrating EEG and MEG Signals to Improve Motor Imagery Classification in Brain-Computer Interface

​

摘要：我们采用了一种融合方法，该方法融合了同时记录的脑电图（EEG）和脑磁图（MEG）信号的功能，以改善基于运动想象的脑机接口（BCI）的分类性能。我们将我们的方法应用于一组15名健康受试者，发现与α和β谱带中的标准单模态方法相比，分类性能显著提高。综上所述，我们的发现证明了将多模式方法视为改善无创BCI的补充工具。

1.  前言

脑机接口(BCI)利用受试者通过有意识的精神努力来调节他们的大脑活动的能力，如运动想象(Motor Imagery，MI)。BCIs越来越多地用于控制和通信，以及神经系统疾病的治疗。尽管它们的社会和临床影响，许多工程挑战仍然存在，从控制特征的优化到识别最佳的心理策略，以编码用户的意图。此外，15%到30%的用户受到一种被称为“脑机接口盲”的现象影响，这种现象包括即使在几次培训之后也不能正确地控制脑机接口。

脑机接口中尤其关注基于MI的脑机接口，因为产生可区分的大脑活动模式具有固有的困难。这些挑战严重影响了基于MI的脑机接口的可用性，促使人们对与MI相关的机制有了更深入的理解，也促使人们研究新的特征，以提高健康受试者和患者的脑机接口性能。在后一种情况下，混合和多模态方法分别加入不同类型的生物信号和神经成像数据已被证明可以提高整体性能，如近红外光谱(NIRS)和功能磁共振成像(fMRI)。

在这里，我们考虑脑磁图(MEG)，它在源深度和电导率敏感性方面具有互补的信息，但也有径向/切向偶极子检测。虽然先前的研究已经证明了基于脑磁图活动的BCI和神经反馈的可行性，但与脑电图(EEG)信号结合的潜在好处尚未得到充分的探索。

事实上，基于光泵磁强计的便携式磁强传感器的发展，这种集成可能会产生实际的影响。为了解决这一知识缺口，我们考虑了一组健康受试者在基于MI的脑机接口任务中同时记录高密度脑电图和脑磁图信号。然后，我们提出了一种匹配分数融合方法来测试与脑机接口性能相关的MI分类能力的提高。

2.  材料与方法

2.1 同时记录E/MEG

15名健康受试者(年龄为28.13 ±4.10岁，7名女性)，均为右利手。没有人出现医学或心理障碍。根据《赫尔辛基宣言》，在对研究进行解释后，获得受试者的书面知情同意，并得到巴黎伦理委员会的批准。所有参与者在参与结束时都得到了经济补偿。使用Elekta Neuromag TRIUXR机器(包括204个平面梯度仪和102个磁力计)和74个EEG通道系统分别同时记录脑磁图和脑电图数据。头皮上的脑电图电极位置遵循10-10蒙太奇标准。

脑电图信号参考乳突信号，接地电极位于左肩胛骨，阻抗保持在20 k以下。平均而言，受试者准备时间为1.5小时(即解释方案、放置电极、记录脑电图传感器位置和检查阻抗)。M/EEG数据在磁屏蔽室进行记录，采样频率为1 kHz，带宽为0.01-300 Hz。受试者坐在屏幕前，距离为90厘米。为了保证双手位置的稳定，受试者将手臂置于舒适的支撑物上，手掌朝上。同时记录了受试者左右手臂的肌电信号。生物工程师专家肉眼检查了肌电图活动，以确保受试者在记录过程中没有移动他们的前臂。我们通过Fieldtrip缓存器将脑电图信号传输到BCI2000 toolbox46进行脑机接口会话。

2.2 BCI协议

我们使用了一维的、有两个目标的、右对齐的方块任务，在这个任务中，受试者必须执行一个持续的右手抓取动作来击中向上的目标，同时保持静止来击中向下的目标。每次测试都有向上和向下目标的测试，包括屏幕右侧显示的灰色垂直条形图，在测试中均匀随机分布。

实验分为两个阶段：

(i)训练:训练阶段包括连续五次跑步，没有任何反馈。在给定的试验中，第一秒对应于刺激间期(ISI)，即向受试者呈现黑屏。目标在随后的5秒(从1秒到6秒)出现并持续在屏幕上。在这段时间内，受试者必须执行指示的智力任务。

(ii)测试:测试阶段包括六次运行和一个视觉反馈。在一个给定的试验中，第一秒对应ISI，而目标在随后的五秒中以与训练阶段相同的方式呈现。在最后三秒(从3秒到6秒)，受试者收到一个视觉反馈来控制一个由光标(这里是一个球)组成的对象，光标从屏幕的左中间部分开始，以固定的速度移动到屏幕的右部分。这给了一个固定的通信速率为每分钟20个命令。只有垂直位置是由受试者的大脑活动控制的，每28毫秒更新一次。其目的是根据指导的心理任务用球击中目标，即向上目标的进行运动想象;向下目标的进行休息。

2.3. 信号处理与特征提取

我们考虑了脑电图和脑磁图的活动，后者由磁强计(MAG)和梯度仪(GRAD)信号组成，鉴于它们的物理性质，可以分别处理。

首先，利用MaxFilter (Elekta Neuromag)对脑磁图活动进行时域信号空间分离(tSSS)，去除环境噪声。所有信号下行采样至250hz，并将其分割成与目标周期相对应的5秒周期。为了模拟在线场景，没有采用伪影去除方法。专家生物工程师目视检查记录的痕迹，以确保没有主要的伪影(如MEG跳跃，脑电图弹跳)存在。在验证之后，我们保留了所有可用的时代。我们为每个传感器计算了MI和rest期的功率谱，功率谱在4 Hz到40 Hz之间，频率bin分辨率为1 Hz。

为此，我们使用了基于离散的长椭球序列(Slepian sequences)的多锥度频率变换，通过Fieldtrip工具箱被认为是锥度。采用±0.5 hz的多锥形频谱平滑。在这一阶段，每个历元都用一个特征矩阵Mi来表征，Mi包含每一对传感器和频率库的功率谱值，其维数分别为74*36、102*36和204*36，对于i=EEG、MAG和GRAD。在训练阶段，我们采用半自动程序从矩阵Mi中提取最相关的特征。首先，我们关注运动对侧运动区域的传感器(见附录中的图A.1)。这样，EEG、MAG和GRAD的特征矩阵大小分别为8*36、11*36和22*36。其次，对于每个选定的传感器和频率库，我们在MI的功率谱值和休息时刻之间进行了非参数的基于聚类的排列t检验。为此，我们设置了一个统计阈值，p < 0.05，多次比较的错误发现率校正，500个排列。

图a . 1  预选的脑电图和脑磁图传感器(左侧运动区)。

最后在标准频段b =θ(4-7 Hz)，α(8-13 Hz)，β(14-29 Hz)，γ(30-40 Hz)内提取出Nf最判别特征。这使我们能够识别，对于每一个模态i和频带b，在测试阶段使用的最佳(传感器，频率库)对来计算特征m。因此，最终用于分类的特征向量为：

其中Nf = 1，…10。根据我们在记录会话中使用的特征的实际数量(4到6之间)选择10的最大限制，符合类似基于MI的BCI和EEG蒙太奇相关的指南。

2.4. 分类、融合与性能评价

我们对Nf的每个值进行了单独的分类。由于特征数量相对较少，我们在基于线性判别分析(LDA)的分类中使用了五倍交叉验证。LDAs特别适合于两类基于MI的BCIs。为了整合来自不同模态的信息，我们采用了基于加权平均法的贝叶斯融合方法。与混合BCI系统类似，我们线性组合后验概率pi, pi由每个模态i的分类获得，以参数λi加权：

通过这种方式，将更高的权重分配给对数据进行最佳分类的模式(见图1)。

图1  给定频率库的分类器融合方法。变量pi和λi分别代表后验概率和与模态i相关的权重参数

为了评估分类器的性能，我们测量假阳性率和真阳性率计算值的接受者工作特征(ROC)曲线(AUC)下面积。AUC值通常在1/2(机会等级)和1(完美分类)之间。我们分别根据每个单一模式(EEG、MAG和GRAD)获得的结果评估了我们的融合方法。此外，我们还测试了添加越来越多的重要特性的效果。

为了统计上比较结果，我们将相应的AUC值输入到基于非参数排列的ANOVA中，该方差包含两个因素:模式(EEG, MAG，梯度和融合)和特征(Nf = 1,2，…, 10)。p < 0.05的统计阈值和5000个排列被固定。最后，我们使用Tukey Kramer方法进行了统计学阈值p < 0.05的事后分析。该分析使用标准MATLAB和EEGLAB工具箱中可用的例程进行。

3. 结果

图2显示了总平均时间频率的地图与事件相关的去/同步(ERD/S)计算的MI试验测试阶段

, Xtarget传感器的信号的时间频率能量目标段(1 - 6 S)和基础是相应的基线上能量(0 - 1岁)。在所有形式中,我们观察到显著变化的α(ERD 约等于−100%)和β频带(ERD 约等于−60%)。期ERDs开始出现在目标出现后(t = 1 s)，并在反馈阶段(t = 3-6 s)变得更强。与脑电信号相比，ERDs更倾向于出现在脑磁图信号的早期。

图2所示。ERD/S的广义平均时频图。顶部的面板展示了目标时间段内出现的视觉刺激。虚线标志着目标演示的开始和反馈阶段(见2.2节，测试阶段)。信号的时间频率分解通过4 Hz到40 Hz之间的Morlet小波获得，中心频率为1 Hz，通过头脑风暴工具箱的时间分辨率为3 s。正的ERD/S值表示增加的百分比(即神经活动同步)，而负的值表示减少的百分比(即神经活动去同步)。

图3说明了在训练阶段通过半自动程序为每个模式选择的候选特征。从脑磁图信号中获得的特征往往更集中于空间(手部主要运动区域周围)和频率(主要在α波段)。这一发现与β带ERDs较低的事实相一致(见图2)。

图3  选择空间和频率分布的特征进行分类在每个模态。在左侧，节点的颜色标识频带(蓝色代表α频带，红色代表β频带)。圆圈的大小与被测者的数量成正比，被测者将特定的传感器作为最佳特征。在右侧，直方图详细描述了每个频率库中最频繁选择的传感器出现的情况。

表1 跨模式的个人表现概述。用粗体表示的是某一科目获得的最佳AUCs。

图4 在15个受试者中，对于不同的模式(脑电图，MAG，梯度和融合)和不同数量的特征Nf在α波段的AUC分布，白色圆圈代表相关的中值。

融合提高分类性能

在所有频段，模态类型显著影响AUC值(方差分析，p < 10^-3)，而特征数量没有显著影响(p > 0.05)。融合方法获得的AUC值显著高于其他任何模式(Tukey Kramer后，p < 0.016)，除了θ-波段和γ波段，我们没有观察到脑电的显著改善。在α波段获得了最高的分类性能(图4)，对此，我们还报道了模态和特征数量之间的显著交互效应(方差分析，p = 0.0069)。在本例中，融合后的AUC值明显高于EEG、MAG和GRAD分别获得的AUC值(Tukey Kramer posthoc, p = 4.3* 10^-9, 3.9* 10^-7和0.012)。

为了评估每个主题的分类性能，我们考虑了每个模态的最优特征数Nf和与最高AUC相关的最佳频带。结果显示，在13名受试者中，与单一模式相比，融合获得更好的表现，AUC值为0.55至0.85，相对增量为1.3%至50.9%(平均12.8±6%)。只有3名受试者的融合效果相当(见表1)。

更具体地说，如果我们将融合效果与最佳单一模态的效果进行比较，平均改善幅度为4±3%。值得注意的是，当我们比较脑电融合时，该值为15±17%，脑电融合是脑机接口实验中最常用的模式。有趣的是，正如与参数λi相关的权重所示，不同模式对融合表现的贡献在受试者中具有很大的差异(见图5)。

图5  不同模式对个人绩效的贡献。饼图显示了通过融合方法为每个模态获得的λi值(以百分比表示)。

4. 结果

提高性能仍然是非侵入性脑机接口系统最具挑战性的问题之一。高分类性能将允许BCI的有效控制和对主题的反馈，这对建立最佳的用户机器交互至关重要。BCI的表现取决于几个人的和技术的因素，包括受试者产生可区分的大脑特征的能力，3以及信号处理和分类算法的鲁棒性。为此，我们记录了一组执行基于运动成像的脑机接口任务的健康受试者的同时脑电图和脑磁图信号。脑电图和脑磁图都表现出高时间分辨率，且与感觉运动相关的变化在文献中是众所周知的，因为它们在标准脑机接口应用中的效用。

值得注意的是，EEG和MEG信号密切相关，但它们对径向电流、切向电流、细胞外电流和细胞内电流的敏感性仍然不同。我们的融合方法可以同时利用这些互补性来更好地识别ERD机制，从而控制BCI。结果表明，在α-和β-波段(在更有限的方式下)获得了最好的AUCs，这与运动想象在α-和β-波段的振动相关联是一致的。

该融合方法表明,结合每个模式最重要的特点,在大多数主题,减少科目精神状态错误分类(见表1)。通过优化特性的选择在每一个个体,我们获得的平均分类相比提高12.8%单独的脑电图,杂志和研究生分类(表1),这为间接减少非侵入性BCIs的文盲现象提供了一种可行的选择。

在这项研究中，我们还探索了其他频段的特征，如γ波段(30-40 Hz)。然而，与α-和β-波段相比，得到的结果有边际的改善。虽然来自颅内记录或局部场电位的γ-活性通常与运动/感觉功能的启动有关，但γ-波段结果的缺乏可以部分解释为低信噪比和体积传导效应，这通常影响头皮脑电图和MEG活动。我们的方法的核心是自动加权每个模式的贡献，以努力优化性能。

这是一个重要的方面，因为特征的鉴别能力可能会突然改变，这取决于许多因素，如阻抗波动或伪影(例如孤立的脑电图电极弹出或脑磁图跳变)的存在。在这种情况下，我们的融合方法将考虑到这种瞬态波动，通过在分类中使用较低的权重λi来抑制受影响的模态。较慢的变化可能与个体精确控制BCI的能力增加有关。在这种情况下，我们的方法将逐步有利于时空特征的模式，更好地捕捉这些神经可塑性现象。

有趣的是,我们注意到一个高inter-subject可变性认为权重(图5),这可能与每个形态的能力来检测潜在的ERD的不同属性,进一步分析,可能在源空间,84需要阐明这方面和识别的神经生理学相关的变化。虽然平均AUC值相对较低，但我们注意到，它们在个体之间存在很大的变化(表1)，并且它们接近于在类似的实验设置中通常获得的值。此外，值得一提的是，受试者是bci幼稚型，并且没有应用预处理，目的是模拟真实生活场景。因此，虽然一个适当的预处理很可能提高精度在每个单一的模式，我们的目标是评估改善在最坏的条件。

最终，我们的15名受试者中有13人在分类器融合后表现出了改进。综上所述，这些结果证明了同时使用E/MEG信号提高脑机接口性能的潜在优势。通过使用一个相当简单的分类器(LDA)，我们可以在分类中包含较少的涉及运动相关神经机制的特定特征，如α和β波段的ERD。使用整个特征空间更复杂的方法,如支持向量machines85和黎曼几何,86以及替代融合策略,如增加、投票或堆放策略,55岁还在源空间,提高空间分辨率和识别分类的科目的时间频率特性,可以进一步评估在实际应用,利用他们的权力。

最后，重要的是要注意，我们通过分析以前记录的数据离线测试了我们的融合方法。为了评估在线应用的可行性，我们估计在500 ms的epoch中，当Nf = 5时，计算特征、进行分类和确定融合参数所需的时间大约为20 ms。这个值实际上与当前在线设置兼容，使用类似的时间窗口，每28毫秒更新一次反馈。

5. 结论

我们的研究结果表明，整合脑电图和脑磁图同步信号的信息可以提高脑机接口的性能。E/MEG多模态BCI可能会成为提高脑机交互可靠性的有效方法，但大部分进展将取决于MEG扫描仪的小型化，目前需要一个磁屏蔽室(MSR)和通过低温系统冷却的传感器。最近的努力提出了小型化和无低温磁振子传感器，并避免使用MSRs，这有望为提高磁振子的便携性和促进多模态BCI的发展提供实用的解决方案。