斯坦福Shenoy团队：由循环神经网络实现的大脑控制摘要

到目前为止，脑机接口主要集中于控制单个载体，例如单个计算机光标或机械臂。恢复多肌运动可以为瘫痪患者解锁更大的功能（例如，双手运动）。然而，解码多个病媒的同时运动可能具有挑战性，因为我们最近发现一个组合神经解码连接了所有肢体的运动，并且在双病媒运动中发生非线性变化。在这里，我们演示了通过神经网络（NN）解码器对两个游标进行高质量的双手控制的可行性。通过模拟，我们发现神经网络利用神经“侧向性”维度来区分左右的运动，因为神经对双手的调整变得越来越相关。在训练循环神经网络（RNNs）时，我们开发了一种方法，通过在时间上扩张/压缩并重新排序来改变训练数据的时间结构，我们证明这有助于RNN成功地推广到在线设置。通过这种方法，我们证明了一个瘫痪患者可以同时控制两个计算机光标。我们的研究结果表明，神经网络解码器可能有利于多载体解码，只要它们被设计为转移到在线设置。

核心创新点：

研究人员通过训练递归神经网络来实现双光标控制，并开发了一种改变训练数据时序结构的方法，使网络能够成功推广到在线设置中。他们还强调了双手运动中关键的非线性来源，并使用仿真模拟来深入研究神经网络处理这些非线性的方式。

研究现状

皮层内脑机接口（iBCIs）旨在通过放置在皮层中的微电极解码来自大脑的运动信号，来恢复瘫痪患者的运动和交流。BCI的进步使运动和通信的功能恢复成为可能，包括机械臂控制，通过电刺激恢复瘫痪肢体，光标控制，将尝试的手写运动翻译为文本，以及解码语音。然而，BCI性能仍然有限的一个领域是多病媒控制。实现高质量，同时控制多个载体可以解锁新的应用，如控制全身外骨骼或双手机械臂。虽然最初有一些令人鼓舞的多载体控制演示，但性能尚未达到单载体BCI。

先前的研究表明，运动皮层对对侧和同侧运动都有贡献，并且神经调节在单肢和双肢运动之间发生非线性变化。更具体的是，在双运动过程中，我们发现一个载体（“主要”）的神经表征保持相对不变，而另一个载体（“次要”）的神经表征在其方向调整发生变化时被抑制。此外，对侧和同侧运动的运动方向也有显著的相关性。到目前为止，研究双手BCI控制的研究主要使用线性解码算法（例如，卡尔曼波动和回归），尽管神经活动和双手运动之间看似非线性关系。考虑到这些相关性和非线性的调优变化，可以帮助防止意想不到的运动从一个载体泄漏到另一个载体。

机器学习和人工智能的快速发展导致了一套令人印象深刻的神经网络模型，这些模型能够学习大量数据之间复杂的非线性关系。这种方法在广泛的应用中都取得了显著的成功，包括计算机视觉、自然语言处理和机器人技术。最近，神经网络的一个很有前途的应用是通过BCI建模和解码与运动相关的大脑活动，这具有提高BCI性能的潜力。在许多网络结构中，递归神经网络（RNNs）是BCIs的一种流行解码方法，因为RNN可以学习数据中的时间依赖性，这与动态系统的观点一致，即运动皮层的神经活动随着时间的推移以可预测的方式进化。然而，RNN通常需要大量的训练数据，并且可能会过度学习固定数据中的时间结构，而这可能不存在于在线数据中，这可能会降低它们作为实时BCI应用程序的解码器的效用。

在这里，我们证明了RNN可以利用神经解码中的非线性来完成同时进行的双光标控制。我们强调了双手运动背后的非线性的关键来源，并使用模拟来深入了解神经网络如何处理这些非线性。此外，我们还发现，根据刻板训练数据校准的RNN解码器获得了较高的性能（与之前的工作一致），但部分原因是过度学习任务的时间结构，导致用于BCI实时控制时性能较差。为了解决这个问题，我们改变了训练数据中的刻板结构，以引入时间和行为可变性，从而帮助RNN推广到在线设置。使用这种方法，我们演示了通过RNN解码实时同时双光标控制。

研究方法单手和双手定向手运动的非线性神经编码

图1 神经解码到单手和双手的运动

我们试图了解双手运动是如何表现的，包括激发RNN使用的非线性来源。我们在一个临床试验参与者（称为T5）中使用了左（主要中央前）中央前回把手区域的微电极记录来描述双手运动（双手试图同时移动）和单手运动（一只手单独移动）之间的神经调节是如何变化的。T5有C4脊髓损伤，颈部以下瘫痪；尝试运动导致手臂和腿部几乎没有运动。T5被要求试图移动他的手，就好像他们在控制操纵杆一样。

使用延迟运动任务（图1a），我们测量了T5对单和双手运动的神经调节。在这项任务中，两个光标被显示在一个监视器上，并自动移动到各自的目标位置。T5想象着他的手放在两个操纵杆上，并尝试了一些动作，就好像他用相关的操纵杆独立地控制着每个光标。我们观察到，在双手运动过程中，许多单个电极的神经峰值活动随运动方向的变化（图1b为电极响应的示例；解调电极的计数见补充图1c）。我们还观察到从非非环境到双环境的解调的非线性变化，包括解调抑制和方向变化（图1c）。在这里，“非线性”被认为是对我们打算解码的变量的线性调整：运动方向2的x和y分量。

这里，f是一个神经元的平均折射率，d项是右（drx，干）和左（dlx，dly）手速度的x方向和y方向分量，b项是相应的速度分量（b0是基线折射率）。解调角度的变化（“去相关”）和从单非运动到双运动的抑制解调幅度打破了线性，因为解调过程会根据运动上下文而变化。此外，方向无关的横向调整（即，编码身体的一侧，而不管运动方向）是另一个潜在的非线性的关键来源。为了清晰起见，图2a用示意图说明了这三种非线性现象（去相关、抑制和侧性解调）。

在双手运动过程中已经发现了调节去相关和同侧相关神经活动的抑制。我们用一组更丰富的连续方向运动再现了这些现象（图2b）。右手（主要手）定向运动的种群水平的调节强度相对保持不变（双手手抑制了12%），而双手手（次要手）的调节强度被抑制了34%。同样，右手的种群水平方向调整（图2c）保持相对不变（x方向和y方向的相关性分别为0.87和0.84），而左手方向调整的变化更大（x方向和y方向的相关性分别为0.42和0.45）。这些结果表明，当与右手同时运动时，对左手运动的神经解调表现出抑制和去相关性，而对右手运动的神经解调基本保持不变。

图2 双手运动背后的非线性神经代码

手部偏侧性的神经维度代码

同样与我们之前的工作一致，我们发现了一个显著的与侧性相关的神经维度（图2d），它编码移动手的身体一侧，独立于手的运动方向。我们对单手神经数据和双手神经数据都使用了主成分分析（PCA）来可视化顶级主成分（PCs）中的神经活动。一个维度出现在顶部的两台电脑内，明显分离右和左手的一次性运动。有趣的是，双手神经活动最接近于顶部PC的单手右手活动，进一步表明在对侧中央前回的双手运动中，右手比左手更明显。接下来，我们使用了分离的PCA48（dPCA），它将神经数据分解为一组维度，每个维度都可以解释与数据的一个边缘化相关的方差，以量化非正常运动数据中的侧性因子的大小。我们根据以下因素将数据进行边缘化：时间、横向、运动方向和横向-方向的交互作用。侧性边缘化包含最高的方差比例（39%边缘方差），表明侧性调整优于方向调整（30%边缘方差）。从解码的角度来看，侧性维度可以用于区分右手运动和左手运动。

总的来说，我们发现在控制双手运动的神经解码中存在很强的非线性，这表明神经网络可能特别适合解码多手运动。

神经网络利用横向信息来改进单随机解码

我们假设非线性神经解码器将使用侧性维度来识别和隔离哪只手（右或左）正在移动。相反，我们期望线性解码器将无法利用横向编码，因为它是独立于运动方向的。我们比较了一个简单的线性解码器和一个简单的密集连接的前馈神经网络（FFN），以评估每个解码器使用侧性信息进行单次运动解码的能力。选择这些基本解码器是为了消除在更复杂的解码器中存在的时间变化缺陷，如维纳频率解码器和递归神经网络，它们能够使用时间历史。因此，我们问了这样一个问题：哪个解码器能更好地预测编码在神经活动的单一时间箱中的运动？使用来自单一试验的数据，两个解码器被训练将一个时间箱（20 ms bin）的帧率输入特征转换为两个游标的x和y方向速度。图3a显示了双手异常运动的非解码x方向速度的示例片段。Te FFN在预测左手的速度幅度方面优于LD（图3b），这与之前的结果一致，表明同侧表征一般弱于对侧表征（左手较弱48%；见补充图1d）。图3b总结了非单手解码性能，其中FFN在所有运动维度上都优于LD，其中单手左手解码的性能提高最大。

图3 非线性解码器利用横向信息来解开载体

为了进一步了解解码器使用侧性信息的程度，我们ft并随后从神经数据中移除侧性维度。去除侧向维度并不影响LD的解码性能；然而，它确实导致了FFN的所有运动维度的性能下降（图3b）。一般来说，FFN的解码性能降低到与LD性能相似的水平，尽管FFN的左手解码仍然优于LD。此外，FFN能够更好地将运动解码分离到主动移动的手，我们用图3c中的光标“抖动”进行了量化。平均而言，FFN在减少右光标移动时的左光标抖动方面优于LD，反之亦然。去除横向维度会导致FFN的光标抖动的增加。Te LD经历了相当大的左光标抖动，而右边的光标是活动的，去除横向维度并没有改变LD的光标抖动的程度。为了更深入地了解侧性信息在解码非正常运动中的作用，我们使用高斯噪声模拟了非正常神经活动。我们改变手之间的方向调整相关性，改变横向维度的大小。图3d显示了模拟数据中FFD和FFN的解码性能。正如预期的那样，随着与手部运动相关的神经活动变得更加相关，无论侧性维度的规模如何。相反，当侧向维度非常大时，FFN能够获得较高的解码性能，而不管与手运动相关的神经活动有多相关。此外，我们发现LD无法使用侧性信息来保持非活动的光标静止，并且随着神经活动变得越来越相关，光标抖动增加（图3e）。当Te FFNs使用侧性信息足够显著时，就使用它来解开光标，从而减少光标抖动，无论手的相关性如何。

RNN过度学习固定数据的时间结构，并产生过度刻板的在线行为

接下来，我们使用了一个简单的RNN架构（单层，512个门控循环单元）——类似于我们最近关于解码尝试手写的报告中使用的神经网络模型——来解码神经活动中的双手运动（图4a）。在RNN校准过程中，当T5尝试与屏幕上一个或两个光标移动时，记录神经活动。该任务的结构遵循延迟运动范式，即T5在延迟期间准备运动，在运动期间执行运动，然后在空闲状态下休息。高度刻板的时间结构（准备-移动-空闲）是典型的BCI校准任务，其中神经活动可以与推断的行为进行回归。Te RNN被训练将神经活动转换为(1) 左和右光标速度和(2)离散的运动背景信号，表示在每个时刻正在进行的运动类别（单左、单右、双手或无运动）。在闭环光标控制过程中，离散的上下文信号被用来控制输出光标的速度。通过引入反应时间和饱和速度曲线（图4b）来调整RNN训练的速度目标，以更好地接近参与者在远离目标时最大移动的意图。更具体的是，饱和速度曲线假设参与者从运动开始到非常接近目标都以最大速度移动，此时随着速度逐渐缩小到零，它们会减慢。

为了研究RNN的解码性，我们关注了单手运动的情况，它缓解了在双手运动过程中由于抑制左手表征而产生的解码挑战。在开环单手动作上训练的RNN对双手都获得了较高的自由度解码性能（图4d: 右手和左手的平均相关性分别为0.9和0.83）。然而，当用于在线控制时，这些RNN产生了类似脉冲的运动，重现了用于目标训练的速度轮廓，使用户难以执行闭环错误修正（图4e）。为了能够顺利地纠正在线控制过程中不可避免的错误，T5必须反复尝试动作——模仿准备-移动-空闲的行为——才能成功地获得目标。在这种情况下，对保留的测试数据进行的online RNN解码产生了虚假的高性能，但这并没有转化为较高的在线性能。

图4 在训练数据中的压裂时间结构有助于RNN解码器推广到在线设置

破坏开环训练数据的刻板时间结构有助于RNN转移到在线控制

由于RNN解码器过度学习了刻板的准备-移动-空闲开环行为，我们假设在训练数据的时间和行为结构中引入可变性将有助于推广到闭环上下文。为了实现这一点，我们通过随机选择数据片段来改变训练数据（持续时间在200到800 ms之间），使用线性插值及时拉伸或压缩片段，然后关闭修改后的片段的顺序（图4c）。这种方法的目的是在不同的行为阶段（准备、移动和空闲）中混合不同大小的神经活动窗口，以使RNN解码器对在闭环控制期间发生的运动方向的快速变化更健壮。比较RNN训练时间改变数据（altRNN），训练的原始数据（rawRNN）如上一节所述，我们发现altRNN阻止学习开环任务结构，导致略差解码性能保留测试数据和噪声输出速度（图4d）。然而，altRNN导致了改进的闭环控制（见补充电影4）。Te解码的光标速度在本质上更连续，并且没有在开环任务中重现为光标规定的脉冲样速度轮廓（图4e）。

除了强制将RNN推广到具有较少刻板结构的数据外，这种数据更改技术还允许合成数据生成，这也有助于防止在人类BCI研究中可以收集的有限数据量的溢出。总的来说，我们发现在训练数据中破坏时间和行为结构导致更连续的输出速度，这转化为更好的封闭环光标控制性能。

RNN解码器使在线同时控制两个游标

接下来，我们测试了使用时间改变的数据训练的RNN解码器是否可以同时促进对两个光标的实时神经控制。为了做到这一点，我们用RNN训练了在多个阶段收集的固定和在线单手和双手的动作。T5尝试了一系列的单手或双手动作来驱动两个光标到它们的预期目标。为了获得目标，游标必须同时在相应的目标内驻留500 ms。T5被要求尝试所有的双手试验（而不是一次一个光标的连续一次性运动）。T5在许多过程中成功地实现了双手控制，其中双手试验的获取时间（TTA）平均仅比单手试验的TTA略长（图5a）。在非普通试验中，右手试验和右手试验的平均TTA是相似的。

在在线控制过程中，T5指出，在双手上下文中按顺序移动游标，而不是同时移动它们，这是一种更直观的策略。为了进一步研究这一点，我们训练了两个独立的RNN，其中一个如上文提到的正常重新校准，另一个仅用单一的数据重新校准。平均而言，顺序使用的单手策略优于同时使用的双手策略（图5b）。有趣的是，顺序策略通常导致单右手和单右手试验之间的表现相同，这表明当仅仅在单动作上重新校准时，RNN更好地学会了区分手。

最后，我们比较了简单的线性解码器（包括矩阵乘法和指数平滑，相当于卡尔曼信号50）和同时进行双光标控制的RNN。在在线评估过程中优化线性解码器（LD）是模糊的，因为它通常需要手动调整参数，如输出增益51。为了与RNN进行最公平的比较，我们测试了LD和RNN的输出增益标量范围。我们发现，在所有测试的增益中，RNN的平均表现都优于LD（图5c）。事实上，由于无法将控制隔离到一个光标(即，一个光标的预期移动会无意中移动另一个，因此导致了大多数失败的试验。我们发现，当使用LD切割非活动光标时，T5能够获得单一目标，这表明双手控制的失败是由于LD无法分离左和右手控制。

图5 RNN解码器支持双光标控制，

并优于简单的线性解码器

结论

我们的结果表明，神经网络解码器可能特别适合解码多矢运动的问题，因为这是与这些运动相关的神经编码的非线性结构。我们表明，如果小心地训练它们能够成功地转移到在线控制，那么使用性能良好的循环神经网络同时控制两个游标是可能的。从这项工作中获得的见解可能有助于扩大BCI的范围，从单载体控制到更具挑战性的应用（例如，控制全身外骨骼），为瘫痪患者解锁更大的功能。在典型的训练数据上校准的递归神经网络解码器能够实现高离线性能，但在实时BCI控制方面效果不佳。

参考文献：

Brain control of bimanual movement enabled by recurrent neural networks