使用脑机接口从神经信号中重建单词

布朗大学(Brown University)的一个研究小组已经使用脑机接口技术从非人类灵长类动物大脑中记录了神经信号，并重建了英语单词。

研究人员表示，这项发表在《Nature Communications Biology》杂志上的研究，可能是朝着开发帮助听力受损的人的大脑植入的一步。

这项研究的作者之一，布朗大学工程学院(School of Engineering)教授Arto Nurmikko描述说，在该项研究中，研究人员所做的是记录灵长类动物听到的特定单词时，次级听觉皮层中神经兴奋的复杂模式。然后，研究人员使用该神经数据以高保真度重建这些单词的声音。目标是更好地了解声音是如何在灵长类动物的大脑中被处理的，这可能最终导致新型的神经修复术。

人类和灵长类动物在处理声音的最初过程中所涉及的大脑系统是相似的。第一级处理过程发生在初级听觉皮层，根据音调或音色[pitch or tone]等属性对声音进行分类。然后信号转移到次级听觉皮层，在那里进一步处理。例如，当人们在听口语时，声音就是通过音素(phonemes)来分类的——音素是使我们能够区分单词的最简单的特征。之后，信息被发送到大脑的其他部分进行处理，从而使人类能够理解语言。

由于人类和非人类灵长类动物对声音的早期处理是相似的，因此即使他们可能不理解这些词的含义，了解灵长类动物如何处理所听到的单词也是有用的。

在这项研究中，两个豌豆大小、带有96通道微电极阵列的植入物记录了神经元的活动，同时猕猴听单个英语单词和猕猴叫声的录音(如上图所示)。在这种情况下，猕猴听到相当简单的一个或两个音节的单词——"tree," "good," "north,""cricket" and "program"。下图为来自RPB阵列的神经数据。

RPB阵列的神经数据

其中(a)包含5个英文单词声音和1个猕猴叫声的梅尔谱图(128波段)。(b)在给定记录通道上的多单元尖峰活动的直方图。在所有图中，频谱图跃点大小为40 ms，发射速率窗口的窗口大小为10ms。

研究人员使用专门为识别与特定单词相关的神经模式而开发的计算机算法来处理这些神经记录。从那里，神经数据可以被转换为(可以理解为被翻译为，为什么可以理解为被翻译为，我们可以将识别特定单词相关的神经记录数据作为一种语言，语言是一种信息载体。对于语言，有人熟悉，也有人不熟悉，熟悉这门语言的人可以将语言所承载的信息翻译给不熟悉这门语言的人听)计算机生成的语音。最后，研究小组用多个指标来评估重建的语音与猕猴听到的原始语音的匹配程度。研究表明，记录下来的神经数据产生了高保真度的重建，听众可以清楚地看到这样的结果。

研究人员进行了大规模的神经解码网格搜索，以探索各种因素对从受试者的神经活动重建音频的影响。该网格搜索包括神经解码管道的所有步骤，包括音频表示、神经特征提取、特征/目标预处理和神经解码算法。他们共评估了12,779种独特的解码模式。下表列举了网格搜索评估的因素。另外，研究者通过描述在较大的音频数据集(17个英语单词)和单个音频样本(训练集中没有包含3个英语单词)上的性能来评估解码器的泛化能力。

特征预处理：

研究人员在STG中植入了两个带有MEA的NHP，并向受试者展示了六种记录的声音，并在云中的分布式集群上处理了神经和音频数据。具体的特征处理过程如下图。

研究人员Nurmikko表示，这是首次使用多电极阵列来记录这种复杂的听觉信息。“以前，工作人员用单个电极从次级听觉皮层收集数据的，但据我们所知，这是第一次多电极记录来自大脑的这个部分，我们有近200个microscopiclistening posts，它们可以为我们所需的丰富和更高分辨率的数据。”

博士生Jihun Lee领导了这项研究，其目的之一是测试任何特定的解码模型算法的性能是否优于其他算法。这项与计算神经科学专家威尔逊•特拉克罗(Wilson Truccolo)合作的研究表明，递归神经网络(RNNs)——一种经常用于计算机语言翻译的机器学习算法——能够生成最高保真度的重构。在从大脑其他部分解码神经数据方面，RNN明显优于更传统的算法，如下图所示。

研究者比较了解码算法在重构各种音频方面以及使用6种不同的性能指标生成可理解的音频方面的有效性。所有指标中，性能最高的算法是LSTM RNN(红色星号)，下图所示。

他们还评估了4种LSTM RNN神经解码模型的99种不同的带通滤波器，见下面性能热图。左图和右图分别显示了滤波器的最大和平均性能。我们可以看到，在使用500 – 600Hz的低截止频率和2000 – 3000Hz的高截止频率时，解码性能得到了改善。

网格搜索带通滤波器截止频率的性能热图

该研究的主要作者之一、布朗大学的研究助理ChristopherHeelan认为，神经网络的成功源于它们的灵活性，这在解码复杂的听觉信息方面非常重要。“更多用于神经解码的传统算法对大脑如何编码信息做出了强有力的假设，这限制了这些算法对神经数据建模的能力，神经网络的假设更弱，有更多的参数，使它们能够学习神经数据和实验任务之间的复杂关系。”

研究人员希望，这类研究最终能够帮助开发神经植入设备，从而帮助人们恢复听力。

Nurmikko表示:“最理想的设想是，我们开发出绕过大部分听觉器官直接进入大脑的系统。”“在这项研究中，我们用来记录神经活动的微电极也许有一天会被用来传送少量的电流，从而使人们感受到听到特定声音的感觉。”

论文信息：

Decoding speech from spike-based neural population recordings insecondary auditory cortex of non-human primates