首页
学习
活动
专区
圈层
工具
发布

The Innovation Neurology | 基于打字任务的脑磁信号解码:非侵入式脑机接口离自然交流还有多远?

脑机接口逐渐能够把神经活动转化为文字和语音,但目前成熟的脑机接口系统大多依赖植入电极,这也带来了一定的风险。Brain2Qwerty的出现,为重新审视非侵入式交流型脑机接口的潜力与边界提供了契机。

导  读

如果一个人无法说话,也不能用手打字,他还能怎样表达自己的想法?脑机接口试图绕过受损的运动通路,把神经活动转化为文字或语音。近期,研究人员利用脑磁图和脑电图重建受试者键入的句子,为更安全的交流型脑机接口提供了新的技术路径。

图1 以语言为中心的脑机接口的几种技术路线及其临床转化限制

1

从神经活动到语言输出

语言不仅能传递信息,也承载着人的意愿、情感和社会参与。对于肌萎缩侧索硬化、脑卒中、闭锁综合征或严重瘫痪等患者,失去言语和运动能力可能意味着失去主动交流的途径。

近年来,侵入式脑机接口已经展示出较高性能。植入大脑的电极能够记录与尝试说话或手指运动有关的神经活动,并将其转换为文字或合成语音。不过,植入这类系统不仅需要开展神经外科手术,还要面对感染、出血、硬件故障以及长期信号稳定性等问题。因此,研究人员正在探索能否从头皮外部记录的脑信号中恢复语言信息。

2

Brain2Qwerty的新突破

Lévy等人提出的Brain2Qwerty采用脑磁图和脑电图记录健康熟练打字者的脑活动。实验中,受试者先短暂记忆屏幕上呈现的西班牙语句子,随后在QWERTY键盘上真实打字。模型从已知按键时刻附近的脑信号中提取特征,再结合句子级序列模型和字符语言模型重建输入内容。

使用传统SQUID脑磁图时,模型的平均字符错误率约为29%,表现最好的受试者约为18%;脑电图的平均字符错误率约为65%。这说明真实打字过程中产生的脑信号,确实包含可以用于句子重建的信息。需要注意的是,实际解码的内容是打字动作,而非语义或语音特征。

3

突破不等于临床可用

Brain2Qwerty仍然是一项离线概念验证。模型需要已知按键发生的时刻,而且必须等一次句子输入结束后才能产生完整结果,因此尚不能连续、实时地输出语言。研究也没有测试不发生实际手指运动的“尝试打字”或“想象打字”。

此外,模型主要在训练集外的句子上进行评估,而不是在完全未见过的受试者或独立记录时段上验证。模型还包含受试者特异的处理层,因此尚未证明可以直接迁移到新用户。实验使用的是306通道SQUID脑磁图系统,并没有采集或评估可穿戴OPM脑磁图数据。

4

不同技术路线各有取舍

侵入式脑机接口目前已经在少数植入设备的参与者中实现在线文字或语音输出,性能较高,但需要承担手术和长期植入的风险。非侵入式脑机接口安全性更高,脑电图更加便携,信号质量和开放式语言解码能力却仍然有限;传统脑磁图能够获得更高质量的信号,但设备庞大、价格昂贵,并依赖严格的磁屏蔽环境。

OPM脑磁图常被视为未来可穿戴脑磁测量的一种可能方案,但仍面临环境磁场补偿、传感器校准、运动伪影、系统复杂度和成本等挑战。目前还不能把它视为已经成熟的临床交流技术。

5

语言模型辅助输出

特别地,Lévy等人的研究借助语言模型提高了输出文本的可读性,并可纠正部分打字错误。然而,语言模型也可能将神经解码结果改写成“更像一句话”、却未必完全符合用户原意的内容。因此,未来使用语言模型的研究也应让用户能够拒绝、修改或确认最终输出。用于纠错和确认的时间,也应计入真实交流速度。

总结与展望

Brain2Qwerty表明,脑磁图能够从真实打字相关脑活动中离线重建句子,为安全性更高的交流型脑机接口提供了重要证据。但从健康受试者的提示性打字实验,到患者能够自主、连续和长期使用的交流系统,仍有明显距离。

未来研究也需要在目标患者中测试尝试或想象打字,验证模型能否跨用户、跨时段稳定工作,并采用净交流速度、误启动率、校准负担和用户控制权等临床相关指标。只有同时兼顾准确性、安全性、可部署性和表达自主权,脑机接口才可能真正成为患者日常交流的一部分。

责任编辑

郑建伟   The Innovation

  • 发表于:
  • 原文链接https://page.om.qq.com/page/O1H4Nb_LqweER6pbXXwl4Krg0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券