Nature子刊 | 清华大学研究团队联合提出一种基于视觉和听觉的耳内脑机接口

最近，与耳部相关的脑机接口因其多重优势而受到越来越多的关注。

近日，清华大学柔性电子技术实验室冯雪教授课题组与医学院高小榕教授课题组合作，在《Nature Communications》期刊上在线发表了题为“用于视觉和听觉脑机接口的入耳式共形生物电子器件”（Conformal in-ear bioelectronics for visual and auditory brain-computer interfaces）的研究成果。在该研究中，研究人员提出了一种耳内的柔性三维附壁攀爬神经电子器件，开展了基于稳态视觉诱发电位和鸡尾酒会效应的视觉及听觉脑机接口（BCI）研究，并提出了基于耳内生物电子学的耳内视觉和听觉脑机接口，命名为Spiral E，这是一种耳内式脑电图监测设备。耳内式脑电图监测以其独特的可穿戴性和离散性等优点而备受关注。

1、Spiral E的设计和概述

图1：入耳式脑机接口的设计

图a为螺旋仪入耳脑电图记录示意图。由于每个人的听道形状和大小不同，而且内部结构是曲折的，所以研究人员将Spiral E以压缩的临时形状(较小的螺旋形式)引入耳道(图1a左上角插入)。然后，通过施加由外电场产生的焦耳加热来触发形状改变，并导致Spiral E 膨胀成具有更大半径的预定螺旋形状(图1a的左下角插入部分)。为了使Spiral E 与耳道内壁形成紧密的接触，会将预定螺旋的半径设计得大于耳道半径。因此，Spiral E可以符合听道的形状，这种设计能有效地解决了用户耳道的多样性和复杂性。此外，在去除刺激并冷却至体温后，Spiral E在耳道内壁上保持自我支撑，从而达到适形贴合，保证了耳内脑电图（EEG）输入的稳定性和可靠性。

图b为螺旋仪与耳道内壁的适形图片。右上插图是医用内窥镜拍摄的照片。右下插图为螺旋仪从耳中取出后不规则的三维结构。

图c为 Spiral螺旋结构功能层的示意图。SpiralE的主要成分包括由电热驱动层(EAL)和EEG检测层(EEGDL)嵌入的双层形状记忆聚合物(SMPs)。

d中以暂时固定的形状(左图)螺旋，并以更大的半径恢复到永久形状以贴合耳道形状(右图)。

2、应用的难题和突破性技术

耳内脑电图监测必须解决耳道的几何复杂性和生理敏感性问题。耳道的形状是迂回的，并且因人而异。因此，为了形成紧密的电极-组织界面，电子元件必须具有可变形性和适应性。Spiral E可以在电热驱动下自适应地沿着听道扩展和螺旋，从而确保保形接触，同时避免对听道的过度约束。该设备以螺旋形状支撑在耳道上完成耳内EEG记录，而不是像以前的设备那样完全接触耳道内壁。这种策略进一步减少了设备与耳道的磨损和摩擦。

图2：Spiral E的体外验证与表征

a 利用电化学阻抗谱法(EIS)得到了电极在初始平坦状态、永久重构螺旋状态、临时螺旋状态和恢复螺旋状态下的阻抗谱。结果表明，在这四种状态下，所有通道的值变化不大

b 5个通道5次重复膨胀变形时的EIS测试结果，绘制了反复变形达到最终大螺旋状态的五个通道的阻抗值，验证了Spiral E的电化学稳定性。

图2c显示了Spiral E、耳塞和耳机在水滴声环境下的分贝值对比。由于Spiral E的中空性，即使在执行任务期间，外界的声音也能无损地实时传输到受试者的耳朵，这是基于耳机和耳塞的入耳式电子设备难以实现的。

3、Spiral E可基于视觉或听觉输入

研究人员构建SSVEP-BCI来证明所提出的SpiralE的优势。SSVEP是由特定频率的周期性视觉刺激引起的周期性神经反应。迄今为止，SSVEP-BCI是基于无创脑电图的最有效的通信通路，在增强人类的感觉、行动和认知能力方面具有广阔的应用前景。

图3：基于Spiral E的视觉脑机接口

图a和b：所有受试者在基频(0 =10Hz)及其基于所提出的螺旋的谐波处都表现出强烈的频率标记效应，从而验证耳内电极的有效性。

图c为耳内蒙太奇和枕部蒙太奇的信噪比分别用深色和浅色表示。结果表明，两个蒙太奇在SSVEP中存在显著的谐波差异，入耳式SSVEP相对于基频表现出更强的二次谐波。图d展示了 1例受试者耳内脑电信号、乳突脑电信号和枕部脑电信号的频谱比较。e为使用Spiral E的40靶点在线SSVEP-BCI示意图。f, g为9个目标离线SSVEP-BCI和40个目标在线SSVEP-BCI实验的准确率和ITR。

除了视觉脑机接口外，研究人员还通过在自然鸡尾酒会场景中使用所提出的Spiral E证明了听觉脑机接口的效率。

图4：基于Spiral E的鸡尾酒效应实验示意图(基于听觉输入)

a 被试被要求暗中关注同时呈现的两个听觉刺激中的一个(图4a)。

b刺激和包络提取。提取用于前向和后向建模的听觉特征作为起始包络线(图4b中黑色实线)，计算听觉谱图的总子带功率显著增加(图4b顶部)。

c鸡尾酒效应任务中出席和忽略发言者的时间响应函数。

d识别参与和忽略刺激的方法示意图。

e使用参与和忽略模型计算每个受试者的Pearson相关系数，被关注或被忽略的解码器在其对应的类中的相关系数明显大于其他解码器在组水平上的相关系数，表明了该方法的可行性。

f 5个被试的相关系数之差。结果显示，使用出席模型的每个受试者的相关系数(出席减去忽略)之差明显大于零，验证了Spiral E可以用于区分自然场景中的连续语音和出席流。

g基于头皮、耳内、外周和耳道信号的分类精度(n = 5)。仅使用基于Spiral E的信号时，一个部位的最高准确率可达到84%。因此必须承认被试在听觉敏锐度上存在变异性

4、总结

通过视觉和听觉脑机接口范例，研究人员证实了所提出的Spiral E可以实现可靠的脑电传感，从而支持可穿戴和离散的脑机接口控制。该脑机接口消除现有笨重设备的限制，并有效促进灵活可穿戴BCI系统的开发，增强功能和用户体验。因此可以展望所提出的基于螺旋的耳内脑机接口可以帮助在现实世界中对用户友好的生物医学工程和神经科学应用的发展。

清华大学马寅佶、高小榕、冯雪为该文章的共同通讯作者，清华大学航院博士后王宙恒和医学院博士生史楠林为共同第一作者。参与该工作的还有浙江大学、首都医科大学附属北京同仁医院等单位。该研究成果得到了国家自然科学基金项目的资助。

来源：

https://www.nature.com/articles/s41467-023-39814-6