虽然脑机接口(Brain-Computer Interface,BCI)被认为是一种变革性的新型人机交互,已经取得了长足的进展,但该技术的水平与实际应用之间还有较大的差距。为促进BCI转化为实际应用,已有研究提出在线评价BCI分类算法的金标准,然而少有文献针对整个在线BCI系统提出更全面的评价方法,并且尚没有受到BCI研发界广泛的足够重视。为此,本文首先阐述了从离线BCI数据分析建模到在线BCI系统构建和性能优化的飞跃,接着强调以用户为中心,详述和评述了在线BCI系统转化为实际应用的综合评价方法,包括在线BCI系统可用性评价(包括系统有效性和效率评价)、用户满意度评价(包括与BCI相关方面的满意度评价等)和使用情况评价(包括BCI系统与用户的匹配性评价等)。最后讨论了在线BCI系统可用性和用户满意度评价面临的挑战、BCI功效评价以及BCI与人工智能(Artificial Intelligence, AI)或/和虚拟现实(Virtual Reality, VR)等技术相结合提高BCI系统的智能和用户体验感。期望本文阐述的在线BCI系统评价方法促进BCI转化为实际应用。
关键词:在线 BCI 系统;BCI 系统可用性;BCI 系统用户满意度;BCI 系统使用情况;离线 BCI 数据分析建模
1、前言
脑机接口(Brain-Computer Interface,BCI)是一种颠覆传统人机交互的新技术,旨在绕过外周神经和肌肉系统直接在大脑与外部设备之间建立双向闭环交互的通道,以改善或进一步提高患者、残障人士和健康个体的生活质量和工作效率[1-4]。BCI是神经工程与康复工程的一种重要技术,具有潜在的医学应用。迄今为止,BCI的研发已经取得了许多的进展[5-7],但该技术的成熟度不高,尚处于发展的初级阶段,与实际应用之间还有较大的差距[8]。
为促进BCI转化为实际应用,已有研究提出在线评价BCI分类算法对新数据泛化能力的金标准[9-11],然而未对整个在线BCI系统提出更全面的评价方法。对于在线BCI系统,尽管分类精度和比特率是重要的评价指标[12],但更为重要的是建立能够让用户愉快使用的整个BCI系统,这些包含了提高BCI系统的可用性[13-18]和用户体验感[16]或满意度[15-26]。
从离线BCI数据分析建模到在线BCI原型系统,再从原型系统转化到实际应用的BCI产品是质的飞跃,如图1所示,在这些过程中,需要充分考虑BCI人因工程[27-28],以用户为中心设计和评价BCI系统[17, 18, 29-33],以进一步提高BCI系统的可用性和用户满意度。然而,BCI转化为实际应用的评价方法尚没有受到BCI研发界广泛的足够重视。为此,本文针对整个在线BCI系统,评述已有研究并详述更全面的评价方法,以促进BCI转化为实际应用。本文的目的不是解决BCI的某个具体问题,但我们认为除了需要解决BCI相关的关键科学和技术问题外,建议采用所提的综合评价方法评价在线BCI系统,需要表明BCI研究界到底要研发出什么样的BCI系统。
图1 BCI系统研发过程中的飞跃
本文的逻辑结构如下,第二部分为从离线BCI数据分析建模到在线BCI系统构建和性能优化的飞跃;第三部分为在线BCI系统转化为实际应用的综合评价方法,包括在线BCI系统可用性、满意度评价和使用情况评价,如图2所示。
图2 BCI转化为实际应用的综合评价方法示意图
除了以上部分外,第四部分为讨论,第五部分为结束语。在讨论部分,我们阐述了需要注意的一些方面。在BCI转化为实际应用时,无论是不同采集方式(如侵入式、半侵入式和非侵入式)的BCI,还是不同范式(如运动想象(Motor Imagery,MI)、稳态视觉诱发电位(Steady-State Visual Evoked Potentials, SSVEP)和P300等)的BCI,应根据需求和应用场景对其进行评价,具体的评价指标可能不一样。然而,为在线BCI系统建立评价方法不仅能够提供相对一致的方法来衡量和比较不同BCI系统的性能,还可能为研发团队提供明确的目标和方向。这种评价方法可以促进BCI技术的透明度和可比较性,从而加速技术的优化和改进。
2、从离线BCI数据分析建模到在线BCI系统构建和性能优化的飞跃
为了促进离线评估和比较可用 BCI 算法,从2001年至2008年BCI研究界组织了四届国际BCI数据竞赛(BCI data competition I~IV)[9, 34-36],虽然这些数据竞赛为BCI算法的改进提供了有用的建议,但这些竞赛属于离线BCI数据分析建模,其结果仍然需要在线闭环测试来验证有效性[9]。2009年设立BCI研究奖,2010年在中国清华大学举行首届现场在线BCI系统比赛,自此以后,在中国不间断的举行类似这样的比赛(如每年世界机器人大赛设立的基于BCI的脑控机器人比赛),以推进BCI系统向实际应用转化。
虽然离线评估可用于确定少量有前景的可选方案,但其最大的局限是无法在在线闭环操作中对不同算法提供实时反馈的不同影响进行评估[10-11]。通常离线BCI数据分析所建模型的性能与在线BCI系统闭环性能之间有很大的差异,需要将其提交给在线闭环测试,闭环测试结果会引起新的离线分析,新的离线分析结果会反过来引起新的在线研究,这种交替迭代可有效提高系统性能[10-11]。在线评估是金标准[9-11]。在BCI系统研发过程中,离线BCI数据分析建模(初始的BCI标定或校正,包括初步分析和参数优化)是在线BCI系统构建的必要步骤,但停留或止步于离线数据分析实现不了BCI的最终目标,需要实现从离线建模到在线系统构建和性能优化的飞跃,以把BCI转化为实际应用,满足最终BCI用户的需求。
2.1 离线BCI数据分析建模
离线BCI数据分析建模的目的是揭示BCI范式(外部刺激或心理任务)对应的脑信号特征(神经编码用户意图),建立并评价分类模型,为构建和优化在线BCI系统提供基础。
离线BCI数据分析建模主要包括:1)BCI范式设计。在特定脑信号采集技术下精心选择一组外部刺激或心理任务[37];2)原始脑信号采集。设置合适的采样率和电极等,在招募的受试者执行所设计的BCI范式期间采集脑信号并保存,用于后续的离线分析与建模;3)脑信号预处理。如滤波和伪迹剔除以提高信噪比;4)提取和选择对外部刺激或心理任务具有可分性好的时-频-空特征。在创新设计的BCI范式下,发现可分性更好的新特征;5)建立并优化基于机器学习或深度学习的意图解码模型。根据未来应用场景和所选的脑信号特征性质选择适当的模型结构很重要,通常判别模型输出离散指令,回归模型输出连续控制信号。例如,可选择线性判别分析、支持向量机、深度神经网络和线性回归等模型,然后把采集的脑信号数据划分为训练集、验证集或/和测试集,以有监督的学习训练模型并由交叉验证评价模型性能(如准确性和个体差异性等)。到目前为止,绝大多数的BCI解码模型主要依赖于有监督学习对模型参数化,与样本质量和数量有关。值得注意的是,在离线BCI数据分析建模时,为得到有效的模型,需要对每个环节进行优化。
虽然离线BCI数据分析建模可以充分利用离线分析的时间和计算资源进行复杂的数据处理、评估和比较算法,为构建和优化在线BCI系统性能提供方向,但Shenoy等人研究发现,许多因素,如电极移动和阻抗变化等技术性因素,疲劳、沮丧或动机、用户学习、在线操作中需要处理大量的视觉信息和自发性变化等用户因素会使离线BCI校准和在线BCI控制之间的数据统计特性发生变化(即脑信号非平稳性,如脑信号的均值和方差随时间变化),这种变化强调了在线闭环测试和优化的重要性[38]。除此而外,离线BCI数据通常是无神经反馈采集的,离线BCI数据分析所建的模型可能过拟合(过度学习)导致泛化性较差和性能不稳定[39]。然而,成功的模型对新数据的泛化能力是BCI的关键要求,因为其在线实际应用操作必须使用新数据,这些小样本的数据没有标签,可以采用半监督或无监督学习在线重新参数化离线BCI数据分析所建的模型[9]。
2.2 在线BCI系统构建和性能优化
在线BCI系统构建着重考虑工程实现,如脑信号数据的实时传输、实时处理(考虑BCI算法的计算量)和神经反馈的形式等。除此而外,更重要的是认识到实时闭环神经反馈调节用户脑信号与BCI算法的双边协同适应[40-43]是在线BCI系统构建和性能优化面临的最困难的挑战,也是与离线BCI数据分析建模(无神经反馈)的主要区别,如图3所示。
图3 需要优化和评价的整个在线BCI系统示意图[44]
在图3中,BCI算法分类结果或控制结果以神经反馈的形式作用于用户,会调节或影响BCI用户心理活动(如执行心理任务的策略),使其脑状态和脑信号特征发生变化,以期望维持或修正控制指令,这会使离线BCI数据分析建立的分类模型性能大幅度下降,甚至失效。为此,需要BCI算法随脑信号特征变化而调整参数[38, 41, 45],即成功的在线BCI操作需要两个自适应控制器的有效交互[9, 12, 40, 42-43, 46],其中一个自适应控制器或系统是用户的脑(中枢神经系统, Central Nervous System, CNS),另一个自适应控制器或系统是BCI算法(脑信号处理和解码算法)。特别需要注意的是,用户及其脑是整个在线BCI系统的关键组成部分。在图3中穿过用户大脑和BCI算法的箭头表示他们(双边)通过自适应来完善并维持用户意图和整个BCI统输出之间的相关性[9, 39, 42-43]。以上也是BCI神经功效学关注的用户中枢神经系统与BCI系统的交互作用。
在图3中,用户执行BCI范式(包括接受外部刺激、改变注意力和执行心理任务(如感知觉、认知和思维意图),以生成与用户意图相关的脑信号,通过操作性训练来掌握在线BCI操作的技能,以适应BCI算法[47],这涉及到BCI的可学习性和易用性。图3中反馈给BCI算法的信号,如实时脑信号特征、解码结果或指令、控制结果、机器视觉捕捉的BCI控制对象和场景等,这些信号可用于调整BCI算法,使其具有自适应能力(自适应的脑信号处理、特征提取和选择、模式分类算法),通常由系统后台在线机器学习定期更新BCI算法参数。
在优化在线BCI系统时,需要对其每个组成部分(如脑信号实时采集和传输、BCI范式优化设计、提高信噪比和特征选择等)进行优化,以提高整个系统的性能。从实验室在线BCI原型系统到实际应用产品的转化,应瞄准典型应用场景,按照表1和表2国际标准化组织 2010 年制定的以人为中心的设计原则和定义的系统开发生命周期中涉及的活动[17,31,48],以用户为中心设计和评价BCI系统[17, 31, 48],把用户纳入到BCI系统的研发中以优化系统性能。
如前所述,用户(其大脑)作为整个BCI系统的关键组成部分,这要求在评价和优化在线BCI系统(原型系统)时,需要将客观评价指标和用户主观评价量表 [27-28]相结合,以全面评价其可用性和用户满意度。
3、在线BCI系统转化为实际应用的综合评价方法
3.1 在线BCI系统可用性评价
目前,在线BCI原型系统与实际应用产品之间还存在较大差距,其可用性程度不高,阻碍了其转化为实际应用,尚需大幅提高。以用户为中心设计BCI的方法[27,29-33]将BCI可用性定义为该技术的特定最终用户能够在特定环境下使用特定BCI产品实现特定目标的程度[20,28-29,49-51]。BCI的可用性包括BCI有效性和BCI效率。
3.1.1 在线BCI系统有效性评价
产生离散输出的在线BCI系统有效性评价采用准确度(Accuracy, ACC),ACC是评价在线BCI系统最常用和关键的评价指标,用于度量其对用户意图识别的准确程度,其计算如式(1)所示,可在每个session后评价。
ACC = H/N (1)
式中H表示正确的试验次数,N表示总试验次数。
产生连续输出的在线BCI的性能可以采用连续度量进行评估,通常采用确定系数(R-square,r2),r2表示模型真实输出与正确输出之差(预测误差)的方差占输出总方差的比例,如式(2)所示[9]。
式中SSR表示预测数据与原始数据均值之差的平方和,SST表示原始数据和均值之差的平方和,SSE表示预测数据与原始数据对应点之差的平方和。
3.1.2在线BCI系统效率评价
在线BCI系统效率评价包括信息传输率(Information Transfer Rate,ITR)、效用度量和脑力负荷[29]。ITR是评价系统效率的一个重要指标,许多研究采用ITR评价系统效率,但脑力负荷的评价也很重要,如果用户使用系统的脑力负荷较大,会严重影响系统的可接受度和满意度。
(1)信息传输率
ITR是在线BCI系统评价的一个常用指标,指在单位时间(如一分钟)内系统传输的信息量,单位为Bits/min,其计算如式(3)所示[12],可在每个session后评价。
式中N表示目标数量,P表示准确率,T表示输出一个指令所需的时间。
在计算ITR时,关键是确定N、P和T三个参数。以在线同步BCI系统为例,N是已知的,P需要在线测试,测试次数会影响 P 的估计,T可能是固定的,目标切换时间会影响 T 的估计。在T不变的情况下,随着N的增加,P通常会下降[52]。
(2)效用度量
效用度量的一种方法是在线BCI系统的有效性或准确度小于50%,BCI的效率较低,没有实际效用,此时的ITR值没有意义,令ITR值为0;在准确度大于或等于50%时,ITR值才有实际意义,可在每个session后评价[13]。
效用度量的另一种方法是,考虑不同指令可能会带来不同的收益,将效用定义为一段时间内的期望平均收益(对用户而言),如式(4)所示 [53]
式中b(t)为收益函数,其取值为正负,取决于t时刻的选择是否符合(或违背)用户意图,T为输出一个指令所需的时间。
(3)脑力负荷
在线BCI系统中,用户既是产生控制信号(脑信号)的源(其中枢神经系统),也是使用该系统的操作者。用户在操控BCI系统时,其大脑需要承受一定量的认知和心理负荷,这种负荷量为脑力负荷。脑力负荷与多种因素有关,取决于BCI应用的性质、任务的复杂性以及用户的经验水平。令用户满意的BCI系统应该使用户承受较小的脑力负荷,以提高用户的体验感和满意度[27]。通常采用美国航空航天局任务负荷指数(NASA Task Load Index, NASA-TLX)量表来评估用户操控BCI的脑力负荷,如表3所示,可在每个session/任务后评价[14]。
3.2 在线BCI系统满意度评价
除了评价在线BCI系统的可用性外,还需要从最终用户的角度评价在线BCI系统的满意度。虽然一些研究评价了在线BCI系统的可用性[28, 55-56],但只有较少的研究评价了系统的满意度[28-29]。良好的系统满意度是以用户为中心设计BCI的最终目标,较低的系统满意度会严重影响BCI系统的应用推广,因此评价并提高在线BCI系统的满意度很重要。在线BCI系统的满意度评价主要包括评价辅助技术(Assistive Technology,AT)满意度的一般方面、与BCI相关方面的满意度、整体满意度和满意度随访[18,29]。
3.2.1 在线BCI系统AT满意度的一般方面评价
本质上BCI系统是一种新型的AT,允许用户利用其大脑信号直接与外设交互,以辅助提高其生活质量或工作效率。因此,需要评价在线BCI系统AT满意度的一般方面。AT的用户满意度用于评估用户对特定AT产品或服务的满意程度,一般在原型测试结束后采用Quebec User Evaluation of Satisfaction with Assistive Technology 2.0(QUEST 2.0)对其进行评价[19-20]。
3.2.2 与BCI相关方面的满意度评价
BCI相关方面的满意度评价主要从可靠性、可学习性、速度和美学设计这四项指标来反映用户的满意程度。在原型测试结束后,用户从“完全不满意”、“不太满意”、“或多或少满意”、“相当满意”到“非常满意”这五个程度评价这四项指标[21]。
(1)可靠性
BCI系统的可靠性是在规定的时间内、环境下,持续完成规定功能的能力,即系统无故障运行的概率,可采用平均失效率或平均故障间隔时间(Mean Time Between Failures, MTBF)来衡量。平均失效率是指工作到某一时刻尚未失效的BCI产品,在该时刻后,单位时间内发生失效的概率,以λ表示[27, 57-59],其计算如式(5)所示。
式中M表示工作时间内出现故障的产品数,N表示产品总数,Δt表示工作时间。平均故障间隔时间反映了BCI产品的时间质量,是体现产品在规定时间内保持功能的一种能力,其计算如式(6)所示,式中λ表示平均失效率[27, 57-59]。
BCI系统的可靠性受多种主要因素的影响,包括脑信号采集质量、脑信号处理算法、BCI系统的稳定性、系统校准的准确性、实时性、持久性、环境因素和用户因素等。目前,BCI系统的可靠性有待提高。以基于脑电图(Electroencephalogram,EEG)的BCI为例,在线BCI系统在实际应用场景面临的主要挑战或难点是EEG信号非常微弱(微伏级),极易受外界环境因素干扰。BCI研究通常是在结构化的受控实验室环境下开展,然而BCI系统的使用是在实验室外的各种应用场景中,在这些场景中,EEG信号极易受外界环境因素干扰,需要采用先进的技术降低干扰,确保系统的稳定性和可靠性[60]。为此,需要在各种应用场景中测试和评价在线BCI系统的稳定性和可靠性。
(2)可学习性
BCI系统的可学习性是指用户学会使用BCI系统所需时间的多少[50,61]。用户通常需要花一定的时间和训练量来学会使用BCI系统,若大部分用户能快速学会使用该系统,则表明该系统可学习性良好,反之系统可学习性较差。BCI系统的可学习性受多种因素的影响,包括系统的图形用户界面(Graphical User Interface,GUI)设计和神经反馈训练等。
(3)速度
BCI系统的速度通常指系统的响应时间,即系统从捕捉用户脑信号到系统执行特定操作或任务所需的时间[50]。BCI系统的速度包括数据采集、信号处理与分类、通信与控制以及神经反馈调节所需的时间。BCI系统的速度是一个重要的性能指标,尤其是在需要实时控制的应用时。与BCI系统速度相比,ITR衡量单位时间内传输的信息量[12]。
(4)美学设计
BCI系统的美学设计指开发BCI系统产品时,用户界面设计和产品外观设计(特别是采集脑信号的传感器外观)的美学因素[49, 62-63]。考虑到不同用户的美学喜好,BCI系统可能提供一些个性化选项,以允许用户自定义界面。BCI系统的美学设计会影响用户的接受度、舒适性、体验感和用户满意度。
除以上4个方面外,在线BCI系统所用的传感器在很大程度上决定了用户的体验感和可接受性。用户对BCI传感器满意度的评价非常重要,可从安全性、舒适度、美学性、易实用性和总体满意度5个方面进行评价,评分范围从最低等级(1分)到最高等级(5分),如表4所示[27-28]。
(5)BCI 用户体验感评价
BCI用户体验感是BCI用户满意度的一个重要方面。BCI用户体验感是用户使用BCI系统的切身感觉和经验。BCI与虚拟现实结合的康复训练系统、BCI控制的游戏等应用的用户体验感涉及沉浸感(用户参与和/或失去了时间轨迹的感知)、愉悦感、参与度和临场感(如在游戏中,用户体验则是多大程度“沉浸”在虚拟世界里)[64-66]。BCI用户体验感的评价有助于提高用户对BCI的接受度、提高系统的性能、增加愉悦感。可采用观测分析(观察和记录用户行为以提供客观定性的数据)、神经生理测量(记录用户操控BCI时的EEG信号、皮肤电反应和心电图等以提供客观定量的数据)、访谈法(提供主观定性的信息)和问卷调查(提供主观定量的信息)评价BCI用户体验感[67-69]。
上述在线BCI系统AT满意度的一般方面和与BCI相关方面的满意度评价可参考用户对辅助技术满意度评价表 Quest 2.0及其扩展表[50],如表5所示。表中1-12项分别对BCI系统的舒适度、尺寸、易用性、有效性、易安装调整性、安全性、服务质量、重量、可靠性、实时性(快速性)、易学习性和美学性进行评价,评价分为非常满意、满意、一般、不满意、非常不满意五个等级;表中13-16项可用于用户使用的最终BCI产品的评价指标,在BCI系统投入使用后进行评价[21, 27-29, 50]。
3.2.3 在线BCI系统整体满意度评价
上述BCI系统满意度评价表5项目较多且用时较长,不便在快速原型研发迭代过程中对不同用户试用BCI 原型完成不同任务(同一个BCI产品完成不同功能的任务)时评价满意度[27]。在线BCI系统整体满意度通常采用简单快速的视觉模拟量表(Visual Analog Scale, VAS)[2, 29]来评价用户对系统的使用情况,如表6所示,表中不同用户在操控BCI完成不同任务时的满意度范围从“不满意(1)”到“绝对满意(10)”,在每个session后进行评价[22-23]。
3.2.4 在线BCI系统满意度随访
在线BCI系统满意度随访评价是指与使用该系统的用户面谈,以了解他们使用BCI系统的满意度[1]。随访可在原型测试结束后或在BCI产品售后采用半结构式或自由的问卷进行[24, 29, 70]。
3.3 在线BCI系统使用情况评价
3.3.1 BCI系统与用户的匹配性评价
BCI系统(产品)与用户的匹配性评价可采用AT设备倾向性评估(Assistive Technology Device Predisposition Assessment ,ATD-PA)设备问卷-初始消费者和专业人士问卷[22],该评估是基于人与技术匹配模型(Matching Person and Technology Model,MPT)设计的调查问卷的一部分[29, 70] ,由12个项目组成,如表7所示[13, 71]。要求受访的一级用户(最终用户/消费者)和二级用户(专业人员,包括专业用户/AT专家/研究人员))对其考虑使用的BCI系统的倾向进行评分。
在表7中,使用1-5分的Likert量表进行评分,如果某项不适合,可选择填“0”,算术平均值为总分,最高分为 5.0,得分在 4.0 和 5.0 之间表示人与BCI系统匹配良好,低于 4.0 分表示匹配程度有待提高,如果某项得分在3分或以下,则存在不使用BCI系统的风险[13, 22, 29, 71]。
3.3.2 BCI总体可用性评价
BCI系统的总体可用性可在原型测试结束后采用系统可用性量表(System usability scale,SUS)评估[25-26]。SUS包含10个项目,对总体可用性进行全面的主观评估,每个项目评分范围0~100分,如表8所示,分数越高表示BCI系统总体可用性越好,70分被认为是可接受的最低分数[25, 72-73]。
3.3.3 在线BCI系统日常使用情况评价
BCI系统在日常生活中使用的最终证明是其实际使用情况[29],可通过随访特定BCI用户,对使用中的四个问题进行调查,如表9所示,所调查的四个问题是BCI技术转化为实际应用需要考虑的[1, 70, 74-75]。
4、讨论
对在线BCI系统的评价不同的研究者可能有不同的方法,我们认为除了评价分类准确率和比特率外,更需要综合评价在线BCI系统,包括评价用户满意度、使用情况和功效。
4.1 在线BCI系统可用性和用户满意度评价面临的挑战
在线BCI系统必须有BCI用户在环路中,其本质上是一个半自动化系统,其用户既是该系统实现通信和控制的信号发生源(用户的中枢神经系统),也是系统的使用者或操控者,用户与系统直接相连,这给评价系统的可用性和满意度带来了挑战。一方面要求用户产生BCI算法能够识别的脑信号特征,但如何确保用户产生这样的脑信号特征?这需要BCI研发者创新设计适合用户的BCI范式和神经编码[37]以及神经反馈调节方案(包括反馈合适的神经信号和呈现方式)。另一方面,用户通常需要学习掌握操控BCI的技能并从BCI获益(这涉及到BCI能够提供的功效评价)。
为此,需要针对特定最终用户在特定环境下使用特定BCI系统实现特定目标来进行评价[29],对本文所提评价指标侧重点有所不同,例如,一些BCI应用(如控制类应用[76-77])通常要求具有良好的准确性和实时性/及时性,另一些BCI应用(如主动康复训练[78-79])则可能要求吸引训练者的注意力并给予奖赏。如果BCI系统的目的是促进用户大脑的可塑性,则需要评价有关大脑区域连接性和功能改变。
4.2 BCI功效评价
除了评价在线BCI系统的可用性和用户满意度外,是否需要评价BCI的功效?BCI功效是指其能够提供给用户(包括患者)的功能/疗效,或者其所产生的作用或预期效果。BCI的功效主要有监测(监测大脑状态)、替代(取代因损伤或疾病而丧失的自然输出)、改善/恢复(改善某种疾病的症状或恢复某种功能)、增强(实现机能的提升和扩展)、补充(如增加脑控方式)。BCI 用于中枢神经系统相关疾病/障碍治疗或康复的功效评价方法仍然不规范,要求 BCI 临床转化研究者/生产商、临床医生和患者相互协作,客观地评价其医学应用的功效,避免为了利益主观评价或炒作[80]。临床上通常采用随机双盲对照方法,结合临床症状改善程度和临床相关检查或量表(包括医疗仪器测量的客观指标(如肌力和肌电测量等)和主观量表)评价BCI功效。例如,Biasiucci A 等人表明,BCI-功能电刺激(Functional Electrical Stimulation, FES)疗法通过对身体自然传出和传入通路的有条件激活,驱动显著的功能性恢复和有目的的可塑性[81]。在线BCI系统在不同应用领域中的适用性和效果需要不断研究和验证,以确定最佳应用场景。
4.3有哪些方法提高在线BCI系统的可用性和用户满意度?
除了在线BCI系统可用性和用户满意度评价方法外,有哪些方法可提高这两方面的指标?目前,在线BCI系统的可用性和用户满意度不高,其中一个原因可能是BCI系统的智能程度较低,本质上,BCI系统是由研发者事先精心选择/设计的一组外部刺激或心理任务(BCI范式)驱动的,用户在使用BCI时按照BCI范式操控BCI,用户不能随心所想,否则BCI系统难以识别其意图,目前BCI系统的用户体验感较差,脑机交互内容并不丰富,人机交互单调或枯燥。为此,需要把BCI与其他先进有效的技术相结合以进一步提高BCI可用性和用户满意度。
4.3.1 BCI与AI技术相结合
鉴于BCI的智能程度较低,可把其与AI技术相结合,以增加智能化元素。例如,可把先进有效的机器学习(如合适的深度学习)用于BCI系统中的脑信号分析和自适应机器学习,以提高解码精度和ITR[82-84],交流型BCI可与自然语言模型相结合以丰富交流内容,BCI系统可与计算机/机器视觉技术(构建的智能环境)相结合以提高用户与环境的智能交互性。图4示意了把AI引入BCI系统中以提高BCI智能[27-28, 80]。
图 4 把AI引入BCI系统中以提高BCI智能的示意图 [27-28, 80]
4.3.2 BCI与VR技术相结合
鉴于目前BCI系统的用户体验感较差,可把其与VR相结合,提高BCI系统的可操作性和交互体验感。VR技术有助于把内隐的心理任务可视化,使得用户对内隐的心理任务具有可控性,这特别有助于提高基于内隐心理任务BCI的用户体验感。例如,可通过VR技术生动形象的引导BCI用户提高执行运动想象的质量。
BCI还可与基于VR的游戏相结合,以提高用户的注意力并给予及时的奖赏,从而使BCI用户有效调节其脑活动和脑信号,促进其神经可塑性,提高使用BCI的沉浸感和趣味性(目前使用BCI的沉浸感和趣味性较差,体验感不高)。除此而外,VR可为BCI用户创建一个沉浸式的训练和操控环境,以提高BCI系统的可学习性,因此,将BCI与基于VR的模拟训练相结合,可有效提高BCI用户执行心理任务的依从性和趣味性,大幅提高基于BCI的康复训练效果。图5示意了把BCI系统与VR结合以提高用户体验感。
图 5 把BCI系统与VR结合以提高用户体验感的示意图
4.3.3 BCI与AI和VR同时结合
为同时提高BCI系统的智能性和用户体验感,可把BCI与AI和VR同时结合,以为用户操控BCI创建更智能和更丰富的交互场景。图6 示意了把BCI系统与AI和VR同时结合。
图6 把BCI系统与AI和VR同时结合的示意图
4.4 不同采集方式和不同范式的BCI在转化为实际应用时面临哪些障碍?
将侵入式、半侵入式和非侵入式三种BCI类型转化为实际应用面临许多共同的障碍:1)技术复杂性。BCI系统涉及到复杂的信号采集、处理和解码过程,需要高度精确且实时的技术支持。2)用户适应性。不同用户的大脑活动模式存在个体差异,使得BCI系统需要有很高的适应性和个性化设计。3)成本问题。无论是系统开发还是用户端的设备,高昂的成本都是推广应用的重要障碍之一。4)伦理和隐私。BCI技术涉及直接接入人脑活动,引发伦理和数据隐私保护的重要问题。
这三种BCI类型中的每一种针对的应用场景、实现方式和技术挑战各不相同,因而不同类型的BCI技术面临的障碍表现出显著的差异[3, 85]。侵入式BCI面临的独特障碍:1)手术风险。侵入式BCI需要通过外科手术将电极植入大脑,存在感染、出血等风险。2)长期稳定性。植入的电极可能随时间引起组织反应,影响信号的稳定性。3)生物兼容性。长期植入物的生物兼容性是一大挑战,需要材料在生物体内具有良好的稳定性和安全性。半侵入式BCI面临的独特障碍:1)信号质量与安全性平衡。半侵入式BCI虽然减少了侵入式手术的风险,但信号质量通常不如完全侵入式BCI,且仍需关注植入部位的长期安全性。2)技术集成。半侵入式BCI需要在信号采集效率和用户舒适度之间找到平衡,技术集成的难度较大。非侵入式BCI面临的独特障碍:1)信号采集限制。由于信号需要穿过头皮和颅骨,非侵入式BCI获得的信号较弱,且更容易受到外界干扰。2)设备便携性与舒适性。虽然无需手术,但长时间佩戴非侵入式BCI设备的舒适度和便携性是用户接受度的关键。3)实时性与准确性。非侵入式BCI在实现高实时性和高准确性解码方面面临更大挑战。
以上这些障碍在个体之间具有特异性,这些障碍可以归结为风险与收益的权衡,BCI转化为实际应用的目标是收益大于风险,或利大于弊。需要认识到任何技术可能都有风险和不利的一面,但只要利大于弊,可以考虑采用BCI技术,而不必过于追求完美的BCI技术,对其吹毛求疵。例如,处于完全锁闭状态的绝症患者可能愿意接受脑部手术,即使BCI提供的益处很少或只是暂时的,这类患者可能难以有别的技术可以替代BCI实现与外部世界的交流,BCI或许是唯一的手段。相反,颈部以下瘫痪的人可能不愿接受脑部手术,除非BCI能恢复的功能与他们通过残余运动控制(吸吮管控制、眼球跟踪、语音识别等)能达到的相当。总的来说,当前的BCI在可靠性和精确性上都不及残余控制,但机器学习或深度学习以及大规模记录的进步可能很快能弥补这一差距。对于非侵入式BCI,风险最小,但相对较低的性能可能会让许多应用望而却步。
其次,在将BCI技术转化为实际应用时,不同范式(如MI、SSVEP、P300)面临一些共同的障碍,同时也存在各自特有的挑战[3, 86]。共同障碍有:1)用户训练需求。大多数BCI系统需要用户经过一段时间的训练才能有效使用,这限制了其即时可用性和广泛采纳。2)系统准确性和稳定性。提高BCI系统的准确性和稳定性是一个普遍挑战,尤其是在动态和多变的现实世界环境中。3)设备便携性和舒适度。对于长时间佩戴和日常使用而言,当前的BCI设备往往显得笨重且不舒适。4)信号处理和解码。实时、高效的信号处理和解码算法是提高BCI系统性能的关键,但目前还存在挑战。5)个体差异。不同用户之间的大脑信号存在显著差异,这要求BCI系统具备高度的个性化能力。
不同范式的BCI面临各自特有的障碍。例如, MI-BCI面临的特有的障碍有:1)用户训练难度。MI-BCI通常要求较高的用户训练和集中注意力,一些用户可能难以生成清晰的MI信号。2)脑信号可检测性。MI产生的脑信号相对较弱,且容易受到非任务相关脑活动的干扰。SSVEP-BCI面临的特有的障碍有:1)视觉疲劳。长时间注视闪烁刺激可能导致用户的视觉疲劳,影响使用体验和系统性能,即使是无闪SSVEP-BCI[87]。2)外部设备依赖性。SSVEP-BCI依赖于特定频率的视觉刺激,需要外部设备如LED或显示器产生这些刺激,即使是采用虚拟现实头盔提供刺激[88]。P300- BCI面临的特有的障碍有:1)事件相关电位的可变性。P300波的可变性和信噪比较低可能影响系统的准确率。2)选择集的大小限制。为了保持高准确率,P300-BCI的选择集(如拼写器的字母表)往往受限,这限制了信息传输速率。
为解决以上这些障碍,需要跨学科的合作研究,包括神经科学、材料科学、电子工程、计算机科学、伦理学等多个领域的共同努力。
5、结束语
为促进BCI转化为实际应用,本文针对整个在线BCI系统,评述已有研究并详述了其可用性和用户满意度评价方法,包括从离线BCI数据分析建模到在线BCI系统构建和性能优化和在线BCI系统转化为实际应用的综合评价方法(包括在线BCI系统可用性评价、用户满意度评价和使用情况评价)。最后强调需要针对特定最终用户(以用户为中心)在特定环境下使用特定BCI系统实现特定目标评价BCI功效,需要把BCI与AI或/和VR等先进有效的技术相结合以提高BCI系统的智能和用户体验感。期望本文对BCI的发展具有一定的作用。
参考文献
[1] Ramsey N F, Millán J R. Brain-computer interfaces[M]. Elsevier, 2020.
[2] Towards practical brain-computer interfaces: bridging the gap from research to real-world applications[M]. Springer Science & Business Media, 2012.
[3] Wolpaw J R, Wolpaw E W. Brain-computer interfaces: Principles and practice[M]. Oxford: Oxford University Press, 2012.
[4] Brain-computer interfaces: Revolutionizing human-computer interaction[M]. Springer Science & Business Media, 2010.
[5] Gao X, Wang Y, Chen X, et al. Interface, interaction, and intelligence in generalized brain–computer interfaces[J]. Trends in cognitive sciences, 2021, 25(8): 671-684.
[6] Altaheri H, Muhammad G, Alsulaiman M, et al. Deep learning techniques for classification of electroencephalogram (EEG) motor imagery (MI) signals: A review[J]. Neural Computing and Applications, 2023, 35(20): 14681-14722.
[7] Naser M Y M, Bhattacharya S. Towards Practical BCI-Driven Wheelchairs: A Systematic Review Study[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2023.
[8] Ramsey N F. Human brain function and brain-computer interfaces[J]. Handbook of Clinical Neurology, 2020, 168: 1-13.
[9] Dennis J. Mcfarland and Dean J. BCI Signal Procession: Feature Translation. Brain-Computer Interfaces: Principles and Practice, eds JR Wolpaw and EW Wolpaw (New York, NY: Oxford University Press), 2012: 147-163.
[10] Krusienski D J, Sellers E W, McFarland D J, et al. Toward enhanced P300 speller performance[J]. Journal of neuroscience methods, 2008, 167(1): 15-21.
[11] McFarland D J, Wolpaw J R. Sensorimotor rhythm-based brain-computer interface (BCI): feature selection by regression improves performance[J]. IEEE transactions on neural systems and rehabilitation engineering, 2005, 13(3): 372-379.
[12] Wolpaw J R, Birbaumer N, McFarland D J, et al. Brain–computer interfaces for communication and control[J]. Clinical neurophysiology, 2002, 113(6): 767-791.
[13] Zickler C, Halder S, Kleih S C, et al. Brain painting: usability testing according to the user-centered design in end users with severe motor paralysis[J]. Artificial intelligence in medicine, 2013, 59(2): 99-110.
[14] Riccio A, Holz E M, Aricò P, et al. Hybrid P300-based brain-computer interface to improve usability for people with severe motor disability: electromyographic signals for error correction during a spelling task[J]. Archives of physical medicine and rehabilitation, 2015, 96(3): S54-S61.
[15] Quek M, Höhne J, Murray-Smith R, et al. Designing future BCIs: Beyond the bit rate[J]. Towards Practical Brain-Computer Interfaces: Bridging the Gap from Research to Real-World Applications, 2013: 173-196.
[16] Bram van de Laar, Gürkök H, Bos D P O, et al. Brain–computer interfaces and user experience evaluation[J]. Towards Practical Brain-Computer Interfaces: Bridging the Gap from Research to Real-World Applications, 2013: 223-237.
[17] Holz E M, Kaufmann T, Desideri L, et al. User centred design in BCI development[J]. Towards Practical Brain-Computer Interfaces: Bridging the Gap from Research to Real-World Applications, 2013: 155-172.
[18] Kübler A, Nijboer F, Kleih S. Hearing the needs of clinical users[J]. Handbook of clinical neurology, 2020, 168: 353-368.
[19] Rupp R, Kreilinger A, Rohm M, et al. Development of a non-invasive, multifunctional grasp neuroprosthesis and its evaluation in an individual with a high spinal cord injury[C]//2012 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. IEEE, 2012: 1835-1838.
[20] Holz E M, Höhne J, Staiger-Sälzer P, et al. Brain–computer interface controlled gaming: Evaluation of usability by severely motor restricted end-users[J]. Artificial intelligence in medicine, 2013, 59(2): 111-120.
[21] Zickler C, Riccio A, Leotta F, et al. A brain-computer interface as input channel for a standard assistive technology software[J]. Clinical EEG and neuroscience, 2011, 42(4): 236-244.
[22] Holz E M, Botrel L, Kübler A. Independent home use of Brain Painting improves quality of life of two artists in the locked-in state diagnosed with amyotrophic lateral sclerosis[J]. Brain-Computer Interfaces, 2015, 2(2-3): 117-134.
[23] Holz E M, Botrel L, Kaufmann T, et al. Long-term independent brain-computer interface home use improves quality of life of a patient in the locked-in state: a case study[J]. Archives of physical medicine and rehabilitation, 2015, 96(3): S16-S26.
[24] Vasilyev A, Liburkina S, Yakovlev L, et al. Assessing motor imagery in brain-computer interface training: psychological and neurophysiological correlates[J]. Neuropsychologia, 2017, 97: 56-65.
[25] Pasqualotto E, Matuz T, Federici S, et al. Usability and workload of access technology for people with severe motor impairment: a comparison of brain-computer interfacing and eye tracking[J]. Neurorehabilitation and neural repair, 2015, 29(10): 950-957.
[26] Zander T O, Andreessen L M, Berg A, et al. Evaluation of a dry EEG system for application of passive brain-computer interfaces in autonomous driving[J]. Frontiers in human neuroscience, 2017, 11: 78.
[27] LU Xiao tong, DING Peng, et al. Human factors engineering of brain-computer interface and its applications: Human centered brain-computer interface design and evaluation methodology [J]. Journal of Biomedical Engineering,2021,38(02):210-223.
[28] Lyu X, Ding P, Li S, et al. Human factors engineering of BCI: an evaluation for satisfaction of BCI based on motor imagery[J]. Cognitive Neurodynamics, 2022: 1-14.
[29] Kübler A, Holz E M, Riccio A, et al. The user-centered design as novel perspective for evaluating the usability of BCI-controlled applications[J]. PloS one, 2014, 9(12): e112392.
[30] Liberati G, Pizzimenti A, Simione L, et al. Developing brain-computer interfaces from a user-centered perspective: assessing the needs of persons with amyotrophic lateral sclerosis, caregivers, and professionals[J]. Applied ergonomics, 2015, 50: 139-146.
[31] Kübler A, Zickler C, Holz E, et al. Applying the user-centred design to evaluation of Brain-Computer Interface controlled applications[J]. Biomedical Engineering/Biomedizinische Technik, 2013, 58(SI-1-Track-S): 000010151520134438.
[32] Martin S, Armstrong E, Thomson E, et al. A qualitative study adopting a user-centered approach to design and validate a brain computer interface for cognitive rehabilitation for people with brain injury[J]. Assistive Technology, 2018, 30(5): 233-241.
[33] Zickler C, Di Donna V, Kaiser V, et al. BCI applications for people with disabilities: defining user needs and user requirements[J]. Assistive technology from adapted equipment to inclusive environments, AAATE, 2009, 25: 185-189.
[34] Sajda P, Gerson A, Muller K R, et al. A data analysis competition to evaluate machine learning algorithms for use in brain-computer interfaces[J]. IEEE Transactions on neural systems and rehabilitation engineering, 2003, 11(2): 184-185.
[35] Blankertz B, Muller K R, Curio G, et al. The BCI competition 2003: progress and perspectives in detection and discrimination of EEG single trials[J]. IEEE transactions on biomedical engineering, 2004, 51(6): 1044-1051.
[36] Blankertz B, Muller K R, Krusienski D J, et al. The BCI competition III: Validating alternative approaches to actual BCI problems[J]. IEEE transactions on neural systems and rehabilitation engineering, 2006, 14(2): 153-159.
[37] Tai P, Ding P, Gong A, et al. Brain-computer interface paradigms and neural coding[J]. Frontiers in Neuroscience, 2024, 17: 1345961.
[38] Shenoy P, Krauledat M, Blankertz B, et al. Towards adaptive classification for BCI[J]. Journal of neural engineering, 2006, 3(1): R13.
[39] Billinger M, Daly I, Kaiser V, et al. Is it significant? Guidelines for reporting BCI performance[J]. Towards Practical Brain-Computer Interfaces: Bridging the Gap from Research to Real-World Applications, 2013: 333-354.
[40] Wolpaw J R, Millán J R, Ramsey N F. Brain-computer interfaces: Definitions and principles[J]. Handbook of clinical neurology, 2020, 168: 15-23.
[41] Vidaurre C, Schlogl A, Cabeza R, et al. A fully on-line adaptive BCI[J]. IEEE Transactions on biomedical engineering, 2006, 53(6): 1214-1219.
[42] Krusienski D J, McFarland D J, Principe J C, et al. BCI signal processing: feature extraction[J]. Brain-Computer Interfaces: Principles and Practice, eds JR Wolpaw and EW Wolpaw (New York, NY: Oxford University Press), 2012: 123-146.
[43] Perdikis S, Tonin L, Saeedi S, et al. The Cybathlon BCI race: Successful longitudinal mutual learning with two tetraplegic users[J]. PLoS biology, 2018, 16(5): e2003787.
[44] Chen Y, Wang F, Li T, et al. Several inaccurate or erroneous conceptions and misleading propaganda about brain-computer interfaces[J]. Frontiers in Human Neuroscience, 2024, 18: 1391550.
[45] Wu W, Hatsopoulos N G. Real-time decoding of nonstationary neural activity in motor cortex[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2008, 16(3): 213-222.
[46] Taylor D M, Tillery S I H, Schwartz A B. Direct cortical control of 3D neuroprosthetic devices[J]. Science, 2002, 296(5574): 1829-1832.
[47] Birbaumer N, Hinterberger T, Kubler A, et al. The thought-translation device (TTD): neurobehavioral mechanisms and clinical outcome[J]. IEEE transactions on Neural Systems and rehabilitation engineering, 2003, 11(2): 120-123.
[48] Standard I S O, ISO B. ISO 9241-210: 2010-Ergonomics of human-system interaction-Part 210: Human-centred design for interactive systems[J]. Geneva, Switzerland, 2010, 27.
[49] Branco M P, Pels E G M, Sars R H, et al. Brain-computer interfaces for communication: preferences of individuals with locked-in syndrome[J]. Neurorehabilitation and neural repair, 2021, 35(3): 267-279.
[50] Colucci M, Tofani M, Trioschi D, et al. Reliability and validity of the Italian version of Quebec user evaluation of satisfaction with assistive technology 2.0 (QUEST-IT 2.0) with users of mobility assistive device[J]. Disability and Rehabilitation: Assistive Technology, 2021, 16(3): 251-254.
[51] Abiri R, Borhani S, Kilmarx J, et al. A usability study of low-cost wireless brain-computer interface for cursor control using online linear model[J]. IEEE transactions on human-machine systems, 2020, 50(4): 287-297.
[52] Yuan P, Gao X, Allison B, et al. A study of the existing problems of estimating the information transfer rate in online brain–computer interfaces[J]. Journal of neural engineering, 2013, 10(2): 026014.
[53] Dal Seno B, Matteucci M, Mainardi L T. The utility metric: a novel method to assess the overall performance of discrete brain–computer interfaces[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2009, 18(1): 20-28.
[54] Hart S G, Staveland L E. Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research[M]//Advances in psychology. North-Holland, 1988, 52: 139-18.
[55] Alazrai R, Alwanni H, Daoud M I. EEG-based BCI system for decoding finger movements within the same hand[J]. Neuroscience letters, 2019, 698: 113-120.
[56] Morone G, Pisotta I, Pichiorri F, et al. Proof of principle of a brain-computer interface approach to support poststroke arm rehabilitation in hospitalized patients: design, acceptability, and usability[J]. Archives of physical medicine and rehabilitation, 2015, 96(3): S71-S78.
[57] Rausand M, Hoyland A. System reliability theory: models, statistical methods, and applications[M]. John Wiley & Sons, 2003.
[58] Ebeling C E. An introduction to reliability and maintainability engineering[M]. Waveland Press, 2019.
[59] O'Connor P, Kleyner A. Practical reliability engineering[M]. John Wiley & Sons, 2012.
[60] Gao S K. Grand Challenges in EEG based Brain-Computer Interface.2012
[61] Nielsen J. Usability engineering[M]. Morgan Kaufmann, 1994.
[62]Norman D. Emotional design: Why we love (or hate) everyday things[M]. Basic books, 2007.
[63] Tractinsky N, Katz A S, Ikar D. What is beautiful is usable[J]. Interacting with computers, 2000, 13(2): 127-145.
[64] Brockmyer J H, Fox C M, Curtiss K A, et al. The development of the Game Engagement Questionnaire: A measure of engagement in video game-playing[J]. Journal of experimental social psychology, 2009, 45(4): 624-634.
[65] Van Baren J. Measuring presence: A guide to current measurement approaches[J]. Deliverable of the OmniPres project IST-2001-39237, 2004.
[66] Jennett C, Cox A L, Cairns P, et al. Measuring and defining the experience of immersion in games[J]. International journal of human-computer studies, 2008, 66(9): 641-661.
[67] Mandryk R L, Atkins M S, Inkpen K M. A continuous and objective evaluation of emotional experience with interactive play environments[C]//Proceedings of the SIGCHI conference on Human Factors in computing systems. 2006: 1027-1036.
[68] Mandryk R L, Inkpen K M, Calvert T W. Using psychophysiological techniques to measure user experience with entertainment technologies[J]. Behaviour & information technology, 2006, 25(2): 141-158.
[69] Gürkök H, Hakvoort G, Poel M. Modality switching and performance in a thought and speech controlled computer game[C]//Proceedings of the 13th international conference on multimodal interfaces. 2011: 41-48.
[70] Ma Y, Gong A, Nan W, et al. Personalized Brain–Computer Interface and Its Applications[J]. Journal of Personalized Medicine, 2023, 13(1): 46.
[71] Corradi F, Scherer M J, Presti A L. Measuring the assistive technology match[M]//Assistive technology assessment handbook. CRC Press, 2017: 53-70.
[72] Brooke J. Sus: a “quick and dirty’usability[J]. Usability evaluation in industry, 1996, 189(3): 189-194.
[73] Bangor A, Kortum P T, Miller J T. An empirical evaluation of the system usability scale[J]. Intl. Journal of Human–Computer Interaction, 2008, 24(6): 574-594.
[74] Vaughan T M. Brain-computer interfaces for people with amyotrophic lateral sclerosis[J]. Handbook of Clinical Neurology, 2020, 168: 33-38.
[75] Vaughan, T. M., and Sellers, E. W. (2012). “Clinnical evaluation of BCIs” in Brain-computer interfaces: Principles and practice. eds. J. R. Wolpaw and E. W. Wolpaw (New York, NY: Oxford University Press), 325–336.
[76] Leeb R, Perdikis S, Tonin L, et al. Transferring brain–computer interfaces beyond the laboratory: successful application control for motor-disabled users[J]. Artificial intelligence in medicine, 2013, 59(2): 121-132.
[77] Edelman B J, Meng J, Suma D, et al. Noninvasive neuroimaging enhances continuous neural tracking for robotic device control[J]. Science robotics, 2019, 4(31): eaaw6844.
[78] Cui Z, Fu X, Wan X, et al. The brain-computer interface based robot gives spinal cord injury patients a full-cycle active rehabilitation[C]//2021 9th International Winter Conference on Brain-Computer Interface (BCI). IEEE, 2021: 1-5.
[79] Shen T, Zhang L, Yan S, et al. An active and passive upper limb rehabilitation training system based on a hybrid brain–computer interface[J]. Journal of Integrated Design and Process Science, 2022, 26(1): 71-84.
[80] Innovation Collaboration Platform for Artificial Intelligence Medical Devices. White Paper on the Application of Brain-Computer Interface Technology in the Healthcare Field. Beijing: Innovation Collaboration Platform for Artificial Intelligence Medical Devices, 2023.
[81] Biasiucci A, Leeb R, Iturrate I, et al. Brain-Actuated Functional Electrical Stimulation Elicits Lasting Arm Motor Recovery after Stroke[J]. Nature Communications, 2018, 9(1). (Biasiucci A)
[82] Willett F R, Kunz E M, Fan C, et al. A high-performance speech neuroprosthesis[J]. Nature, 2023: 1-6.
[87] Metzger S L, Littlejohn K T, Silva A B, et al. A high-performance neuroprosthesis for speech decoding and av3tar control[J]. Nature, 2023: 1-10.
[84] Willett F R, Avansino D T, Hochberg L R, et al. High-performance brain-to-text communication via handwriting[J]. Nature, 2021, 593(7858): 249-254.
[85] He B, Yuan H, Meng J, et al. Brain–computer interfaces[J]. Neural engineering, 2020: 131-183.
[86] Nicolas-Alonso L F, Gomez-Gil J. Brain computer interfaces, a review[J]. sensors, 2012, 12(2): 1211-1279.
[87] Ming G, Pei W, Gao X, et al. A high-performance SSVEP-based BCI using imperceptible flickers[J]. Journal of Neural Engineering, 2023, 20(1): 016042.
[88] Chen X, Huang X, Wang Y, et al. Combination of augmented reality based brain-computer interface and computer vision for high-level control of a robotic arm[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2020, 28(12): 3140-314
—— End ——
仅用于学术分享,若侵权请留言,即时删侵!