首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >吃饭不用你自己动手,让基于脑机接口的机器人辅助你

吃饭不用你自己动手,让基于脑机接口的机器人辅助你

作者头像
脑机接口社区
发布于 2022-09-22 03:11:55
发布于 2022-09-22 03:11:55
5050
举报
文章被收录于专栏:脑机接口脑机接口

随着脑机接口(BCI)技术的发展,利用脑机接口技术已经开发了很多帮助残疾人和老年人的设备。许多膳食辅助机器人已经投入使用。之前的膳食辅助机器人并不能更好地满足使用者的需求。在本项研究中,本文开发了一个基于BCIs的膳食辅助机器人系统,在系统中,用餐由眨眼触发,食物的选择基于稳态视觉诱发电位,下一餐由肌电图触发。

在这项研究中,研究人员开发了一个基于BCIs的膳食辅助机器人系统,可以让用户独立自主地吃饭。为了更直观地控制该设备,研究人员设置从前额叶脑电图通道中提取的眨眼作为开始用餐的触发器,并且设置了从时间脑电图通道中提取的肌电图(EMG)作为准备下一餐的触发器。

1 研究方法

A.设备和程序

该系统包括一个膳食辅助机器人和一个带有计算机的脑电图设备。膳食辅助机器人由一个勺子(双轴电机)和一个抓臂(5轴电机)组成。膳食辅助机器人和LED控制的计算机规格如下:英特尔CPUi7-7700HQ2.80GHz,内存16GB。使用一个数字采集板和MATLAB来进行LED控制。实时脑电图分析的计算机规格如下:IntelCPUi7-8565U1.80GHz,RAM16GB。脑电图记录系统中,研究使用MATLAB来分析脑电图、眨眼和肌电图数据,以及使用OpenViBE用于实时系统。图1显示了本研究中使用的设备。

图1:实验装置

B. 数据采集和预处理

该系统可应用于各种脑电图记录系统。本研究采用了两种脑电图记录系统。脑电图数据使用OpenViBE进行预处理,并使用MATLAB进行分析。为了对脑电图数据进行。脑电图分析采用O1、O2和Oz通道作为基于稳态视觉诱发电位(SSVEP)的脑机接口系统。眨眼使用Fp1通道,T3和T4通道进行肌电图。研究对数据(4s)进行分析,并检测眨眼、最大功率(EEG)或肌电图。图2显示了脑电图处理的流程图。

图2:脑电图的采集与处理

C. 数据分析

采用三闪烁作为触发器打开LED,并采用基于小波变换的算法对其进行检测。所提出的SSVEP分类算法是基于多元同步指数方法的扩展。肌电图预处理如下:

(1)去除直流

(2)一次移动平均(绝对值)

(3)二次移动平均

(4)区分

(5)移动平均(绝对值)

(6)检查值是否高于0.5并保持1s或更长

(7)如果情况(6)大于3,检测肌电图。

D. 程序

首先,打开系统,等待准备就绪(Com1与Com2之间的TCP/IP通信,Com1与膳食辅助机器人之间的蓝牙通信)。当用户准备好吃饭时,用户眨三次眼启动程序。LED开始闪烁(5个LED、7.5Hz、8.57Hz、10Hz、12Hz、13Hz)4秒。然后,用户查看选择的LED。抓臂根据SSVEP结果移动到选定的食物上,抓取食物,并将其转移到勺子臂上。勺子臂在使用者的嘴前移动。当使用者进食并咀嚼时,会检测到肌电图。然后,勺臂移动到原始位置。此为一个用餐周期。具体步骤如下。

(1) Com2:眨眼检测

(2) TCP/IP:从 Com2 向 Com1 发送触发器 0

(3) Com1:LED 打开

(4) Com2:SSVEP 分析

(5) TCP/IP:从 Com2 发送到 Com1 的触发器 1~5

(6) 蓝牙:从 Com2 向餐辅助机器人发送十六进制代码 (0x41/ 0x51/0x53/ 0x55/ 0x57)

(7) 操作进餐辅助机器人(进食程序)

(8) Com2:肌电图检测

(9) TCP/IP:从 Com2 向 Com1 发送触发器 6

(10) 蓝牙:从 Com2 向助餐机器人发送十六进制代码(0x27)图3和图4分别显示了系统程序的原理图和图像。

图3:基于BCIs的膳食辅助机器人系统示意图

图4:基于BCIs的膳食辅助机器人系统程序

2 总结

这种基于BCIs的膳食辅助机器人系统可以使重症患者、残疾人和老年人能够独立进食,从而尽可能地保护用户的自尊心,使弱者也能体面地生活。基于BCIs的膳食辅助机器人系统未来有很大的发展前景。

参考文献链接

[1] M. H. Hasbulah, F. A. Jafar, and M. H. Nordin, “Fundamental ofElectroencephalogram (EEG) Review for Brain–Computer Interface (BCI) System,”2019.

[2] Y. Renard et al., “Openvibe: An open-source software platform todesign, test, and use brain–computer interfaces in real and virtualenvironments,” Presence: Teleoperators and virtual environments, vol. 19, no.1, pp. 35-53, 2010.

[3] W. -D. Chang, H. -S. Cha, K. Kim, and C. -H. Im, “Detection ofeye blink

artifacts from single prefrontal channel electroencephalogram,”Computer methods and programs in biomedicine, vol. 124, pp. 19-30, 2016.

[4] Y. Zhang, D. Guo, D. Yao, and P. Xu, “The extension ofmultivariate synchronization index method for SSVEP-based BCI,” Neurocomputing,vol. 269, pp. 226-231, 2017.


Hennim编译。仅用于学术交流,不用于商业行为,若有侵权及疑问,请后台留言,管理员即时删侵!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-04-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 脑机接口社区 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
MIT团队将脑机接口与机器人结合起来
将BCI和机器人系统结合,使用无线、可穿戴的BCI设备控制波士顿动力的四足机器人Spot,并探索其在个人助理场景中的使用。用户通过脑力计算回答一系列问题,每个问题有对应的Spot动作。该系统成功率为83.4%。这是首次将无线、非视觉型BCI系统与Spot在个人助理使用案例中进行集成。未来版本可能具有友好和直观的提示,类似于普通导盲犬。该项目旨在为由无线和可穿戴的BCI系统提供动力的现代个人助理机器人的未来发展铺平道路。
脑机接口社区
2024/01/07
5330
MIT团队将脑机接口与机器人结合起来
基于EEG-EMG混合控制方法的研究—生物机器人应用:现状、挑战与未来方向(二)
02 基于肌电图的混合控制方法综述 基于EEG-EMG的混合控制接口的基本思想是在控制方法中融合EEG和EMG信号,信号的融合可以以许多不同的方式进行,并且可能取决于特定应用和用户能力等因素。在这个混合接口中,结合了EEG信号和EMG信号,混合方法的应用可能有所不同,从一个简单的游戏控制应用程序,到假肢手臂控制应用程序。 这篇综述的主要目的是研究生物机器人学的应用,例如假肢和外骨骼,因此范围缩小到研究混合EEG-EMG方法在生物机器人中的应用。如前所述,有许多可能的方法将肌电图和脑电图信号结合在一种特定的控制方法内,以提高有效性。 一般来说,EEG或EMG信号可用于操作应用程序的各个部分,例如辅助设备中的部件,或者,所有这些都可以组合起来。后者将允许用户根据自己的喜好从一个控制信号平稳地切换到另一个控制信号。 有几种方法可以用来对生物机器人应用中的脑电-肌电混合控制方法进行分类,如特定的应用/设备(如假肢、外骨骼、轮椅)或输入处理方法。作为一个双输入系统,混合EEG-EMG接口可以同时处理输入信号,也可以按顺序处理输入信号。 在这篇综述文章中,我们将把生物机器人应用中的混合控制方法的每一项研究分为两类,根据输入处理方法是同时的还是顺序的,EEG-EMG方法的比较和本文讨论的不同混合方法的重要特征总结如表1所示。重要的是,无论EEG-EMG信号的融合方法是什么,与单独使用EMG或EEG信号的方法相比,混合方法能获得更高的有效性。
BCIduino脑机接口社区
2020/12/23
1.1K0
基于EEG-EMG混合控制方法的研究—生物机器人应用:现状、挑战与未来方向(二)
Nature子刊 | 通过眼动控制机器人的脑机接口
人机交互是一个快速发展的领域,机器人在我们的日常生活中发挥着越来越积极的作用。病人护理是机器人越来越多出现的领域之一,尤其是对残疾人来说。患有神经退行性疾病的人可能不会有意识或自愿地进行除眼睛或眼睑以外的运动。在这种情况下,脑机接口(BCI)系统提供了与外部世界通信或交互的另一种方式。为了改善残障人士的生活,本文提出了一种新的脑机接口,用于控制辅助机器人。在本研究中,脑电图(EEG)信号的眼睛伪影被认为是有价值的信息来源,通过检测脑电图信号中的眼睑伪影,以及眨眼的双阈值方法,成功实现了通过脑机接口控制机器人的目标。该技术的应用对改善残障人士的生活具有重要意义。
脑机接口社区
2023/11/05
6580
Nature子刊 | 通过眼动控制机器人的脑机接口
运动想象脑机接口控制机器人的研究概述
BCI是一种特殊的信息交换系统,它使大脑能够直接与外部环境互动,而不依赖于大脑的外周神经系统和人体的运动系统。随着BCI的快速发展,对于思维正常但患有神经系统疾病或严重残疾的患者,BCI可使他们重新获得锻炼或与环境沟通的能力,提高生活质量。对于健康人群来说,BCI可提供前所未有的感官体验并帮助提高注意力。最近,BCI技术已变得越来越成熟,该技术在医疗康复、娱乐、教育、军事等领域获得了更多关注和认可。
脑机接口社区
2023/09/28
7750
运动想象脑机接口控制机器人的研究概述
​脑机接口(BCI)与人工智能:仅用思想来控制周围事物是什么感觉?
如今高新技术实验室里,每天都在上演人机交互的过程,最常见的,残疾人通过训练自己的思想来控制机器人的四肢。而人类期望有一天能够用我们的思想操纵宇宙飞船,将我们的大脑下载到电脑上,并最终创造出半机器人。特斯拉和SpaceX的首席执行官收购了Neuralink公司,旨在建立大脑和计算机之间的直接联系。随着过去几十年科技的迅猛发展,人类和机器之间的界限已经开始缩小。在机器的帮助下,科幻小说中壮观的精神控制世界慢慢向现实靠近。目前这些新技术的前沿是脑机接口(BCI)和人工智能(AI),虽然BCIs和AI以往是相互独立开发和应用的。但是,现在越来越多的科学家们希望将两者结合起来,使脑电信号操纵外部设备过程更高效。
脑机接口社区
2022/08/26
1.1K0
​脑机接口(BCI)与人工智能:仅用思想来控制周围事物是什么感觉?
Nature子刊 | 清华大学研究团队联合提出一种基于视觉和听觉的耳内脑机接口
近日,清华大学柔性电子技术实验室冯雪教授课题组与医学院高小榕教授课题组合作,在《Nature Communications》期刊上在线发表了题为“用于视觉和听觉脑机接口的入耳式共形生物电子器件”(Conformal in-ear bioelectronics for visual and auditory brain-computer interfaces)的研究成果。在该研究中,研究人员提出了一种耳内的柔性三维附壁攀爬神经电子器件,开展了基于稳态视觉诱发电位和鸡尾酒会效应的视觉及听觉脑机接口(BCI)研究,并提出了基于耳内生物电子学的耳内视觉和听觉脑机接口,命名为Spiral E,这是一种耳内式脑电图监测设备。耳内式脑电图监测以其独特的可穿戴性和离散性等优点而备受关注。
脑机接口社区
2023/09/19
6820
Nature子刊 | 清华大学研究团队联合提出一种基于视觉和听觉的耳内脑机接口
第2期 | 国内脑机接口领域专家教授汇总(修改)
第1期分享出来后,很多朋友在后台留言表示,这个汇总真是太有用了。说实话自己做的一些事能给他人带去帮助,是非常的开心。
脑机接口社区
2020/08/10
2.1K0
荣获"CHINA TOP cited paper award 2021"的神经工程领域顶级期刊的论文汇总
近日英国物理学会出版社(IOP Publishing)公布了“CHINA TOP cited paper award 2021”,社区为大家汇总了神经工程领域顶级期刊《Journal of Neural Engineering》上荣获该荣誉的一些研究。【注:(1)排名不分先后;(2)如有遗失,欢迎补充;(3)介绍若有误,欢迎指出,后续会进行修改。】
脑机接口社区
2022/08/18
4840
荣获"CHINA TOP cited paper award 2021"的神经工程领域顶级期刊的论文汇总
一种灵活,坚固且无凝胶的脑电图电极,可用于无创脑机接口
脑机接口(BCI)能够在大脑和电子设备之间实现直接和近乎即时的通信。目前最大的挑战之一是开发一种有效的无创BCI,它能使记录电极避免人类皮肤上的毛发,同时又不带来使用导电凝胶的不便和隐患。在这项研究中,清华大学研究人员开发了一种低成本、易于制造、柔韧、坚固且不含凝胶的脑电图(EEG)电极【银纳米线/聚乙烯醇缩丁醛(PVB)/三聚氰胺海绵(AgPMS)】,可以解决头发问题。由于银纳米线(AgNWs)表面金属化,海绵在重量不变的情况下导电率高达917 S/m。柔软的海绵框架和自锁式AgNW结合在一起,为新电极提供了非常好的机械稳定性(电导率在10%的压缩下循环10000次后保持不变)。基于稳态视觉诱发电位(SSVEP)在无毛皮肤上的BCI应用表明,新电极的BCI精度(86%)与导电凝胶支撑的传统电极(88%)大致相同。最重要的是,AgPMS在多毛皮肤上的性能并没有明显降低,这表明新电极可以替代传统电极用于无毛和多毛皮肤BCI及其他EEG应用。
脑机接口社区
2022/08/18
6060
一种灵活,坚固且无凝胶的脑电图电极,可用于无创脑机接口
基于SSVEP-EOG的混合BCI用于机械臂控制
利用脑机接口控制机械臂可以改善重度运动障碍者的生活质量。机器人手臂控制在完成一系列动作的复杂任务时仍然存在挑战。华中科技大学的研究人员研究发现有效的开关和及时的取消指令有助于机械臂的应用。研究人员在本研究中提出了一种异步混合BCI。使用基于稳态视觉诱发电位(SSVEP)的BCI来作为具有六个自由度的机械臂的基本控制。研究人员在该项目中设计了基于EOG的开关,该开关通过检测三次眨眼来激活或停用基于SSVEP的BCI的闪烁。在空闲状态下停止闪烁可以帮助减少视觉疲劳和错误激活率(FAR)。此外,在反馈阶段,用户只需眨眨眼即可取消当前命令,以免执行不正确的指令。
脑机接口社区
2021/01/12
8360
基于SSVEP-EOG的混合BCI用于机械臂控制
脑机接口中结合脑电和脑磁图信号来提高运动想象分类
分享一篇2019年发表于INTERNATIONAL JOURNAL OF NEURAL SYSTEMS(计算机科学大区1区TOP)的Integrating EEG and MEG Signals to Improve Motor Imagery Classification in Brain-Computer Interface
脑机掌门
2021/05/11
1.6K0
国外研究团队对EEG+fNIRS的脑机接口在执行运动想象任务时的性能表现的相关研究
脑机接口(Brain-Computer Interfaces,BCI)已被证明是一种很前景广阔的神经康复工具。然而,基于传统方法的BCI准确率和可靠性不高,不同的大脑活动模式并不是对所有的BCI用户都是最优的,而且信息传递率低。多项研究表明,结合不同的脑信号采集方法可以提高脑机接口的性能。
脑机接口社区
2022/09/22
1.4K0
国外研究团队对EEG+fNIRS的脑机接口在执行运动想象任务时的性能表现的相关研究
基于SSVEP脑机接口控制的柔性机器人手套用于脑卒中患者的手功能康复
近日,香港大学深圳医院研究团队开展了一研究,探索了长期使用基于SSVEP脑机接口控制的柔性机器人手套对于手功能康复的影响,为新型的脑控机器人康复系统进行功能和神经康复训练的研究提供积极的启示。相关研究成果已发表在《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》。
脑机接口社区
2024/01/04
5240
基于SSVEP脑机接口控制的柔性机器人手套用于脑卒中患者的手功能康复
DIY混合BCI刺激系统:SSVEP-P300 LED刺激
这篇文章讨论了一种完全可定制芯片版LED设计,该设计可同时激发两个大脑反应(稳态视觉诱发电位--SSVEP和瞬态诱发电位--P300)。考虑到脑机接口(BCI)中可能的不同模式,SSVEP由于需要较少的脑电图(EEG)电极和最小的训练时间而被广泛接受。这项工作的目的是设计一个混合BCI硬件平台,以精确地唤起SSVEP和P300,从而减少疲劳并提高分类性能。该系统包括四个独立的径向绿色视觉刺激,它们由一个32位的微控制器平台分别控制,以激发SSVEP以及四个随机间隔闪烁的红色LED,用于生成P300事件。系统还可以记录可用于分类的P300事件时间戳,以提高准确性和可靠性。通过控制乐高机器人在四个方向上的移动,测试了混合刺激的实时分类准确率。
脑机接口社区
2020/07/13
8080
基于EEG-EMG混合控制方法的研究—生物机器人应用:现状、挑战与未来方向(一)
在过去的几十年里,生物机器人的应用,如外骨骼、假肢和机器人轮椅,已经从科幻小说中的机器发展到几乎商业化的产品。尽管肌电图(EMG)信号仍然存在一些挑战,但利用EMG信号控制此类生物机器人应用的进展是巨大的。
BCIduino脑机接口社区
2020/12/22
6620
基于EEG-EMG混合控制方法的研究—生物机器人应用:现状、挑战与未来方向(一)
基于耳-脑电图的脑机接口研究进展
头皮-脑电图(EEG)常被用来开发脑机接口(BCI)系统。近年来,记录在耳朵周围或内部的脑电图被称为ear-EEG,被频繁地用于开发实用的脑机接口系统,并且之前的许多研究已经证明了其在性能和长期使用方面的可行性。在本次演讲中,韩国高丽大学(Korea University)研究人员Han-Jeong Hwang将介绍基于耳-脑电图的 BCI 开发的最新进展,包括其实验室进行的几项研究。研究人员还讨论未来基于耳-脑电图的脑机接口技术的挑战和机遇。
脑机接口社区
2022/08/26
1.1K1
基于耳-脑电图的脑机接口研究进展
清华大学团队提出一种基于稳态视觉诱发反应的混合脑机接口
近日,清华大学团队提出一种基于脑电图(EEG)和磁脑电图(MEG)混合的脑机接口(BCI)系统的研究,旨在提高BCI性能并解决“BCI文盲”的问题。虽然EEG-based BCI已经实现了大脑和外部设备之间的通讯,但由于头骨会减弱和扭曲信号,因此其性能受到限制。MEG是一种不受体积传导效应影响的神经影像技术,可以通过增强信号质量来提高BCI性能。
脑机接口社区
2023/09/19
5330
清华大学团队提出一种基于稳态视觉诱发反应的混合脑机接口
国外研究团队对意识(认知)评估听觉范式的新型改善方法
利用Oddball(新异刺激)听觉范式(后文中部分内容译为:反常听觉范式)进行意识情况识别已成为脑机接口(BCI)领域的一个重要研究课题。对于注意力有限的患者来说,尽可能缩短获取评估所需的足够数据的时间是至关重要的。本研究旨在通过测试不同的设定和刺激方法,减少Oddball听觉范式的评估时间。一类范式使用被试主体自己的名字作为偏差声音刺激。另一类范式使用标准正弦波声音进行刺激。在一组9名健康被试人员中,在4种不同的Oddball听觉范式条件下记录被试者的脑电图(EEG)活动。为了进行对比,我们计算了每个范式下的P300曲线下的面积。首先,我们证明了含有受试者名字的范式下比正弦音范式下产生了更大面积的P300区域。更重要的是,我们发现与标准听觉范式相比,“名称范式”需要更少的试验刺激次数就能获得类似的结果。这意味着与使用正弦波相比,听觉范式的执行时间是可以被减少的。
脑机接口社区
2022/09/22
9440
国外研究团队对意识(认知)评估听觉范式的新型改善方法
AI读心术再升级!一副眼镜直接控制波士顿机器狗,脑控机器人成真
来自麻省理工的研究人员发表了Ddog项目,通过自己开发的脑机接口(BCI)设备,控制波士顿动力的机器狗Spot。
新智元
2024/02/06
1820
AI读心术再升级!一副眼镜直接控制波士顿机器狗,脑控机器人成真
科学家利用脑机接口让患者正常发声
说话在我们看来似乎是一项很简单、毫不费力的活动,但它却是我们执行的最复杂的动作之一。它要求声道的发音结构(嘴唇、舌头、喉和下颌)进行精确、动态的肌肉协调。当中风、肌萎缩侧索硬化症或其他神经系统疾病导致语言障碍时,失去沟通能力可能是毁灭性的。在《Nature》杂志的一篇论文中,Anumanchipalli等人[1]发布了一项突破性的脑机接口技术,该脑机接口让我们更接近恢复语音功能。
脑机接口社区
2023/02/13
4220
推荐阅读
MIT团队将脑机接口与机器人结合起来
5330
基于EEG-EMG混合控制方法的研究—生物机器人应用:现状、挑战与未来方向(二)
1.1K0
Nature子刊 | 通过眼动控制机器人的脑机接口
6580
运动想象脑机接口控制机器人的研究概述
7750
​脑机接口(BCI)与人工智能:仅用思想来控制周围事物是什么感觉?
1.1K0
Nature子刊 | 清华大学研究团队联合提出一种基于视觉和听觉的耳内脑机接口
6820
第2期 | 国内脑机接口领域专家教授汇总(修改)
2.1K0
荣获"CHINA TOP cited paper award 2021"的神经工程领域顶级期刊的论文汇总
4840
一种灵活,坚固且无凝胶的脑电图电极,可用于无创脑机接口
6060
基于SSVEP-EOG的混合BCI用于机械臂控制
8360
脑机接口中结合脑电和脑磁图信号来提高运动想象分类
1.6K0
国外研究团队对EEG+fNIRS的脑机接口在执行运动想象任务时的性能表现的相关研究
1.4K0
基于SSVEP脑机接口控制的柔性机器人手套用于脑卒中患者的手功能康复
5240
DIY混合BCI刺激系统:SSVEP-P300 LED刺激
8080
基于EEG-EMG混合控制方法的研究—生物机器人应用:现状、挑战与未来方向(一)
6620
基于耳-脑电图的脑机接口研究进展
1.1K1
清华大学团队提出一种基于稳态视觉诱发反应的混合脑机接口
5330
国外研究团队对意识(认知)评估听觉范式的新型改善方法
9440
AI读心术再升级!一副眼镜直接控制波士顿机器狗,脑控机器人成真
1820
科学家利用脑机接口让患者正常发声
4220
相关推荐
MIT团队将脑机接口与机器人结合起来
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档