智驾新突破—基于脑电图的驾驶员状态与行为检测在智能车辆系统中的应用综述

随着科技的飞速发展，智能驾驶特别是无人驾驶已逐渐成为现实。为了进一步提升道路安全，降低交通事故发生率，基于脑电图（EEG）的驾驶员状态与行为检测技术正不断成为前沿智驾领域的研究热点。由于现阶段自动驾驶系统尚未完全达到SAE国际定义的L5级别自动驾驶，在紧急状况下仍然需要驾驶员的参与，因此相关的人机交互技术仍然不可或缺。

基于车辆、环境、驾驶员行为等信息的直接分析在既往驾驶员状态和行为分析的研究中得到了充分重视，但仍存在一些问题。生物信号作为人体最直接、最早可量测的信号，可以有效弥补周围环境作为信号源的不可控性和行为信号产生的延迟，如果能够利用人机交互技术处理生物信号检测驾驶员的行为意图或者状态，就能实现生物信号直接对车辆的控制或者驾驶员状态的提示，辅助驾驶员及时执行有效的紧急驾驶行为或者状态调整，从而降低交通事故的发生率。特别是，脑电图（EEG）作为一种非侵入性、高时间分辨率的神经生理信号检测手段，为智能辅助驾驶系统（IADS）的发展提供了新的可能性。

近期，上海脑科学与类脑研究中心联合西北工业大学的研究人员，针对近些年有关驾驶员脑电图的状态监测和行为分析在智驾中的应用，在领域国际知名期刊IEEE Transactions on Biometrics, Behavior, and Identity Science上以“A Survey of EEG-Based Driver State and Behavior Detection for Intelligent Vehicles”为题发表了长篇综述性论文。上海脑科学与类脑研究中心琚佳伟副研究员为本文第一作者，西北工业大学软件学院李鸿岐副教授为本文通讯作者。

如图1所示，驾驶员状态和行为检测的智能辅助驾驶系统由检测信号、检测目标和智能车辆三部分组成。其中检测信号通常包括生物信号（脑电信号，肌电信号，心电信号等）、驾驶员信息（驾驶员头部位置，手臂位置，脚部位置等）、车辆信息（车辆速度，方向盘角度等）、环境信息（道路交通信息，障碍无物信息等）。针对检测信号，研究人员通常采用脑电信号构建相关的脑机接口模块、脑电信号和其他信号组合构建相关的混合脑机接口模块等。检测目标包括驾驶员状态、驾驶行为、驾驶员状态和行为的组合三大类。其中，驾驶员状态通常包括疲劳、分心、情感等，驾驶员行为则包括横向驾驶行为、纵向驾驶行为、横向和纵向的驾驶行为组合。

图1 智能辅助驾驶系统

围绕上述基于驾驶员状态和行为检测的智能辅助驾驶系统，通过分析驾驶员的脑电活动，能够实时监测其疲劳、分心或情绪状态，预测潜在的驾驶风险。通过先进的信号处理方法，包括信号采集、预处理、特征增强、特征计算、特征选择、分类以及后处理等流程步骤，EEG技术能够精确捕捉到驾驶员的脑电信号变化，为智能车辆提供科学、可靠的安全保障。此外，在智能辅助驾驶系统中，EEG技术的应用不仅限于状态监测，还能够识别驾驶员的操作意图，如变道、转向、加速或制动等行为。这为实现车辆的主动安全控制、提高驾驶体验提供了强有力的技术支持。因此，该综述面向基于脑电信号智能辅助驾驶系统的信号处理方法、基于驾驶员状态的智能辅助驾驶系统、基于驾驶员行为的智能辅助驾驶系统、基于驾驶员状态和行为组合的智能辅助驾驶系统进行了全面的分析、讨论和总结。

如图2所示，基于脑电信号的驾驶员行为和状态的处理方法包括采集、预处理、信号增强、特征计算、特征选择、分类和后处理方法。现有常用的处理方法详见TABLE Ⅰ。

图2 基于脑电信号的驾驶员状态和行为检测系统的信号处理流程

在基于驾驶员状态的智能辅助驾驶系统部分，TABLE Ⅱ呈现了脑机接口在驾驶员状态检测上的应用，分别包括了疲劳、分心和情感检测，论文详细汇总了现有经典研究聚焦的脑电信号频段和所采用的分类模型。不仅如此，面对实际应用中的挑战，如信号干扰、个体差异、环境适应性等问题，研究人员正致力于开发更高效、更稳定的EEG信号处理算法，以及探索混合脑-机接口（BCI）技术，通过融合多种生物信号，提升系统的鲁棒性和准确性。融合策略包括数据层面融合、特征层面融合、分类器层面融合、以及决策层面融合（见图2），TABLE Ⅲ呈现混合脑机接口在驾驶员状态检测上的应用。

在基于驾驶员行为的智能辅助驾驶系统部分，TABLE Ⅳ呈现脑机接口在驾驶员行为检测上的应用，分别包括了横向驾驶（变道，左转向，右转向），纵向驾驶（刹车，加速，减速，平速），横向和纵向驾驶组合检测，论文综述分析了现有经典研究聚焦的脑电信号频段和所采用的分类模型。

最后，在基于驾驶员行为和状态组合的智能辅助驾驶系统部分，TABLE Ⅴ呈现混合脑机接口在驾驶员状态和行为组合检测上的应用，汇总了现有经典研究聚焦的脑电信号频段、混合信号、融合策略、以及所采用的分类模型。

在这篇论文的讨论和总结部分，作者们提出了基于EEG的驾驶员状态和行为检测技术在智能车辆系统中的应用所面临的挑战，并提出了可能的解决方案和未来的研究方向。具体地，当前基于EEG的智驾研究中，存在着如下挑战：1)数据采集：现有的无线EEG采集设备在同步收集EEG信号和其他信号（如EMG、EOG）方面存在困难，这对于开发混合BCI系统是一个限制；2）伪迹处理：尽管研究中采用了多种方法，但EEG信号中的伪迹（如眼动和肌电伪迹）仍难以完全消除；3）特征选择和分类器设计：当前研究中使用的线性和非线性分类器未能满足预期要求，缺乏融合时域、频域和空间域信息的特征，以及能够处理线性和非线性情况的分类器；4）性能和鲁棒性：BCI在检测驾驶员状态或行为时的性能和鲁棒性存在不足，特别是EEG信号质量的不稳定性影响了状态识别的准确性；5）跨个体检测：跨个体检测的准确性较低，需要探索更稳定和通用的信息以提高BCI检测系统的稳定性和普遍性；6）混合BCI的应用：使用单个传感器收集两种或更多信号本身具有一定挑战性，且增加了计算成本；7）实时应用：现有研究未能充分考虑现实情况的多样性，如不同驾驶行为的细微差别、虚拟与现实环境的差异等。

针对上述挑战，作者们提出了如下可能的潜在解决方案：1）为了提高基于EEG的IADS的相关流行方法，可能需要开发能够同时收集EEG信号和其他信号的便携式设备，并探索新的方法来解析其时-空-频特征；2）硬件和软件改进：提高采集设备的性能，选择更有用的预处理方法，以及结合线性和非线性分类器，以提高系统的性能和鲁棒性；3）考虑个体差异：未来研究应进一步探索个体差异和适应性，以及不同驾驶状态或行为水平对系统性能的影响；4）实验环境：未来的研究需要在更接近真实驾驶环境的条件下进行，以确保研究成果的实用性和有效性。此外，作者还建议未来的研究应从更模仿现实的场景和行业角度出发，考虑各种车辆运行条件、驾驶监测系统、人车交互界面和驾驶行为分析等因素。

未来，随着技术的不断成熟和完善，基于EEG的智能辅助驾驶系统有望广泛应用于汽车行业，为驾驶者提供更加安全、智能的驾驶环境。我们期待着这一技术能够为减少交通事故、提高人们的生活质量做出更大的贡献。

文章得到了陕西省自然科学基础研究计划（2024JC-YBQN-0659）、广东省基础与应用基础联合基金（2022A1515110252）、太仓市基础研究计划（TC2023JC16）等项目的支持，通讯作者联系方式：lihongqi@nwpu.edu.cn。

文章作者简介

琚佳伟，博士，上海脑科学与类脑研究中心副研究员。2022年在北京理工大学获得机械工程博士学位，电气与电子工程协会会员。现聚焦于脑机接口、人机交互、智能人机系统、神经科学的研究，实现了基于脑电与肌电信号的驾驶员刹车意图智能辅助系统的构建。近五年以第一作者发表7篇SCI于IEEE Transactions on Biometrics, Behavior, and Identity Science、International Agricultural Engineering Journal、Biomedical Signal Processing and Control、Cyborg and Bionic Systems、Brain-X等期刊，申请发明专利2项，担任IEEE Transactions on Intelligent Transportation Systems、JOURNAL OF THE FRANKLIN INSTITUTE-ENGINEERING AND APPLIED MATHEMATICS等期刊审稿人。

李鸿岐，博士，西北工业大学软件学院副教授、硕士生导师，研究兴趣主要为智能人机交互、脑控智能系统、非侵入式脑机接口、信号的获取与处理、深度学习、系统建模与仿真、先进控制理论等。近五年以第一/通讯作者在国际权威期刊IEEE Transactions on Cybernetics、IEEE Transactions on Intelligent Transportation Systems、IEEE Transactions on Instrumentation & Measurement、IEEE Transactions on Neural Systems and Rehabilitation Engineering、IEEE Transactions on Biometrics, Behavior, and Identity Science等发表论文多篇。目前主持陕西省自然科学基础研究计划青年项目、广东省基础与应用基础联合基金项目、太仓市基础研究计划面上项目、校教育教学改革研究等项目，参与科技部科技创新2030-“新一代人工智能”重大项目、国家自然科学基金面上项目等多项，曾获首届ABB杯全国智能技术论文大赛优秀奖。

—— End ——