智能科学与技术学报, 2021, 3(1): 85-92 doi: 10.11959/j.issn.2096-6652.202109

学术论文

基于脑机接口的人机共享控制技术研究

邓晓燕, 俞祝良, 林灿光, 顾正晖, 李远清

华南理工大学自动化科学与工程学院,广东 广州 510641

Research on human-computer shared control technology based on brain-computer interface

DENG Xiaoyan, YU Zhuliang, LIN Canguang, GU Zhenghui, LI Yuanqing

School of Automation Science and Engineering, South China University of Technology, Guangzhou 510641, China

通讯作者: 俞祝良,zlyu@scut.edu.cn

修回日期: 2020-02-08   网络出版日期: 2021-03-15

基金资助: 国家自然科学基金资助项目.  61836003.  61573150.  61573152.  61633010
中央高校基本科研业务费专项资金资助项目.  2019MS138

Revised: 2020-02-08   Online: 2021-03-15

Fund supported: The National Natural Science Foundation of China.  61836003.  61573150.  61573152.  61633010
The Fundamental Research Funds for the Central Universities.  2019MS138

作者简介 About authors

邓晓燕(1983-),女,华南理工大学自动化科学与工程学院高级实验师,主要研究方向为模式识别与智能控制系统。 。

俞祝良(1973-),男,博士,华南理工大学自动化科学与工程学院教授,主要研究方向为信号处理、模式识别、机器学习及其在通信、生物医学工程等方面的应用。 。

林灿光(1995-),男,华南理工大学自动化科学与工程学院硕士生,主要研究方向为控制工程。 。

顾正晖(1973-),女,博士,华南理工大学自动化科学与工程学院教授,主要研究方向为信号处理和模式识别。 。

李远清(1966-)男,博士,华南理工大学自动化科学与工程学院教授,主要研究方向为盲信号处理、稀疏表示、机器学习和脑机接口。 。

摘要

脑机接口作为神经工程领域中活跃的研究方向,在生物医学、神经康复和智能机器人等领域具有重要的研究意义。基于脑机接口的人机共享控制技术结合了人和机器智能的自身特点,相较于直接控制的脑机接口控制技术有着诸多的优势。因此,从不同角度对基于非植入式的脑机接口的人机共享控制进行了分类和阐述,并对其未来研究方向和发展趋势进行了展望,以期为人机共享控制技术研究提供新的思路和方向。

关键词: 脑机接口 ; 人机交互 ; 共享控制 ; 智能机器人

Abstract

As an active research direction in the field of neural engineering, brain-computer interface (BCI) has important research significance in biomedicine, neural rehabilitation, intelligent robot and other fields.The human-computer shared control technology based on BCI combines the advantages of human and machine intelligence, and has many advantages compared with the direct control BCI control technology.The human-computer shared control based on non-invasive BCI was classified and introduced from different points of view, and the future research direction and development trend of the human-computer shared control system based on BCI were forecasted to provide new ideas and directions.

Keywords: brain-computer interface ; human-computer interaction ; shared control ; intelligent robot

PDF (1004KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

邓晓燕, 俞祝良, 林灿光, 顾正晖, 李远清. 基于脑机接口的人机共享控制技术研究. 智能科学与技术学报[J], 2021, 3(1): 85-92 doi:10.11959/j.issn.2096-6652.202109

DENG Xiaoyan. Research on human-computer shared control technology based on brain-computer interface. Chinese Journal of Intelligent Science and Technology[J], 2021, 3(1): 85-92 doi:10.11959/j.issn.2096-6652.202109

1 引言

人机交互是人与计算机、机器之间传递和交换信息的重要手段。近年来,随着人工智能的发展,人机交互技术受到了巨大关注[1,2]。在众多人机交互技术中,脑机接口(brain-computer interface)作为一种新型的人机交互技术,越来越受到人们的重视[3,4,5]。脑机接口技术可以将人脑信号直接解码转换成外部设备的控制信号,而不需要周围神经系统或肌肉组织的参与,因此脑机接口技术经常被应用于一些特殊人群,如残疾人群体或者在特殊环境中需要扩展交互能力的群体。脑机接口对于残疾人的运动功能辅助与康复具有重要的作用[6,7,8],也为解决人口老龄化带来的社会护理问题提供了一条可行途径。一般来说,脑机接口可被分为植入式和非植入式两类,本文只针对非植入式的脑机接口的人机共享控制进行探讨。

目前,国际上脑机接口技术正蓬勃发展,脑机接口在帮助残疾患者康复和运动功能辅助方面取得了较大进展。脑机接口系统可以监测用户的大脑神经活动,并将用户的意图转变为外部机器的行动策略,如驱动一台智能轮椅、在虚拟键盘上选择其中一个按键,或者控制机械臂完成复杂的抓取任务。脑机接口系统不需要依赖周围神经系统和肌肉组织的活动就能达成运动任务,直接实现大脑到外部机器设备的控制,因而可以帮助截肢和瘫痪的病人恢复一定的行为能力。随着脑机接口技术的发展,脑控机器人系统(如脑控轮椅系统[9,10,11]、脑控机械臂[12,13,14]等)也越来越受到重视。

本文对基于非植入式的脑机接口的人机共享控制技术面临的问题、研究进展进行了梳理。第2节对基于脑机接口的控制系统进行了描述,并介绍了两种典型的交互方式;第3节对现有的基于脑机接口的人机共享控制研究进行了分类,对传统的人机共享控制技术进行了总结;第4节对基于脑机接口的人机共享控制技术面临的挑战和研究趋势进行了总结和展望,第5节对全文进行总结。

2 基于脑机接口控制系统的基本框架

脑机接口技术的研究始于 20 世纪 70 年代中期,经过 20 多年的发展终于取得了重大的突破,成为神经科学领域的重点研究课题之一。在脑控机器人系统中,根据人和机器之间的互动程度[15],脑机接口控制系统有两种典型的交互方式:直接控制和共享控制。直接控制的系统结构比较简单,即利用脑机接口获得的脑电信号直接控制机器人[16,17],如图1所示。在直接控制的方式下,脑机接口控制系统一般完全由脑机接口控制,其性能完全取决于脑机接口的性能,并不需要机器人额外的智能。国内外有众多学者已经在这方面进行了深入的研究,如 Tanaka K 等人[9]提出了基于脑电图(electroencephalography,EEG)的脑机接口控制电动轮椅的方法,Long J Y等人[17]提出利用混合脑机接口来控制轮椅的方向和速度,并在仿真和实际的轮椅场景下进行了实验。但是,当前脑机接口控制系统的准确率、信息传输率欠佳,能输出的控制命令有限,脑机接口控制的稳定性有待进一步提高。另外,当只使用脑机接口直接控制来完成较为复杂的控制任务时,往往也会给使用者带来巨大的压力和精神负担。因此,为减轻用户交互负担,提高系统的有效性,众多学者致力于对脑机共享控制技术的研究[15]

共享控制整合了人和机器智能,从而可以更好地控制机器人[18,19,20]。具体来说,脑机接口通过对脑电信号进行获得控制指令,结合机器智能本身获得的控制指令,在不同层面上进行指令融合。人机共享控制的任务就是找到融合人和机器智能的最优控制方式。典型的基于脑机接口的人机共享控制系统结构包括脑机接口模块、智能控制模块和共享控制模块,如图2所示。

借助共享控制技术的脑机接口系统能够将人的感知、认知能力和机器智能强大的运算和存储能力结合,可充分发挥机器智能的优势,协助完成一些精细控制和复杂度较高的任务。相比于传统的直接控制机器人系统,基于脑机接口的人机共享控制系统具有两大技术优势:一是人机共享控制系统能完成更为复杂的控制任务,将人在上层规划和机器在精细控制的优势进行结合,得到良好的控制效果;二是传统的直接控制方式往往会给用户带来巨大的压力和精神负担,而人机共享控制系统能减轻用户控制负担,尤其是患有严重运动障碍(如闭锁综合征、严重中风、脊髓损伤等)的残疾人。此外,机器智能可以感知周围环境并提供精确的认知信号,从而减少用户持续发送指令来驱动机器设备的工作量。

图1

图1   基于脑机接口的直接控制系统


图2

图2   基于脑机接口的人机共享控制系统


3 基于脑机接口的人机共享控制技术

目前,大量基于脑机接口的人机共享控制技术被提出,下面对国内外主要的基于脑机接口的人机共享控制技术进行介绍。

3.1 按参与时间分类

一般来说,从人和机器智能参与时间角度来看,基于脑机接口的人机共享控制技术一般可以被分为两种:分时共享控制[21,22,23]和全时共享控制[24,25]

3.1.1 分时共享控制

在分时共享控制系统中,人和机器智能工作在不同的时间周期。这类系统中往往预设了多个可选目标,首先用户根据自身意图选取某一目标,之后脑机接口系统将采集到的脑电信号解码成指令,机器智能收到指令后自动地完成相应的任务。在这类系统中,目标选取和任务执行是两个相互独立的过程。目前,国内外已有众多学者对分时共享控制系统进行了深入的研究,Zhang Z J等人[20]提出了基于脑机接口和机器视觉的脑控机械臂辅助饮水系统,并招募多名志愿者进行实验。实验过程中,被试通过 P300-BCI 对远端的多个杯子进行选取,随后机械臂对目标杯子进行自主抓取,并平滑地递送到被试面前完成辅助饮水任务。Yang C G等人[26]提出了基于 SSVEP-BCI 和视觉伺服技术的人机共享控制系统,该系统将机器视觉和脑机接口的刺激范式进行整合,被试可以根据机器视觉的实时画面进行目标选取。目前,由于这类共享控制方案的实现较为简单,分时共享控制在不同的领域都得到了广泛的应用。但是在这类系统中,当被试完成目标选取过程后,无法对后续的执行过程进行有效的干预,因此当被试的解码准确率较低时,这类系统的稳定性将受到影响,存在一定的局限性。

3.1.2 全时共享控制

与分时共享控制系统不同,在全时共享控制系统控制周期内,人和机器智能协作控制机器人。而且相比于分时共享控制,全时共享控制可以提高用户的控制权限,在整个控制周期中,用户都可以参与控制。Mandel C等人[24]基于SSVEP-BCI系统提出了共享控制系统,在该系统中脑电信号被解码成定向导航命令,并投影到一个不断更新的线路图环境中。Perrin X等人[27]提出了半自动导航方法,在该方法中,轮式机器人提供最有可能的动作行为,被试可以选择是否执行。Vanacker G等人[28]针对轮椅导航系统,在整个控制过程中,根据脑电信号对被试的转向意图进行估计,从而选择控制指令。Deng X Y等人[29]提出一种基于贝叶斯共享控制的脑驱动轮椅机器人系统,该系统通过贝叶斯方法将解码的脑控指令和机器智能的规划指令进行融合,能够在未知的复杂环境中实现连续的全时共享控制。这类共享控制系统可以增强交互能力,但同时也会增加系统的控制复杂度,而且在整个控制过程中如何分配人和机器智能的权重也是一个需要解决的重要问题。

3.2 按控制对象分类

按照控制对象,基于脑机接口的人机共享控制系统可以被分为单智能体和多智能体。目前基于脑机接口的人机共享控制系统针对单一机器人进行研究的文献较多,单一机器人主要也以移动机器人和机械臂两类系统为主。

3.2.1 单智能体

在控制移动机器人方面,大部分的学者主要研究轮椅机器人。Zhang R等人[30]利用脑机接口获取用户期望目标,进而结合自动导航技术实现轮椅在室内环境下的自动规划路径,并到达目标位置。另外,除了智能轮椅方面的研究,还有针对其他移动机器人的相关报道,例如Abu-Alqumsan M等人[31]根据用户的输入指令,利用贝叶斯规则对用户目标进行推断,从而实现移动机器人导航过程中的人机共享控制技术。Stawicki P等人[32]针对移动智能车实现一种基于脑机接口,可用于远程呈现和远程驾驶的特定辅助技术。

在控制机械臂方面,大多数学者针对机械臂抓取目标任务进行研究。例如Xu Y等人[33]结合机器视觉基于运动想象(motor imagery,MI)脑机接口实现机械臂目标抓取。Zhang W C等人[34]针对高自由度机械手抓取任务,提出了一种异步BCI共享控制方法,结合BCI控制和自动控制,同时考虑机器人的视觉反馈和自动控制修改不合理的控制命令。Sun F C等人[35]提出一种基于融合模糊佩特里网的模糊神经网络的共享控制方法,实现了机械臂目标抓取的任务。

在控制其他类型机器人方面,Shi T W等人[36]基于 MI 脑机接口建立决策子系统,采用半自主导航子系统对无人机进行自动避障,并提供导航决策子系统的可行方向,从而实现基于人机交互和半自主导航的无人机低速控制系统。Duan F等人[37]设计一种混合BCI系统,提供多模态BCI控制命令,如利用稳态视觉诱发电位(steady-state visual evoked potential,SSVEP)信号、不规律信号和MI信号分别生成移动控制命令、切换命令和操纵命令,并结合视觉模块实现人形机器人的辅助抓取任务。

3.2.2 多智能体

对于控制多智能体来说,由于多智能体系统存在更为复杂的不确定信息,涉及智能体之间分布控制、协调控制等问题,相比于单个智能体,其面临的问题更为复杂,因此也增加了控制难度,目前基于脑机接口的多智能体系统也越来越引起众多学者的兴趣。例如张超等人[38]提出采用基于 SSVEP的直接控制人形机器人和机械臂完成协作任务。Kirchner E A等人[39]提出了一个智能的人机交互系统,基于 P300 的单次试验可检测性的任务实现智能人机界面与多机器人控制。Zhao S等人[40]针对多协同轮式机器人实现基于脑机接口的远程控制问题,该系统首先通过BCI控制其中一个主机器人,另有一个机器人自主跟随主机器人运动,目前这类系统也多为先控制其中一个智能体,对整体的多智能体系统共享控制技术的设计较少。

3.3 按脑机接口模态分类

为了便于被试与机器进行交互,目前已发展出多种基于不同模态生理信号(如事件相关电位(event related potential,ERP)、SSVEP、MI以及多模态生理信号融合等)的非植入式的脑机接口共享交互系统。

3.3.1 ERP

ERP通过感官刺激诱发电生理信号[41],其反映了人脑在事件认知过程中的电位活动,因此也被称为“认知电位”。ERP包含了P100、P200、P300、N100和N200等多种成分。其中P300是一种不受刺激物理特性影响的内源性成分,是在刺激出现后300~600 ms产生的电位正偏转,目前相关研究较为深入且被广泛应用于临床医学。

Tang J S等人[42]提出一种基于共享控制技术的脑驱动机械臂控制系统,该系统通过机器视觉自动检测和定位目标,并通过“oddball”刺激范式诱发ERP,该系统采用分时共享控制的方式,被试只需在决策层面选取确定的目标,而将低层次的任务执行留给机器智能,从而提高了系统的整体效率。Iturrate I等人[23]提出了一种基于同步P300-BCI的脑驱动轮椅系统,将人的智能与自主导航系统进行集成,能够很好地在环境未知的场景中工作。被试首先根据当前视觉图像中可达的目标点进行选择,之后由智能轮椅自动导航到所选目标点。

3.3.2 SSVEP

SSVEP 是当人的视觉神经受到较长时间的重复视觉刺激时,在大脑皮层中采集到的电位活动[43]。SSVEP具有采集电极数较少、信噪比和数据传输速率较高、不需要训练、适应性强等优点,因而能够很容易地进行采集和分析。但由于 SSVEP 的诱发源往往是低频的闪烁刺激,因此容易造成被试在视觉上的疲劳。

Duan J D等人[44]提出一种基于SSVEP-BCI的脑驱动智能轮椅共享控制的方法。该方法针对BCI指令具有稀疏和不稳定的特点,采用一种双层共享控制策略来控制智能轮椅的转向,其中机器决策层负责管理特定上下文的BCI指令,意图匹配层负责根据被试的驾驶能力等因素生成合适的运动指令。Li Z J等人[45]针对轮椅导航控制问题,提出一种脑机控制和自主控制相结合的人机共享控制策略。该系统在脑机控制模式下基于 SSVEP 脑机接口生成两种脑信号,产生极多项式轨迹。在自主控制模式下,基于角度的势场合成和基于视觉的同步定位与映射技术来引导机器人在障碍物间导航。

3.3.3 MI

MI 是一种内源性自发脑电信号。与诱发性脑电信号不同,其不需要外界提供刺激,而是通过大脑意念想象肢体动作,产生的具有特异波形的脑电波[46]。由于基于MI的脑机接口系统具有灵活、无创、不需要提供刺激等特点,其常被用于协助残疾人控制物体,从而使残疾人实现生活自理。此外, MI 技术还可以作为一种康复理疗手段,可最大限度地帮助残疾人恢复其运动能力。

Xu Y等人[33]提出一种基于两类MI脑机接口和机器视觉引导的脑驱动机械臂系统。该系统采用分时共享控制方式,被试只需通过运动想象将机械臂移动到目标周围区域,之后便由机器视觉引导来精确估计目标的位置和姿态,并自动完成目标抓取任务。Gandhi V等人[47]提出一种基于自适应共享控制机制的、以用户为中心的智能自适应图形用户界面(intelligent adaptive user interface,iAUI),iAUI通过向被试提供不断更新的选项优先列表,提高信息传输速率,从而为机器人设备提供多自由度控制。Philips J等人[48]提出一种基于自适应共享控制的轮椅导航系统,当被试在驾驶轮椅时遇到更多困难时,共享控制系统将给予更多帮助。

3.3.4 多模态生理信号融合

虽然基于单模态的脑机接口系统能够实现对外部机器人系统的共享控制,但由于脑电信号存在信噪比低[49]、解码精度较低[50]等问题,基于单一模态的脑机接口系统在实际应用中存在较大局限性。为了解决这个问题,研究人员对多种模态生理信号进行融合,衍生出多模态脑机接口系统。相较于单模态生理信号,多模态生理信号能够更加精准地描述被试所处的不同状态,降低了系统噪声对解码过程的影响,更有利于进行准确有效的共享控制。此外,多模态生理信号的融合过程可以在不同层次上进行,一般有数据层、特征层和决策层。由于不同模态的生理信号的频率和幅值等物理特性相差较大,数据层的信号融合较为困难,目前的多模态脑机接口系统普遍采用特征层融合和决策层融合的形式[51]

Zhang R等人[30]基于MI和P300提出一种具有自动导航能力的共享控制轮椅。自动导航系统根据当前环境自动生成候选目的地和道路上的参考点,再由被试使用基于MI或P300的BCI选择目的地,最后由导航系统规划最优路径到达目的地。Zhang W C等人[52]基于MI和SSVEP提出一种机械臂共享控制抓取方法,解决了目标对象选择、机器臂智能规划和用户意图与机器臂共享控制等关键问题。Mcmullen D P等人[53]基于MI和眼动跟踪技术提出一种混合增强现实多模态操作神经集成环境(hybrid augmented reality multimodal operation neural integration environment,HARMONIE),该系统采用多模态信号输入、监督控制和智能机器人技术,允许用户通过眼球跟踪和计算机视觉选定一个物体,并通过大脑控制启动一个半自主的模块化假肢对物体进行抓放操作。

4 未来发展方向

(1)如何分配人机智能

在基于脑机接口的人机共享控制系统中,一方面,交互系统类型不同、人和机器智能的互动程度不同,会导致人与机器智能的分配权重不同,如果智能控制水平提高,则用户对机器人的控制权重可能降低;另一方面,人的权重增加也会导致人的控制负担加重,容易引起疲劳。另外,用户的控制水平不同会导致控制的稳定性不同,因此如何分配人与机器的智能权重,是共享控制系统面临的重要问题之一。Milliken L等人[54]提出基于部分可观测马尔可夫决策过程(partially observable Markov decision process,POMDP)的模型更新主体的专业知识信念,可以为机器人自主选择最优控制水平。Deng X Y等人[55]提出一种基于强化学习的脑状态评估网络BSE-NET,并利用置信评分的输出,设计了一种共享控制器,在机器人自主和人类操作者之间动态调整控制权。这些研究在一定程度上考虑了不同主体之间的差异,但如何在实践中有效地融合人的控制和机器人自主仍然是一个挑战,是未来提高人机共享控制的重要研究方向之一。

(2)人机智能融合框架的发展

目前,大多数基于脑机接口的人机共享控制系统的结构框架,是将人的智能和机器智能作为独立的两个部分,再通过相关策略将两者融合[56],这种框架系统有利于降低共享控制系统的难度,两类智能一般可以分开研究,互不影响。且目前大部分的共享控制融合方式常常采用“非此即彼”的策略,人和机器的智能并没有真正体现人机共生的关系,但在设计机器智能环节的过程中,为了实现更高层次的人机混合智能,必须考虑人的影响和不同人的作用等问题。因此设计更为灵活的人机智能融合框架也是未来重要的研究方向之一。

(3)多智能体人机共享控制的发展

目前大多数的人机共享控制主要是针对单智能体进行的,由于多智能体存在规模大、复杂和不确定信息等问题,相比于单智能体,研究的难度更大[57],进而增加了共享控制系统的难度。虽然也有一些学者在研究多智能体方面取得了一些可喜的成果,但由于控制难度的增加,基于脑机接口的多智能体的共享控制方法还处于初级阶段,大部分学者也是通过控制多智能体中的某一自主个体,然后将该自主个体与其他自主个体结合来实现多智能体的人机共享控制的。如何使多个智能体在人机共享控制下完成同一任务、学会彼此合作或竞争,也是未来基于脑机接口的多智能体共享控制的研究方向之一。

(4)群体共享控制

单被试的脑机接口系统日趋成熟和普遍[58],目前,针对控制同一外部设备的多被试实时交互控制的群体脑机接口系统也逐步在发展,较单被试、单范式系统来说,群体脑机接口系统具有较好的协作性,在复杂环境下,群体脑机接口系统也会更为高效,未来群体脑机接口的发展也将促进对群体BCI的共享控制系统的进一步研究。

5 结束语

本文主要介绍基于非植入式脑机接口的人机共享控制系统取得的研究进展。首先,阐述了直接控制和共享控制两类控制方式在人机交互过程中的优缺点;其次,从不同角度阐述了基于脑机接口的人机共享控制系统;最后,给出了共享控制系统未来的4个发展方向。

在过去的几年里,基于脑机接口的人机共享控制技术得到了较快的发展,各方面都取得了一些可喜的成果,但仍有诸多不足,与实现应用还有一段距离。人机共享控制也是一个典型的交叉学科问题,需要控制学、机器人学、机器学习、神经科学等多个学科的研究人员共同努力,才能推动其不断进步。

The authors have declared that no competing interests exist.
作者已声明无竞争性利益关系。

参考文献

RYBSKI P E , YOON K , STOLARZ J ,et al.

Interactive robot task training through dialog and demonstration

[C]// Proceedings of the 2nd ACM/IEEE International Conference on Human-Robot Interaction. New York:ACM Press, 2007.

[本文引用: 1]

GOODRICH M A , SCHULTZ A C .

Human-robot interaction:a survey

[M].[S.l.]: Now Publishers Inc., 2008.

[本文引用: 1]

WOLPAW J R , BIRBAUMER N , MCFARLAND D J ,et al.

Braincomputer interfaces for communication and control

[J]. Clinical Neurophysiology, 2002,113(6): 767-791.

[本文引用: 1]

WILSON J A , FELTON E A , GARELL P C ,et al.

ECoG factors underlying multimodal control of a brain-computer interface

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2006,14(2): 246-250.

[本文引用: 1]

CHAPIN J K , MOXON K A , MARKOWITZ R S ,et al.

Real-time control of a robot arm using simultaneously recorded neurons in the motor cortex

[J]. Nature Neuroscience, 1999,2(7): 664-670.

[本文引用: 1]

HOCHBERG L R , BACHER D , JAROSIEWICZ B ,et al.

Reach and grasp by people with tetraplegia using a neurally controlled robotic arm

[J]. Nature, 2013,485(7398): 372-375.

[本文引用: 1]

KIM D J , HAZLETT-KNUDSEN R , CULVER-GODFREY H ,et al.

How autonomy impacts performance and satisfaction:results from a study with spinal cord injured subjects using an assistive robot

[J]. IEEE Transactions on Systems,Man,and Cybernetics-Part A:Systems and Humans, 2011,42(1): 2-14.

[本文引用: 1]

DIEZ P F , MÜLLER S M T , MUT V A ,et al.

Commanding a robotic wheelchair with a high-frequency steady-state visual evoked potential based brain-computer interface

[J]. Medical Engineering and Physics, 2013,35(8): 1155-1164.

[本文引用: 1]

TANAKA K , MATSUNAGA K , WANG H O .

Electroencephalogram-based control of an electric wheelchair

[J]. IEEE Transactions on Robotics, 2005,21(4): 762-766.

[本文引用: 2]

CHOI K , CICHOCKI A .

Control of a wheelchair by motor imagery in real time

[C]// Proceedings of the 9th International Conference on Intelligent Data Engineering and Automated Learning.[S.l.:s.n.], 2008.

[本文引用: 1]

LOPES A C , PIRES G , NUNES U .

Assisted navigation for a brain-actuated intelligent wheelchair

[J]. Robotics and Autonomous Systems, 2013,61: 245-258.

[本文引用: 1]

FIFER M S , HOTSON G , WESTER B A ,et al.

Simultaneous neural control of simple reaching and grasping with the modular prosthetic limb using intracranial EEG

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2014,22(3): 695-705.

[本文引用: 1]

VIDAURRE C , KLAUER C , SCHAUER T ,et al.

EEG-based BCI for the linear control of an upper-limb neuroprosthesis

[J]. Medical Engineering and Physics, 2016: 1195-1204.

[本文引用: 1]

HORTAL E , PLANELLES D , COSTA A ,et al.

SVM-based brain-machine interface for controlling a robot arm through four mental tasks

[J]. Neurocomputing, 2015,151(1): 116-121.

[本文引用: 1]

BI L Z , FAN X A , LIU Y L .

EEG-based brain-controlled mobile robots:a survey

[J]. IEEE Transactions on Human-Machine Systems, 2013,43(2): 161-176.

[本文引用: 2]

DASGUPTA S , FANTON M , PHAM J ,et al.

Brain controlled robotic platform using steady state visual evoked potentials acquired by EEG

[C]// Proceedings of the 45th Asilomar Conference on Signals,Systems and Computers. Piscataway:IEEE Press, 2011.

[本文引用: 1]

LONG J Y , LI Y Q , WANG H T ,et al.

A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2012,20(5): 720-729.

[本文引用: 2]

MILLAN J R , RENKENS F , MOURINO J ,et al.

Noninvasive brain-actuated control of a mobile robot by human EEG

[J]. IEEE Transactions on Biomedical Engineering, 2004,51(6): 1026-1033.

[本文引用: 1]

SATTI A R , COYLE D,PRASADG .

Self-paced brain-controlled wheelchair methodology with shared and automated assistive control

[C]// Proceedings of the 2011 IEEE Symposium on Computational Intelligence,Cognitive Algorithms,Mind,and Brain. Piscataway:IEEE Press, 2011.

[本文引用: 1]

ZHANG Z J , HUANG Y Q , CHEN S Y ,et al.

An intention-driven semi-autonomous intelligent robotic system for drinking

[J]. Frontiers in Neurorobotics, 2017,11: 1-14.

[本文引用: 2]

BURGARD W , CREMERS A B , FOX D ,et al.

Experiences with an interactive museum tour-guide robot

[J]. Artificial Intelligence, 1999,114(1-2): 3-55.

[本文引用: 1]

BOURHIS G , AGOSTINI Y .

The vahm robotized wheelchair:system architecture and human-machine interaction

[J]. Journal of Intelligent and Robotic Systems, 1998,22(1): 39-50.

[本文引用: 1]

ITURRATE I , ANTELIS J M , KUBLER A ,et al.

A noninvasive brain-actuated wheelchair based on a P300 neurophysiological protocol and automated navigation

[J]. IEEE Transactions on Robotics, 2009,25(3): 614-627.

[本文引用: 2]

MANDEL C , LUTH T , LAUE T ,et al.

Navigating a smart wheelchair with a brain-computer interface interpreting steady-state visual evoked potentials

[C]// Proceedings of the 31st 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway:IEEE Press, 2009: 1118-1125.

[本文引用: 2]

MILLAN J J D R , GALAN F , VANHOOYDONCK D ,et al.

Asynchronous non-invasive brain-actuated control of an intelligent wheelchair

[C]// Proceedings of the 31st International Conference of the IEEE Engineering in Medicine and Biology Society.[S.l.:s.n.], 2009.

[本文引用: 1]

YANG C G , WU H W , LI Z J ,et al.

Mind control of a robotic arm with visual fusion technology

[J]. IEEE Transactions on Industrial Informatics, 2018,14: 3822-3830.

[本文引用: 1]

PERRIN X , CHAVARRIAGA R , COLAS F ,et al.

Brain-coupled interaction for semi-autonomous navigation of an assistive robot

[J]. Robotics and Autonomous Systems, 2010,58(12): 1246-1255.

[本文引用: 1]

VANACKER G , MILLÁN J R , LEW E ,et al.

Context-based filtering for assisted brain-actuated wheelchair driving

[J]. Computational Intelligence and Neuroscience, 2010,2007: 25130.

[本文引用: 1]

DENG X Y , YU Z L , LIN C G ,et al.

A Bayesian shared control approach for wheelchair robot with brain machine interface

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2020,28: 328-338.

[本文引用: 1]

ZHANG R , LI Y Q , YAN Y Y ,et al.

Control of a wheelchair in an indoor environment based on a brain-computer interface and automated navigation

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2016,24: 128-139.

[本文引用: 2]

ABU-ALQUMSAN M , EBERT F , PEER A .

Goal-recognition-based adaptive brain-computer interface for navigating immersive robotic systems

[J]. Journal of Neural Engineering, 2017,14: 036024.

[本文引用: 1]

STAWICKI P , GEMBLER F , VOLOSYAK I .

Driving a semiautonomous mobile robotic car controlled by an SSVEP-based BCI

[J]. Computational Intelligence and Neuroscience, 2016: 4909685.

[本文引用: 1]

XU Y , DING C , SHU X K ,et al.

Shared control of a robotic arm using non-invasive brain-computer interface and computer vision guidance

[J]. Robotics and Autonomous Systems, 2019,115(6).

[本文引用: 2]

ZHANG W C , SUN F C , WU H ,et al.

Asynchronous brain-computer interface shared control of robotic grasping

[J]. Tsinghua Science and Technology, 2019,24: 360-370.

[本文引用: 1]

SUN F C , ZHANG W C , CHEN J H ,et al.

Fused fuzzy petri nets:a shared control method for brain-computer interface systems

[J]. IEEE Transactions on Cognitive and Developmental Systems, 2018,11: 188-199.

[本文引用: 1]

SHI T W , WANG H , ZHANG C .

Brain computer interface system based on indoor semi-autonomous navigation and motor imagery for unmanned aerial vehicle control

[J]. Expert Systems with Applications, 2015,42: 4196-4206.

[本文引用: 1]

DUAN F , LIN D X , LI W Y ,et al.

Design of a multimodal EEG-based hybrid BCI system with visual servo module

[J]. IEEE Transactions on Autonomous Mental Development, 2015,7: 332-341.

[本文引用: 1]

张超, 熊馨, 任泓锦 ,.

直接脑控多机器人协作任务研究

[J]. 生物医学工程学杂志, 2018,35(6): 943-952.

[本文引用: 1]

ZHANG C , XIONG X , REN H J ,et al.

Direct brain-controlled multi-robot cooperation task

[J]. Journal of Biomedical Engineering, 2018,35(6): 943-952.

[本文引用: 1]

KIRCHNER E A , KIM S K , TABIE M ,et al.

An intelligent man-machine interface-multi-robot control adapted for task engagement based on single-trial detectability of P300

[J]. Frontiers in Human Neuroscience, 2016,10: 291.

[本文引用: 1]

ZHAO S , LI Z J , CUI R C ,et al.

Brain-machine interfacing-based teleoperation of multiple coordinated mobile robots

[J]. IEEE Transactions on Industrial Electronics, 2016,64: 5161-5170.

[本文引用: 1]

FARWELL L A , DONCHIN E .

Talking off the top of your head:toward a mental prosthesis utilizing event-related brain potentials

[J]. Electroencephalography and Clinical Neurophysiology, 1988,70: 510-523.

[本文引用: 1]

TANG J S , ZHOUZ T .

A shared-control based BCI system:for a robotic arm control

[C]// Proceedings of the 1st International Conference on Electronics Instrumentation and Information Systems.[S.l.:s.n.], 2017: 1-5.

[本文引用: 1]

REGAN D .

Some characteristics of average steady-state and transient responses evoked by modulated light

[J]. Electroencephalography and Clinical Neurophysiology, 1966,20(3): 238-248.

[本文引用: 1]

DUAN J D , LI Z J , YANG C G ,et al.

Shared control of a brain-actuated intelligent wheelchair

[C]// Proceedings of the 11th World Congress on Intelligent Control and Automation. Piscataway:IEEE Press, 2015: 341-346.

[本文引用: 1]

LI Z J , ZHAO S N , DUAN J D ,et al.

Human cooperative wheelchair with brain-machine interaction based on shared control strategy

[J]. IEEE/ASME Transactions on Mechatronics, 2017,22(1): 185-195.

[本文引用: 1]

JEANNEROD M .

The representing brain:neural correlates of motor intention and imagery

[J]. Behavioral and Brain Sciences, 1994,17(2): 187-202.

[本文引用: 1]

GANDHI V , PRASAD G , COYLE D ,et al.

EEG-based mobile robot control through an adaptive brain-robot interface

[J]. IEEE Transactions on Systems Man and Cybernetics Systems, 2014,44(9): 1278-1285.

[本文引用: 1]

PHILIPS J , MILLÁNJ D R , VANACKER G ,et al.

Adaptive shared control of a brain-actuated simulated wheelchair

[C]// Proceedings of the 2007 IEEE 10th International Conference on Rehabilitation Robotics. Piscataway:IEEE Press, 2007.

[本文引用: 1]

王仲朋, 陈龙, 何峰 ,.

面向康复与辅助应用的脑-机接口趋势与展望

[J]. 仪器仪表学报, 2017,38(6): 1307-1318.

[本文引用: 1]

WANG Z P , CHEN L , HE F ,et al.

Development trend and prospect of BCI technology facing rehabilitation and assisting applications

[J]. Chinese Journal of Scientific Instrument, 2017,38(6): 1307-1318.

[本文引用: 1]

HUANG D D , QIAN K , FEI D Y ,et al.

Electroencephalography (EEG)-based brain-computer interface (BCI):a 2-D virtual wheelchair control based on event-related desynchronization/synchronization and state control

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2012,20(3): 379-388.

[本文引用: 1]

胡章芳, 张力, 徐渝松 ,.

混合脑机接口的研究现状及应用

[J]. 重庆邮电大学学报(自然科学版), 2018,30(4): 511-517.

[本文引用: 1]

HU Z F , ZHANG L , XU Y S ,et al.

Research status and application based on hybrid brain computer interface

[J]. Journal of Chongqing University of Posts and Telecommunications (Natural Science Edition), 2018,30(4): 511-517.

[本文引用: 1]

ZHANG W C , SUN F C , LIU C F ,et al.

A hybrid EEG-based BCI for robot grasp controlling

[C]// Proceedings of the 2017 IEEE International Conference on Systems,Man and Cybernetics. Piscataway:IEEE Press, 2017.

[本文引用: 1]

MCMULLEN D P , HOTSON G , KATYAL K D ,et al.

Demonstration of a semi-autonomous hybrid brain-machine interface using human intracranial EEG,eye tracking,and computer vision to control a robotic upper limb prosthetic

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2014,22: 784-796.

[本文引用: 1]

MILLIKEN L , HOLLINGER G A .

Modeling user expertise for choosing levels of shared autonomy

[C]// Proceedings of the 2017 IEEE International Conference on Robotics and Automation. Piscataway:IEEE Press, 2017: 2285-2291.

[本文引用: 1]

DENG X Y , YU Z L , LIN C G ,et al.

Self-adaptive shared control with brain state evaluation network for human-wheelchair cooperation

[J]. Journal of Neural Engineering, 2020,17: 45005.

[本文引用: 1]

戴廷飞, 刘邈, 叶阳阳 ,.

人机共享控制机器人系统的应用与发展

[J]. 仪器仪表学报, 2019,40(3): 62-73.

[本文引用: 1]

DAI T F , LIU M , YE Y Y ,et al.

Application and development of human-machine shared control robot system

[J]. Chinese Journal of Scientific Instrument, 2019,40(3): 62-73.

[本文引用: 1]

刘佳, 陈增强, 刘忠信 .

多智能体系统及其协同控制研究进展

[J]. 智能系统学报, 2010,5(1): 1-9.

[本文引用: 1]

LIU J , CHEN Z Q , LIU Z X .

Advances in multi-agent systems and cooperative control

[J]. CAAI Transactions on Intelligent Systems, 2010,5(1): 1-9.

[本文引用: 1]

李方博, 龚安民, 刘方毅 ,.

基于运动想象的双脑脑机接口系统设计与鼠标控制应用

[J]. 科学技术与工程, 2018,18(27): 170-175.

[本文引用: 1]

LI F B , GONG A M , LIU F Y ,et al.

Design of double brain brain-computer interface system based motor imagery and application of mouse-control

[J]. Science Technology and Engineering, 2018,18(27): 170-175.

[本文引用: 1]

/