基于脑机接口的人机共享控制技术研究
Research on human-computer shared control technology based on brain-computer interface
通讯作者: 俞祝良,zlyu@scut.edu.cn
修回日期: 2020-02-08 网络出版日期: 2021-03-15
基金资助: |
|
Revised: 2020-02-08 Online: 2021-03-15
Fund supported: |
|
作者简介 About authors
邓晓燕(1983-),女,华南理工大学自动化科学与工程学院高级实验师,主要研究方向为模式识别与智能控制系统。 。
俞祝良(1973-),男,博士,华南理工大学自动化科学与工程学院教授,主要研究方向为信号处理、模式识别、机器学习及其在通信、生物医学工程等方面的应用。 。
林灿光(1995-),男,华南理工大学自动化科学与工程学院硕士生,主要研究方向为控制工程。 。
顾正晖(1973-),女,博士,华南理工大学自动化科学与工程学院教授,主要研究方向为信号处理和模式识别。 。
李远清(1966-)男,博士,华南理工大学自动化科学与工程学院教授,主要研究方向为盲信号处理、稀疏表示、机器学习和脑机接口。 。
脑机接口作为神经工程领域中活跃的研究方向,在生物医学、神经康复和智能机器人等领域具有重要的研究意义。基于脑机接口的人机共享控制技术结合了人和机器智能的自身特点,相较于直接控制的脑机接口控制技术有着诸多的优势。因此,从不同角度对基于非植入式的脑机接口的人机共享控制进行了分类和阐述,并对其未来研究方向和发展趋势进行了展望,以期为人机共享控制技术研究提供新的思路和方向。
关键词:
As an active research direction in the field of neural engineering, brain-computer interface (BCI) has important research significance in biomedicine, neural rehabilitation, intelligent robot and other fields.The human-computer shared control technology based on BCI combines the advantages of human and machine intelligence, and has many advantages compared with the direct control BCI control technology.The human-computer shared control based on non-invasive BCI was classified and introduced from different points of view, and the future research direction and development trend of the human-computer shared control system based on BCI were forecasted to provide new ideas and directions.
Keywords:
本文引用格式
邓晓燕, 俞祝良, 林灿光, 顾正晖, 李远清.
DENG Xiaoyan.
1 引言
人机交互是人与计算机、机器之间传递和交换信息的重要手段。近年来,随着人工智能的发展,人机交互技术受到了巨大关注[1,2]。在众多人机交互技术中,脑机接口(brain-computer interface)作为一种新型的人机交互技术,越来越受到人们的重视[3,4,5]。脑机接口技术可以将人脑信号直接解码转换成外部设备的控制信号,而不需要周围神经系统或肌肉组织的参与,因此脑机接口技术经常被应用于一些特殊人群,如残疾人群体或者在特殊环境中需要扩展交互能力的群体。脑机接口对于残疾人的运动功能辅助与康复具有重要的作用[6,7,8],也为解决人口老龄化带来的社会护理问题提供了一条可行途径。一般来说,脑机接口可被分为植入式和非植入式两类,本文只针对非植入式的脑机接口的人机共享控制进行探讨。
本文对基于非植入式的脑机接口的人机共享控制技术面临的问题、研究进展进行了梳理。第2节对基于脑机接口的控制系统进行了描述,并介绍了两种典型的交互方式;第3节对现有的基于脑机接口的人机共享控制研究进行了分类,对传统的人机共享控制技术进行了总结;第4节对基于脑机接口的人机共享控制技术面临的挑战和研究趋势进行了总结和展望,第5节对全文进行总结。
2 基于脑机接口控制系统的基本框架
脑机接口技术的研究始于 20 世纪 70 年代中期,经过 20 多年的发展终于取得了重大的突破,成为神经科学领域的重点研究课题之一。在脑控机器人系统中,根据人和机器之间的互动程度[15],脑机接口控制系统有两种典型的交互方式:直接控制和共享控制。直接控制的系统结构比较简单,即利用脑机接口获得的脑电信号直接控制机器人[16,17],如图1所示。在直接控制的方式下,脑机接口控制系统一般完全由脑机接口控制,其性能完全取决于脑机接口的性能,并不需要机器人额外的智能。国内外有众多学者已经在这方面进行了深入的研究,如 Tanaka K 等人[9]提出了基于脑电图(electroencephalography,EEG)的脑机接口控制电动轮椅的方法,Long J Y等人[17]提出利用混合脑机接口来控制轮椅的方向和速度,并在仿真和实际的轮椅场景下进行了实验。但是,当前脑机接口控制系统的准确率、信息传输率欠佳,能输出的控制命令有限,脑机接口控制的稳定性有待进一步提高。另外,当只使用脑机接口直接控制来完成较为复杂的控制任务时,往往也会给使用者带来巨大的压力和精神负担。因此,为减轻用户交互负担,提高系统的有效性,众多学者致力于对脑机共享控制技术的研究[15]。
借助共享控制技术的脑机接口系统能够将人的感知、认知能力和机器智能强大的运算和存储能力结合,可充分发挥机器智能的优势,协助完成一些精细控制和复杂度较高的任务。相比于传统的直接控制机器人系统,基于脑机接口的人机共享控制系统具有两大技术优势:一是人机共享控制系统能完成更为复杂的控制任务,将人在上层规划和机器在精细控制的优势进行结合,得到良好的控制效果;二是传统的直接控制方式往往会给用户带来巨大的压力和精神负担,而人机共享控制系统能减轻用户控制负担,尤其是患有严重运动障碍(如闭锁综合征、严重中风、脊髓损伤等)的残疾人。此外,机器智能可以感知周围环境并提供精确的认知信号,从而减少用户持续发送指令来驱动机器设备的工作量。
图1
图2
3 基于脑机接口的人机共享控制技术
目前,大量基于脑机接口的人机共享控制技术被提出,下面对国内外主要的基于脑机接口的人机共享控制技术进行介绍。
3.1 按参与时间分类
3.1.1 分时共享控制
在分时共享控制系统中,人和机器智能工作在不同的时间周期。这类系统中往往预设了多个可选目标,首先用户根据自身意图选取某一目标,之后脑机接口系统将采集到的脑电信号解码成指令,机器智能收到指令后自动地完成相应的任务。在这类系统中,目标选取和任务执行是两个相互独立的过程。目前,国内外已有众多学者对分时共享控制系统进行了深入的研究,Zhang Z J等人[20]提出了基于脑机接口和机器视觉的脑控机械臂辅助饮水系统,并招募多名志愿者进行实验。实验过程中,被试通过 P300-BCI 对远端的多个杯子进行选取,随后机械臂对目标杯子进行自主抓取,并平滑地递送到被试面前完成辅助饮水任务。Yang C G等人[26]提出了基于 SSVEP-BCI 和视觉伺服技术的人机共享控制系统,该系统将机器视觉和脑机接口的刺激范式进行整合,被试可以根据机器视觉的实时画面进行目标选取。目前,由于这类共享控制方案的实现较为简单,分时共享控制在不同的领域都得到了广泛的应用。但是在这类系统中,当被试完成目标选取过程后,无法对后续的执行过程进行有效的干预,因此当被试的解码准确率较低时,这类系统的稳定性将受到影响,存在一定的局限性。
3.1.2 全时共享控制
与分时共享控制系统不同,在全时共享控制系统控制周期内,人和机器智能协作控制机器人。而且相比于分时共享控制,全时共享控制可以提高用户的控制权限,在整个控制周期中,用户都可以参与控制。Mandel C等人[24]基于SSVEP-BCI系统提出了共享控制系统,在该系统中脑电信号被解码成定向导航命令,并投影到一个不断更新的线路图环境中。Perrin X等人[27]提出了半自动导航方法,在该方法中,轮式机器人提供最有可能的动作行为,被试可以选择是否执行。Vanacker G等人[28]针对轮椅导航系统,在整个控制过程中,根据脑电信号对被试的转向意图进行估计,从而选择控制指令。Deng X Y等人[29]提出一种基于贝叶斯共享控制的脑驱动轮椅机器人系统,该系统通过贝叶斯方法将解码的脑控指令和机器智能的规划指令进行融合,能够在未知的复杂环境中实现连续的全时共享控制。这类共享控制系统可以增强交互能力,但同时也会增加系统的控制复杂度,而且在整个控制过程中如何分配人和机器智能的权重也是一个需要解决的重要问题。
3.2 按控制对象分类
按照控制对象,基于脑机接口的人机共享控制系统可以被分为单智能体和多智能体。目前基于脑机接口的人机共享控制系统针对单一机器人进行研究的文献较多,单一机器人主要也以移动机器人和机械臂两类系统为主。
3.2.1 单智能体
3.2.2 多智能体
对于控制多智能体来说,由于多智能体系统存在更为复杂的不确定信息,涉及智能体之间分布控制、协调控制等问题,相比于单个智能体,其面临的问题更为复杂,因此也增加了控制难度,目前基于脑机接口的多智能体系统也越来越引起众多学者的兴趣。例如张超等人[38]提出采用基于 SSVEP的直接控制人形机器人和机械臂完成协作任务。Kirchner E A等人[39]提出了一个智能的人机交互系统,基于 P300 的单次试验可检测性的任务实现智能人机界面与多机器人控制。Zhao S等人[40]针对多协同轮式机器人实现基于脑机接口的远程控制问题,该系统首先通过BCI控制其中一个主机器人,另有一个机器人自主跟随主机器人运动,目前这类系统也多为先控制其中一个智能体,对整体的多智能体系统共享控制技术的设计较少。
3.3 按脑机接口模态分类
为了便于被试与机器进行交互,目前已发展出多种基于不同模态生理信号(如事件相关电位(event related potential,ERP)、SSVEP、MI以及多模态生理信号融合等)的非植入式的脑机接口共享交互系统。
3.3.1 ERP
ERP通过感官刺激诱发电生理信号[41],其反映了人脑在事件认知过程中的电位活动,因此也被称为“认知电位”。ERP包含了P100、P200、P300、N100和N200等多种成分。其中P300是一种不受刺激物理特性影响的内源性成分,是在刺激出现后300~600 ms产生的电位正偏转,目前相关研究较为深入且被广泛应用于临床医学。
3.3.2 SSVEP
SSVEP 是当人的视觉神经受到较长时间的重复视觉刺激时,在大脑皮层中采集到的电位活动[43]。SSVEP具有采集电极数较少、信噪比和数据传输速率较高、不需要训练、适应性强等优点,因而能够很容易地进行采集和分析。但由于 SSVEP 的诱发源往往是低频的闪烁刺激,因此容易造成被试在视觉上的疲劳。
3.3.3 MI
MI 是一种内源性自发脑电信号。与诱发性脑电信号不同,其不需要外界提供刺激,而是通过大脑意念想象肢体动作,产生的具有特异波形的脑电波[46]。由于基于MI的脑机接口系统具有灵活、无创、不需要提供刺激等特点,其常被用于协助残疾人控制物体,从而使残疾人实现生活自理。此外, MI 技术还可以作为一种康复理疗手段,可最大限度地帮助残疾人恢复其运动能力。
Xu Y等人[33]提出一种基于两类MI脑机接口和机器视觉引导的脑驱动机械臂系统。该系统采用分时共享控制方式,被试只需通过运动想象将机械臂移动到目标周围区域,之后便由机器视觉引导来精确估计目标的位置和姿态,并自动完成目标抓取任务。Gandhi V等人[47]提出一种基于自适应共享控制机制的、以用户为中心的智能自适应图形用户界面(intelligent adaptive user interface,iAUI),iAUI通过向被试提供不断更新的选项优先列表,提高信息传输速率,从而为机器人设备提供多自由度控制。Philips J等人[48]提出一种基于自适应共享控制的轮椅导航系统,当被试在驾驶轮椅时遇到更多困难时,共享控制系统将给予更多帮助。
3.3.4 多模态生理信号融合
虽然基于单模态的脑机接口系统能够实现对外部机器人系统的共享控制,但由于脑电信号存在信噪比低[49]、解码精度较低[50]等问题,基于单一模态的脑机接口系统在实际应用中存在较大局限性。为了解决这个问题,研究人员对多种模态生理信号进行融合,衍生出多模态脑机接口系统。相较于单模态生理信号,多模态生理信号能够更加精准地描述被试所处的不同状态,降低了系统噪声对解码过程的影响,更有利于进行准确有效的共享控制。此外,多模态生理信号的融合过程可以在不同层次上进行,一般有数据层、特征层和决策层。由于不同模态的生理信号的频率和幅值等物理特性相差较大,数据层的信号融合较为困难,目前的多模态脑机接口系统普遍采用特征层融合和决策层融合的形式[51]。
Zhang R等人[30]基于MI和P300提出一种具有自动导航能力的共享控制轮椅。自动导航系统根据当前环境自动生成候选目的地和道路上的参考点,再由被试使用基于MI或P300的BCI选择目的地,最后由导航系统规划最优路径到达目的地。Zhang W C等人[52]基于MI和SSVEP提出一种机械臂共享控制抓取方法,解决了目标对象选择、机器臂智能规划和用户意图与机器臂共享控制等关键问题。Mcmullen D P等人[53]基于MI和眼动跟踪技术提出一种混合增强现实多模态操作神经集成环境(hybrid augmented reality multimodal operation neural integration environment,HARMONIE),该系统采用多模态信号输入、监督控制和智能机器人技术,允许用户通过眼球跟踪和计算机视觉选定一个物体,并通过大脑控制启动一个半自主的模块化假肢对物体进行抓放操作。
4 未来发展方向
(1)如何分配人机智能
在基于脑机接口的人机共享控制系统中,一方面,交互系统类型不同、人和机器智能的互动程度不同,会导致人与机器智能的分配权重不同,如果智能控制水平提高,则用户对机器人的控制权重可能降低;另一方面,人的权重增加也会导致人的控制负担加重,容易引起疲劳。另外,用户的控制水平不同会导致控制的稳定性不同,因此如何分配人与机器的智能权重,是共享控制系统面临的重要问题之一。Milliken L等人[54]提出基于部分可观测马尔可夫决策过程(partially observable Markov decision process,POMDP)的模型更新主体的专业知识信念,可以为机器人自主选择最优控制水平。Deng X Y等人[55]提出一种基于强化学习的脑状态评估网络BSE-NET,并利用置信评分的输出,设计了一种共享控制器,在机器人自主和人类操作者之间动态调整控制权。这些研究在一定程度上考虑了不同主体之间的差异,但如何在实践中有效地融合人的控制和机器人自主仍然是一个挑战,是未来提高人机共享控制的重要研究方向之一。
(2)人机智能融合框架的发展
目前,大多数基于脑机接口的人机共享控制系统的结构框架,是将人的智能和机器智能作为独立的两个部分,再通过相关策略将两者融合[56],这种框架系统有利于降低共享控制系统的难度,两类智能一般可以分开研究,互不影响。且目前大部分的共享控制融合方式常常采用“非此即彼”的策略,人和机器的智能并没有真正体现人机共生的关系,但在设计机器智能环节的过程中,为了实现更高层次的人机混合智能,必须考虑人的影响和不同人的作用等问题。因此设计更为灵活的人机智能融合框架也是未来重要的研究方向之一。
(3)多智能体人机共享控制的发展
目前大多数的人机共享控制主要是针对单智能体进行的,由于多智能体存在规模大、复杂和不确定信息等问题,相比于单智能体,研究的难度更大[57],进而增加了共享控制系统的难度。虽然也有一些学者在研究多智能体方面取得了一些可喜的成果,但由于控制难度的增加,基于脑机接口的多智能体的共享控制方法还处于初级阶段,大部分学者也是通过控制多智能体中的某一自主个体,然后将该自主个体与其他自主个体结合来实现多智能体的人机共享控制的。如何使多个智能体在人机共享控制下完成同一任务、学会彼此合作或竞争,也是未来基于脑机接口的多智能体共享控制的研究方向之一。
(4)群体共享控制
单被试的脑机接口系统日趋成熟和普遍[58],目前,针对控制同一外部设备的多被试实时交互控制的群体脑机接口系统也逐步在发展,较单被试、单范式系统来说,群体脑机接口系统具有较好的协作性,在复杂环境下,群体脑机接口系统也会更为高效,未来群体脑机接口的发展也将促进对群体BCI的共享控制系统的进一步研究。
5 结束语
本文主要介绍基于非植入式脑机接口的人机共享控制系统取得的研究进展。首先,阐述了直接控制和共享控制两类控制方式在人机交互过程中的优缺点;其次,从不同角度阐述了基于脑机接口的人机共享控制系统;最后,给出了共享控制系统未来的4个发展方向。
在过去的几年里,基于脑机接口的人机共享控制技术得到了较快的发展,各方面都取得了一些可喜的成果,但仍有诸多不足,与实现应用还有一段距离。人机共享控制也是一个典型的交叉学科问题,需要控制学、机器人学、机器学习、神经科学等多个学科的研究人员共同努力,才能推动其不断进步。
参考文献
Interactive robot task training through dialog and demonstration
[C]//
Human-robot interaction:a survey
[M].[S.l.]:
Braincomputer interfaces for communication and control
[J]. ,
ECoG factors underlying multimodal control of a brain-computer interface
[J]. ,
Real-time control of a robot arm using simultaneously recorded neurons in the motor cortex
[J]. ,
Reach and grasp by people with tetraplegia using a neurally controlled robotic arm
[J]. ,
How autonomy impacts performance and satisfaction:results from a study with spinal cord injured subjects using an assistive robot
[J]. ,
Commanding a robotic wheelchair with a high-frequency steady-state visual evoked potential based brain-computer interface
[J]. ,
Electroencephalogram-based control of an electric wheelchair
[J]. ,
Control of a wheelchair by motor imagery in real time
[C]//
Assisted navigation for a brain-actuated intelligent wheelchair
[J]. ,
Simultaneous neural control of simple reaching and grasping with the modular prosthetic limb using intracranial EEG
[J]. ,
EEG-based BCI for the linear control of an upper-limb neuroprosthesis
[J]. ,
SVM-based brain-machine interface for controlling a robot arm through four mental tasks
[J]. ,
EEG-based brain-controlled mobile robots:a survey
[J]. ,
Brain controlled robotic platform using steady state visual evoked potentials acquired by EEG
[C]//
A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair
[J]. ,
Noninvasive brain-actuated control of a mobile robot by human EEG
[J]. ,
Self-paced brain-controlled wheelchair methodology with shared and automated assistive control
[C]//
An intention-driven semi-autonomous intelligent robotic system for drinking
[J]. ,
Experiences with an interactive museum tour-guide robot
[J]. ,
The vahm robotized wheelchair:system architecture and human-machine interaction
[J]. ,
A noninvasive brain-actuated wheelchair based on a P300 neurophysiological protocol and automated navigation
[J]. ,
Navigating a smart wheelchair with a brain-computer interface interpreting steady-state visual evoked potentials
[C]//
Asynchronous non-invasive brain-actuated control of an intelligent wheelchair
[C]//
Mind control of a robotic arm with visual fusion technology
[J]. ,
Brain-coupled interaction for semi-autonomous navigation of an assistive robot
[J]. ,
Context-based filtering for assisted brain-actuated wheelchair driving
[J]. ,
A Bayesian shared control approach for wheelchair robot with brain machine interface
[J]. ,
Control of a wheelchair in an indoor environment based on a brain-computer interface and automated navigation
[J]. ,
Goal-recognition-based adaptive brain-computer interface for navigating immersive robotic systems
[J]. ,
Driving a semiautonomous mobile robotic car controlled by an SSVEP-based BCI
[J]. ,
Shared control of a robotic arm using non-invasive brain-computer interface and computer vision guidance
[J]. ,
Asynchronous brain-computer interface shared control of robotic grasping
[J]. ,
Fused fuzzy petri nets:a shared control method for brain-computer interface systems
[J]. ,
Brain computer interface system based on indoor semi-autonomous navigation and motor imagery for unmanned aerial vehicle control
[J]. ,
Design of a multimodal EEG-based hybrid BCI system with visual servo module
[J]. ,
直接脑控多机器人协作任务研究
[J]. ,
Direct brain-controlled multi-robot cooperation task
[J].
An intelligent man-machine interface-multi-robot control adapted for task engagement based on single-trial detectability of P300
[J]. ,
Brain-machine interfacing-based teleoperation of multiple coordinated mobile robots
[J]. ,
Talking off the top of your head:toward a mental prosthesis utilizing event-related brain potentials
[J]. ,
A shared-control based BCI system:for a robotic arm control
[C]//
Some characteristics of average steady-state and transient responses evoked by modulated light
[J]. ,
Shared control of a brain-actuated intelligent wheelchair
[C]//
Human cooperative wheelchair with brain-machine interaction based on shared control strategy
[J]. ,
The representing brain:neural correlates of motor intention and imagery
[J]. ,
EEG-based mobile robot control through an adaptive brain-robot interface
[J]. ,
Adaptive shared control of a brain-actuated simulated wheelchair
[C]//
面向康复与辅助应用的脑-机接口趋势与展望
[J]. ,
Development trend and prospect of BCI technology facing rehabilitation and assisting applications
[J].
Electroencephalography (EEG)-based brain-computer interface (BCI):a 2-D virtual wheelchair control based on event-related desynchronization/synchronization and state control
[J]. ,
混合脑机接口的研究现状及应用
[J]. ,
Research status and application based on hybrid brain computer interface
[J].
A hybrid EEG-based BCI for robot grasp controlling
[C]//
Demonstration of a semi-autonomous hybrid brain-machine interface using human intracranial EEG,eye tracking,and computer vision to control a robotic upper limb prosthetic
[J]. ,
Modeling user expertise for choosing levels of shared autonomy
[C]//
Self-adaptive shared control with brain state evaluation network for human-wheelchair cooperation
[J]. ,
人机共享控制机器人系统的应用与发展
[J]. ,
Application and development of human-machine shared control robot system
[J].
多智能体系统及其协同控制研究进展
[J]. ,
Advances in multi-agent systems and cooperative control
[J].
/
〈 | 〉 |