智能科学与技术学报, 2021, 3(1): 36-48 doi: 10.11959/j.issn.2096-6652.202104

专题：情感脑机接口

情感脑机接口研究综述

吕宝粮1,2,3,4,5, 张亚倩1,2,3,5, 郑伟龙6

1 上海交通大学计算机科学与工程系仿脑计算与机器智能研究中心，上海 200240

2 上海交通大学上海市教委智能交互与认知工程重点实验室，上海 200240

3 上海交通大学脑科学与技术研究中心，上海 200240

4 上海交通大学清源研究院，上海 200240

5 上海交通大学医学院附属瑞金医院脑机接口与神经调控中心，上海 200025

6 麻省理工学院脑与认知科学系，美国 剑桥 02139

A survey of affective brain-computer interface

LU Bao-Liang1,2,3,4,5, ZHANG Yaqian1,2,3,5, ZHENG Wei-Long6

1 Center for Brain-like Computing and Machine Intelligence, Department of Computer Science and Engineering, Shanghai Jiao Tong University, Shanghai 200240, China

2 Key Laboratory of Shanghai Education Commission for Intelligent Interaction and Cognitive Engineering, Shanghai Jiao Tong University, Shanghai 200240, China

3 Brain Science and Technology Research Center, Shanghai Jiao Tong University, Shanghai 200240, China

4 Qing Yuan Research Institute, Shanghai Jiao Tong University, Shanghai 200240, China

5 Center for Brain-machine Interface and Neuromodulation, RuiJin Hospital, Shanghai Jiao Tong University School of Medicine, Shanghai 200025, China

6 Department of Brain and Cognitive Science, Massachusetts Institute of Technology, Cambridge 02139, USA

通讯作者: 吕宝粮，bllu@sjtu.edu.cn

修回日期: 2021-03-04   网络出版日期: 2021-03-15

基金资助: 国家自然科学基金资助项目.  61976135

Revised: 2021-03-04   Online: 2021-03-15

Fund supported: The National Natural Science Foundation of China.  61976135

作者简介 About authors

吕宝粮（1960-），男，IEEEFellow，上海交通大学计算机科学与工程系教授、博士生导师，上海交通大学计算机科学与工程系仿脑计算与机器智能研究中心主任，上海交通大学上海市教委智能交互与认知工程重点实验室主任，上海交通大学医学院附属瑞金医院脑机接口与神经调控中心共同主任，上海交通大学医学院附属瑞金医院脑病中心米哈游联合实验室主任，上海交通大学清源研究院执行院长。长期致力于仿脑计算理论与模型、神经网络、情感智能和情感脑机接口的基础算法及其在情感障碍疾病的诊疗的应用等方向的研究。亚太神经网络学会理事，IEEETransactionsonCognitiveandDevelopmentalSystems、《模式识别与人工智能》《智能科学与技术学报》编委。曾获得2018IEEETransactionsonAutonomousMentalDevelopment最佳论文奖和2020年度第十届吴文俊人工智能科学技术奖自然科学奖一等奖。 。

张亚倩（1992-），女，博士，上海交通大学计算机科学与工程系助理研究员，主要研究方向为强化学习、人机交互。 。

郑伟龙（1988-），男，博士，麻省理工学院脑与认知科学系博士后，主要研究方向为脑机接口、情感计算、计算神经科学。 。

摘要

情感智能研究的一个重要目标是让机器对人的情绪进行实时、准确的判别，并在此基础上进行更加自然、友好的人机交互。情感脑机接口是一种对人的情绪进行识别和（或）调控的脑机接口，是目前实现情感智能的主要途径。阐述了情感脑机接口的基本概念、工作原理、研究现状、代表性应用和发展趋势，探讨了情感脑机接口在通用人工智能发展过程中所能发挥的作用以及情感脑机接口研究面临的挑战。

关键词： 情感计算 ; 情感脑机接口 ; 情绪识别 ; 情绪调控 ; 多模态情感脑机接口 ; 通用人工智能

Abstract

An important research goal in emotion artificial intelligence is to make machines understand and recognize human emotions in real-time and facilitate human-computer interaction in a more natural and friendly way.Affective brain-computer interface (aBCI) is a type of BCI that can recognize and/or modulate human emotion.Thus, aBCI plays a critical role in promoting emotion artificial intelligence.The basic concepts and recent research development of aBCI were summarized, and the applications of aBCI in a wide range of domains were outlined.The roles that the aBCI can play in the development of artificial general intelligence and the challenges faced by the aBCI research community were discussed.

Keywords： affective computing ; affective brain-computer interface ; emotion recognition ; emotion regulation ; multimodal affective brain-computer interface ; artificial general intelligence

PDF (921KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

吕宝粮, 张亚倩, 郑伟龙. 情感脑机接口研究综述. 智能科学与技术学报[J], 2021, 3(1): 36-48 doi:10.11959/j.issn.2096-6652.202104

LU Bao-Liang. A survey of affective brain-computer interface. Chinese Journal of Intelligent Science and Technology[J], 2021, 3(1): 36-48 doi:10.11959/j.issn.2096-6652.202104

1 引言

人们在日常生活和交流中，通常通过面部表情、语音对话、肢体语言等外部行为信号识别周围人的情绪，从而实现带有情感的自然的交流与互动。如何让机器也能像人一样对人的情绪进行实时、准确的判别，并在此基础上进行更加自然、友好的人机交互，是情感智能（emotion artificial intelligence）或情感计算（affective computing）研究的重要目标之一。情感脑机接口（affective brain computer interface，aBCI）是情感智能的一个分支，也是目前实现情感智能研究目标的重要途径[1]。

情感脑机接口是一种对人的情绪进行识别和（或）调控的脑机接口。由于情绪的复杂性，相比运动脑机接口（如运动想象脑机接口），情感脑机接口面临更多的挑战[2,3,4]。情感脑机接口研究面临的困难和研究现状可归纳为以下3个方面：①相对于记忆、学习等大脑的基本功能，神经科学对情绪产生的神经机理和神经回路了解甚少，缺乏有效的技术手段从系统层面对动物模型的情绪开展客观、定量的研究；②从人工智能的发展过程来看，情感智能的研究在近期才得到学术界和工业界的关注，情感脑机接口的研究相对起步较晚；③国内外从事情感脑机接口研究的实验室和团队相对较少，研究论文和专著的数目远远少于运动脑机接口。

本文综述了情感脑机接口的研究现状、基本原理和关键算法，介绍了情感脑机接口研究面临的挑战，展望了情感脑机接口未来的发展趋势和应用前景。第2节简要介绍了情绪、情绪模型和情绪的神经机理。第3节介绍了情感脑机接口的基本要素和重要算法，重点讨论了脑电信号的基本特性，情绪诱发实验、情绪类别的标注和情绪脑电数据集，以及基于迁移学习的跨被试和跨模态情感模型。第4节介绍了多模态情感脑机接口，探讨了包括眼动等多模态生理信号和外部行为信号的多模态融合问题。第5节介绍了代表性的情感脑机接口应用和正在开发的情感脑机接口应用系统。第6节讨论了情感脑机接口对通用人工智能（artificial general intellgence）研究可能发挥的作用和情感脑机接口有待解决的问题。第7节对全文进行了总结。

2 情绪、情绪模型和情绪的神经机理

情绪是在外界刺激条件下人的复杂的生理物理变化过程，具有 3 种成分：主观体验，即人对于不同情绪的自我感受；外部表现，即人处在不同情绪时身体各部分动作的量化反应形式；生理唤醒，即由情绪的变化引起的生理信号的变化[5]。

人的情绪会受到时间、地理、文化以及个体差异等因素的影响。目前，研究人员主要关注两类情绪模型：离散模型和维度模型。离散模型认为情绪是由多种不同的、离散的基本情绪组成的，其余的情绪是这些基本情绪的组合，人的真实情绪包含这些基本情绪以及其他复杂情绪。离散模型中比较著名的是Ekman P提出的情绪理论[6]。

维度模型则把情绪定义在由多个维度组成的坐标系中，其中被广泛使用的是Russell J A于1980年提出的情绪二维模型[7]，它将人类的所有情绪描述在由效价（valence）和唤醒度（arousal）建立的二维坐标系中。所有情绪可以由该二维坐标系中的一个点坐标表示。通过使用维度的方法，人们可以更具体地评估和量化刺激引发的情绪反应。

上述离散模型和维度模型在情感脑机接口中被广泛应用。但值得注意的是，最近的心理学相关研究指出了这些传统模型的局限性[4]。一方面，维度模型中正面和负面情绪被描述为互斥关系，但人类日常生活中存在快乐和悲伤共同出现的情绪，例如大学毕业的时刻[8]，维度模型无法很好地描述这种情绪。另一方面，近年来发展的积极心理学理论指出，传统的情绪理论对于正面情绪的复杂性考虑不足，实际上人们在日常生活中可以体验到多种复杂的积极情绪，包括喜悦、感激、兴趣、希望、骄傲、娱乐、灵感和爱心等[9]。因此，情感脑机接口研究的重要挑战是如何结合心理学、认知科学等学科的最新研究进展，建立更完备和精细的情绪模型，从而实现更自然的情感交互。

人们一般认为人类情感产生于边缘系统脑区之间的相互作用，边缘系统脑区包括杏仁核、海马、岛叶和扣带回皮质。但受之前的研究所采用的技术手段在空间和时间分辨率上的限制，边缘系统脑区在快速时间尺度上的相互作用是如何影响情绪变化的，尚无定论。

神经影像是研究人类情绪的重要手段之一。研究者利用断层扫描和功能磁共振等手段观察人类在不同情绪下大脑的变化，探究情绪解剖学的机理与关联。例如许多研究发现，杏仁核在及早自动发现环境中的威胁和危险以及触发恐惧/焦虑体验方面发挥作用[10,11]。类似地，与正面情绪相关的研究发现，幸福感和奖惩机制与基底神经节（腹侧纹状体和壳状核）激活相关[12]。

上述关于情绪的研究主要侧重解剖方面，通过动物实验，神经科学家可以进一步研究情绪产生和变化的神经机理和因果关系。目前，已经在哺乳动物大脑皮层下区域发现了一些核心情感系统，如基于多巴胺的促进积极觅食的搜寻系统，基于杏仁核、末端纹状体的床核传播网络的焦虑情绪相关系统等[13]。

但关于动物究竟是否拥有类似于人的情绪体验以及如何定义动物的情绪的基本问题，学界尚未有明确的共识。2020年德国马普所的研究团队发表在《科学》期刊上的文章研究了小鼠的6种情绪[14]。该研究发现，小鼠在6种外界刺激下会展现出相应的面部表情，并在岛状皮质区域检测到相关的神经元活动。这种面部表情的变化在强度、效价、持久性上均表现出与情绪相似的特性。这一发现是动物情绪模型研究的一项具有里程碑意义的突破。结合物种之间的同源性，将人类影像学的研究发现和动物实验的发现结合，有望帮助人们加速对人类自身情绪神经机理探索的进程，从而为情感脑机接口的研究提供神经生理学的支撑。

3 情感脑机接口

本节主要介绍情感脑机接口的基本要素，包括情绪识别和情绪调控脑机接口的整体结构、脑电信号的采集与处理、脑电信号的基本特性、情绪诱发实验的设计、情绪类别的标注以及常用的情绪脑电数据集。然后结合新的深度学习算法，重点探讨基于迁移学习的跨被试和跨模态情感模型的研究进展。

3.1 情感脑机接口的构成

情感脑机接口结构示意图如图1所示。具体地讲，情感脑机接口可细分为两类：一类仅对人的情绪进行识别（emotion recognition），被称为情绪识别脑机接口；另一类在情绪识别的基础上对人的情绪进行调控（emotion recognition and regulation），被称为情绪调控脑机接口。目前，国内外对情感脑机接口的研究大多属于情绪识别脑机接口，而情绪调控脑机接口的研究刚刚起步，尚处于萌芽阶段。

从图1可以看出，情绪识别脑机接口的结构（图1虚线框内部分）与运动脑机接口类似，人的大脑在整个系统中的作用是担当控制器（controller）[3]，系统的目标是对人的情绪进行解码，或称其为情绪识别。从系统的角度来看，情绪识别脑机接口的结构是一个开环系统。

在上述情绪识别脑机接口的基础上结合调控回路（图1绿线部分）即可组成情绪调控脑机接口。情绪调控脑机接口与情绪识别脑机接口，在以下两方面有着根本的区别。①在情绪调控脑机接口中，人的大脑由控制器转变为一种装置（plant）[3]。而控制器由两部分构成，一是情绪解码系统，二是情绪解码后对大脑施加刺激的情绪调控系统。②情绪调控脑机接口是一个闭环系统，情绪解码之后紧接着需要对大脑施加相应的刺激，以实现情绪调控。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1   情感脑机接口结构示意图


3.2 脑电信号

脑电图（electroencephalography，EEG）是情感脑机接口使用最广泛的一种生理信号[15,16,17]。目前，常用的脑电采集设备有湿电极和干电极两种。从信号质量的角度来看，湿电极普遍优于干电极，但干电极的优点是佩戴方便，适合普通人使用。

认知科学和临床医学的研究发现，脑电活动与情绪、认知密切相关。例如，脑电中的alpha频段和theta频段与脑力劳动或记忆负荷相关[18,19]。类似地，临床医学的相关研究发现，静息态前额叶alpha频段脑电活动的不对称性与抑郁症程度相关[20,21]。基于这些生理现象和脑电信号特征，研究者可以利用信号处理技术和深度学习算法分析脑电信号，提取与情绪和认知相关的特征，从而对人的内部状态进行检测。

具体而言，对脑电信号的处理和分析流程一般包括预处理、特征提取、特征平滑、训练分类器和测试等[5,16]。由于脑电信号非常微弱，在采集过程中非常容易受到人体自身的其他生理信号以及外界环境的干扰，所以首先需要对脑电信号进行预处理，去除包括眼电伪迹、肌电伪迹、心电伪迹、皮肤电活动干扰、工频干扰等噪声与干扰。

在对脑电信号进行预处理后，提取与情绪相关的脑电特征，通过离散短时傅里叶变换算法将时序的脑电信号转换到频域上。在频域上，脑电信号可分为5个频段，即delta（0.5～4 Hz）、theta（4～8 Hz）、alpha （8～13 Hz）、beta（13～30 Hz）和gamma（30～42 Hz）。利用信号处理技术，提取脑电信号在不同频段的情绪特征，常用的特征包括能量谱密度（power spectrum density，PSD）、微分熵（differential entropy， DE）、微分熵不对称（rational asymmetry，RASM），以及微分熵不对称差（differential asymmetry， DASM）等。

此外，由于情绪的变化是一个相对平缓的渐变过程，而提取的脑电特征的变化常常较为剧烈。因此，为了去除脑电特征中与情绪无关的脑电活动，可以采用线性动力系统平滑算法对脑电信号进行特征平滑，从而消除或降低与情绪无关的脑电信号的影响。最后，将提取的特征输入分类器进行训练和测试。

值得注意的是，脑电信号是一种非稳态信号，不同个体的脑电信号有差异，即使同一个体的脑电信号也会随着时间的变化而变化。因此，利用脑电信号进行情绪识别需要回答的基本问题是，脑电信号是否存在与情绪类别相关的模式，这种模式是否广泛存在于不同个体之间，并在时间上稳定。针对此问题，研究者发现了一些有趣的跨被试的情绪模式[22]。在beta和gamma频段，侧颞叶区域对于正面情绪的激活比负面情绪的激活更多。更为重要的是，在对同一被试进行3次重复实验，每次间隔1周以上的实验条件下，上述的关键频段和脑区会稳定出现。这些发现为基于脑电信号的情绪识别奠定了理论基础。

在脑电信号采集方面，实验室常用的脑电信号采集设备一般包含32通道、62通道或128通道。其中可能包含一些与情绪无关的脑电信号，给情绪识别带来噪声和干扰。因此，找出关键的导联位置很重要，可以为脑电帽的设计和穿戴设备的简化提供参考。

自20世纪90年代开始，医学、认知科学等领域的研究人员就在探索与情绪相关的关键脑电特征。1985年Ray W J等人[23]发表在《科学》期刊上的文章指出，在正面和负面情绪任务中，颞叶区域左右半球大脑的beta频段脑电激活强度存在差异。类似地，Ahern G L等人[24]在额叶区域观察到情绪的偏侧化激活，正面情绪时，左半球比右半球激活程度高，而负面情绪时，正好相反。近年来，随着机器学习技术的发展，研究者可以通过更有效的数据分析技术进一步研究脑电活动与情绪的关系。Zheng W L等人[22]通过分析深度信念网络的权重发现，情绪识别中颞叶和前额叶附近的通道对于情绪识别最重要，并且基于这些脑区位置的4个关键导联对3类情绪进行识别的准确率可以达到甚至超过使用全部62个通道的准确率。在频段方面，一些相关研究通过小波变换[25]、支持向量机（support vector machine，SVM）[26,27]、功能网络分析[28]等方法发现， beta和gamma等高频段与情绪识别的关系更密切。

3.3 情绪诱发实验和情绪类别标注

目前，情感脑机接口的研究一般在可控的实验室环境下进行，通过情感交互实验诱发被试的情绪，同时采集被试的脑电信号和其他生理信号。具体地，在实验过程中，要求被试积极主动地接受情绪刺激素材的刺激，如图片、音频和视频等，以便诱发出特定的被试情绪。这类实验被称为情绪诱发实验。这样做的原因是目前还没有很好的技术手段能在日常生活中采集高质量的带标签的情感数据，所以只能在实验室环境里完成特定的情绪诱发任务。当然，情感脑机接口的最终目标是不需要用户接受额外的刺激，用户可以在日常生活的真实场景中自由地使用情感脑机接口。

在情绪类别标注方面，目前主要采用问卷形式。具体地，一种标注方式为静态离散标注，在一段情绪刺激结束后，让被试针对情绪诱发状态填写问卷。另一种标注方式为实时连续标注，让被试对情绪刺激过程中的状态进行实时连续打分，一般被应用于效价-唤醒度的连续情绪模型[29,30,31]。在情绪类别的标注准确性方面，与运动状态相比，情绪的标注往往面临的难度更大。原因是被试很难客观、准确、定量地描述自身的情绪。事实上，与情绪相关的心理学研究和临床研究的一个重要挑战就是如何找到精确、客观的情绪类别标注方法。

3.4 情绪脑电数据集

目前，在情感脑机接口研究中使用较为广泛[16]的两个数据集分别是DEAP数据集[32]和SEED数据集[22]。DEAP数据集包括32名被试的32通道的脑电数据，以及其他生理信号（眼电、肌电、皮肤电反应、呼吸、血液体积压力、皮肤温度、面部视频）。实验中，被试观看40个1 min的音乐视频，并对唤醒度、效价，喜欢/不喜欢，支配度和熟悉度进行打分。

SEED数据集目前包括3个子集，即3类情绪脑电数据集SEED、4 类情绪脑电数据集SEED-IV和警觉度估计脑电数据集 SEED-VIG。3 类情绪脑电数据集SEED包含15名被试的62通道的脑电和眼动数据，每位被试在不同时间参与了3次实验，在每次实验中，被试观看了15段4 min左右的电影片段，诱发的情绪为正面、中性以及负面3类。相较于其他数据集，该数据集的特点是包含了相同被试不同时间的情绪数据，有助于研究脑电和眼动数据随时间变化的模式和规律，评估模型或系统跨被试和跨实验的性能变化。

此外，一些其他常用的情感脑电数据集包括DREAMER[33]（23名被试的14通道脑电、心电数据）、CAS-THU[34]（30名被试的14通道脑电数据）、MANHOB-HCI[35]（27名被试的32通道脑电、皮肤电、心电、注视、呼吸、视频等数据）、ASCERTAIN[36] （58名被试的8通道脑电、肌电、皮肤电、面部视频数据）以及AMIGOS[37]（40名被试的14通道脑电、肌电、皮肤电数据）等。

3.5 跨被试情感模型与迁移学习

传统机器学习算法的一个重要前提假设是训练数据与测试数据必须独立同分布。当被试的脑电信号之间存在较大的个体差异时，直接采用传统的机器学习算法一般难以构建精确的跨被试情绪识别模型。针对个体差异性问题，目前的主流解决方法是通过迁移学习构建更为通用的情绪识别模型[38,39,40,41,42]。

在迁移学习框架中，标注好的训练数据集被称为源域（source domain），测试数据集被称为目标域（target domain）。迁移学习的核心思想是降低源域和目标域之间的域差异（domain shift），使得在源域上训练的模型可以被推广到目标域。

Zheng W L等人[40]研究发现，将基于直推参数迁移的迁移学习方法应用于情感脑机接口，能将3类情绪（正面、中性、负面）的识别准确率从56%提升到76%左右。类似地，Lin Y P等人[38]通过条件迁移学习模型，在情绪的效价和唤醒度预测上实现了12%～15%的性能提升。

随着深度学习的发展，基于深度网络和生成对抗网络的迁移学习也被应用于情感脑机接口，使跨被试的情绪识别性能获得了明显的提升。基于Wasserstein 距 离 的 生 成 对 抗 域 适 应 网 络（Wasserstein generative adversarial network domain adaptation，WGANDA）达到了目前 SEED 数据集上跨被试情绪识别的最高准确率87%，相较于传统的方法提升了29%左右[39]。由于在脑机接口中每一个被试都是一个源域，所以常常面临源域数目过多的问题。通过多源域选择算法，可以去除与新被试差异较大的数据，实现在减少计算量的同时避免产生负迁移（negative transfer）[38,43]。

尽管上述迁移学习方法不需要目标域的标签数据，但是仍然需要采集目标域的特征数据，此类算法被称为域适应（domain adaptation）算法。域适应算法的缺点是在实际使用中会导致校准时间过长。另一类迁移学习方法被称为域泛化（domain generalization）算法，它的核心思想是不需要采集目标域数据，而是使用来自多个源域的数据，以实现提取与域无关而与任务相关的特征信息为目标的特征映射。

域泛化算法的优点是可以对未知的目标域数据进行高鲁棒性的预测。在无法获取新被试的数据，或者要面向很多新被试进行预测的情况下，基于域泛化算法的情感脑机接口可以获得较高的精度和较强的泛化能力[44]。但是，域泛化算法由于没有使用任何目标域信息，性能往往低于域适应算法。

最近的一项研究工作尝试寻找域适应与域泛化算法之间的平衡，通过使用少量的目标域数据实现性能的提升。这种算法被称为即插即用域适应算法，能使跨被试的情感模型在 SEED 数据集上只使用45 s左右的校准数据，而获得了85%左右的准确率[45]。

总体而言，基于迁移学习方法，有望建立跨被试的高性能情感模型，从而扩大情感脑机接口的适用人群范围[40,46]。

3.6 跨模态情感模型

在情感脑机接口的实际应用中，由于硬件条件的限制，常常会产生模态改变或缺失的情况。一方面，脑电设备价格较为昂贵，并且佩戴与调试等操作难度较高，在家庭环境中配置难度较大。这些问题导致在许多应用场景中可能缺失脑电模态，而只有眼动、视频等模态。另一方面，不同的脑电设备的通道个数和信号质量常常不同，导致训练样本与实际采集的测试数据有差异，使模型的性能大大下降。因此，建立可靠、鲁棒的情感脑机接口的一个重要挑战是如何充分考虑实际使用情况，使模型在模态改变或缺失的情况下也能达到较为令人满意的性能。针对这些问题，一些学者研究了基于异质迁移学习（heterogeneous transfer learning，HTL）的跨模态情感模型[47]。异质迁移学习是针对源域和目标域的特征空间或任务空间不完全相同的场景提出的迁移学习方法[48]。

针对模态缺失的问题，在训练过程中，跨模态情感模型可以综合分析多个模态的信号，提取模态之间的关联特性。在测试阶段，基于部分模态信息进行预测。例如，建立脑电信号与眼动信号的关联，使得在脑电信号难以采集的应用场景中，可以通过异质迁移学习方法单独使用眼动信号对情绪做出评估，保证在模态缺失的情况下，评估性能的下降程度在可接受的范围内，从而提高模型的鲁棒性[47]。

4 多模态情感脑机接口

情绪的变化非常复杂，单一模态信号无法对情绪进行全面客观的度量。因此，对多模态情感脑机接口的研究越来越受到人们的关注。

4.1 多模态生理信号

除了脑电信号之外，融合其他生理信号有助于建立更准确的情感模型[16]。这些生理信号包括眼动[49]、眼电[50]、肌电[51]、心电[32]、皮肤电[52]和呼吸[53]等。

此外，将脑电等生理信号与音频、视频、文本等外部行为信号进行融合，可以进一步提升多模态情感脑机接口系统的性能[54,55,56]。研究结果表明，通过多模态深度学习算法提取多个模态共享的高层次特征，能够实现高效的多模态数据融合[57,58]。

4.2 眼动信号

眼动信号包含瞳孔直径、注视信息和扫视信号等重要特征。脑电信号和眼动信号分别表示内部神经模式与外部潜意识行为信息，研究发现，二者在情绪识别问题中展现了很好的互补特性。对于正面情绪，脑电信号优于眼动信号；对于中性和负面情绪，眼动信号比脑电信号具有更高的识别准确率[59]。将这两种信号有效地融合可以显著提高情绪识别准确率[58]。进一步地，多模态数据融合不局限于脑电、眼动两种模态，通过构建注意力机制的深度泛化典则关联分析模型（DGCCA-AM）[57]，可以实现任意多个模态的自适应融合，促进多模态情感脑机接口在更为复杂的场景中的应用。

4.3 外部行为信号

在日常生活和交流中，人们可以通过面部表情、语音对话、肢体语言等外部行为信号对周围人的情绪进行判断。在20世纪80年代，研究者就开始探索是否存在跨文化的通用面部表情，用以表达情绪[60,61]。

近年来，随着计算机视觉和语音处理技术的快速发展，研究者可以使用更为丰富和有效的技术手段来分析和处理面部表情、肢体语言、声音、文本等外部行为信号，并从中识别情绪。Cowen A S等人[62]通过深度学习算法研究了来自144个国家的600万个视频。作者从这些视频中发现了面部表情与社交场景的关系，例如婚礼、体育比赛等，这种关联普遍存在于不同文化背景下。这一研究结果为基于外部行为信号的情绪识别提供了进一步的技术支撑。

外部行为信号的优点是比较容易获取，这也促进了基于外部行为信号的情绪识别的广泛应用。但是外部行为信号也存在一定的局限性。情绪是一种内在的心理状态，人可以通过一定外部手段隐藏自己的真实情绪。例如，在一些社交场合通过微笑掩饰自己的消极情绪，这使得单纯依靠外部行为信号进行情绪识别会产生比较大的误差。

一些研究工作尝试结合脑电等生理信号与视频等外部行为信号进行更为鲁棒的情绪识别[54,55,56]。具体而言，Soleymani M等人[54]将基于脑电信号提取的功率谱特征与基于面部表情信号提取的基准点特征进行特征融合和决策级融合，以进行多模态的情绪识别。他们同时分析了脑电特征与面部表情特征的相关性，发现高频信号包含更多的愉悦情绪信息。类似地，Huang X H等人[56]将视频和脑电融合，基于效价-唤醒度情绪模型，建立了多模态情绪检测系统，发现两种信号的结合可以在一定程度上弥补其分别作为单一信息源的缺陷。

4.4 功能性神经成像

脑电信号的一个局限性是空间分辨率比较低。相比而言，基于血氧的脑成像技术（如功能磁共振等）具有较好的空间分辨率，已被广泛用于神经影像学研究，是研究人员探究大脑活动机制的重要工具。因此，在情绪的神经机理研究中，融合脑电与各种大脑成像模态信息可以提供高分辨率的时空神经图像，有助于在产生情感状态时进一步了解大脑机制。最近的一项研究工作发现了功能性近红外光谱技术（functional near-infrared spectroscopy， fNIRS）和脑电信号之间的相关性，并且与单一模态相比，融合fNIRS和脑电信号可以达到更高的情绪识别准确率[63]。

4.5 多模态信号融合

建立多模态情感脑机接口的关键问题是如何将多模态信号进行有效融合，从而实现对情绪的精确识别。常见的多模态融合方法包括：数据层面融合、特征层面融合以及决策层面融合。

数据层面融合[64]将不同模态的原始数据直接融合在一起。特征层面融合[65,66]提取不同模态的数据的特征，将提取的特征融合在一起。决策层面融合又叫决策级融合[67]，先由每类传感器基于自己的数据做出决策，然后由融合规则给出融合结果。常见的方法包括最大值规则、求和规则、模糊积分等。但是这种融合方式很难挖掘不同模态数据的深层次互补信息。

近年来深度学习的发展提供了一系列有效融合不同模态信号并提取情感特征的新方法[68,69]。基于深度学习的多模态信息融合模型包括多模态深度自编码器模型[69,70]和多模态深度玻尔兹曼机模型[71]。具体而言，将脑电和眼动信号的低层次特征输入多模态深度自编码器模型中，通过信号重建提取出两个模态共享的高层次特征。由于高层次特征包含了两种不同模态的信息，利用高层次的共享特征可以建立性能更好的情感模型。

5 情感脑机接口的应用

我国和全球的神经疾病和精神疾病的发病率逐年增加，给人类的健康带来重大挑战。例如，世界卫生组织指出，全球有超过2.64亿的抑郁症患者[72]，每年给全球经济造成约1万亿美元的负担，是导致全球疾病负担的一个重要因素。

另外，预计到2040年，我国65岁及以上老年人口占总人口的比例将超过 20%。到那时医院护理和家庭养老都需要大量的服务机器人。而服务机器人不像工业生产线上的工业机器人，它们必须与人打交道。因此，这些服务机器人必须具有情感智能。

本节介绍情绪识别脑机接口代表性应用和正在开发的两个情感脑机接口应用系统。

5.1 工作负荷检测

工作负荷通常是指任务需求与个人能力之间的比例关系[73]。当任务需求接近个人能力上限时，精神负荷较大。根据心流理论（flow theory）[74]，过高或过低的精神负荷均会导致注意力下降。了解人们的精神负荷情况有助于合理调节和分配工作量，从而提高工作和生产效率。在一些高压、高危环境中，需要工作人员长时间保持注意力高度集中，例如空中交通管制员[75]、飞行员[53]、驾驶员[49]等，因此对于工作负荷的检测格外重要。

常用的精神负荷评估指标包括任务完成的速度和准确性。但是，这两种指标的获取常常比较滞后，一般需要在任务完成之后才能获得。这使得调控系统无法及时捕捉个人状态的变化，从而无法及时进行反馈。另外，在一些情况下，完成任务的速度和准确性比较难以量化[76]。

为了获得实时、客观的精神负荷评估指标，研究人员探索了生理信号在精神负荷检测中的应用，包括脑电[77,78]、眼动[49]、皮肤电、心率[79]和呼吸频率[53]等。研究者比较不同生理信号的精神负荷检测结果发现，任务种类、强度和应用场景不同，生理信号的可靠性也会发生变化[80]。

工作负荷检测的研究环境大体可以分为实验室环境和真实/仿真环境。在实验室环境中，工作负荷检测的实验一般在控制身体运动和视觉输入的前提下，通过控制视觉等刺激来调控精神负荷强度。针对不同的应用场景，许多研究尝试了在仿真环境或者真实环境下的工作负荷检测。例如空中交通管制员[75,76,77,78,79,80,81]、飞行员[53]、驾驶员。值得注意的是，实验室环境与实际应用场景之间常常存在较大差距。事实上，与模拟任务相比，实际任务中相同生理信号度量值的范围往往更大。所以，如何将基于生理指标的检测标准从实验室环境有效转移到实际应用场景是该领域的一个重要挑战。

5.2 情感障碍疾病的辅助诊断

许多研究表明，前额叶皮层的脑电活动与情感障碍疾病有关。1993年Wheeler R E等人[21]发现，通过静息态 alpha 频段的脑电图功率测量反映出的前额叶激活中的半球不对称性，与情感刺激的效价反应有关。进一步研究发现，这种脑电活动的非对称性是一个稳定的特征，左额叶过度激活是抑郁症的稳定标志。研究人员采用左侧电极 alpha 活动减去右侧电极 alpha 活动获得不对称性评分，发现抑郁自评越严重的被试，不对称性评分越高。这一发现引起了许多人的相继研究，有些研究发现了相同的规律，有些研究却显示两者的关系并不显著。针对这一问题，Thibodeau R 等人[82]系统地对比和总结了不同的实验条件，探究 alpha 频段的不对称性与情感类障碍（抑郁症、焦虑症、抑郁合并焦虑）的关系是否受其他因素的影响。作者发现脑电记录的时间、被试的年龄以及抑郁评价的手段都会对实验结果产生影响。

除了脑电的不对称性特征之外，一些研究探索了其他脑电特征与情感障碍的关系。Damborská A等人[83]对 19 名不同程度的抑郁症病人（患者组）和19名健康对照组的静息态脑电微状态进行分析，通过聚类发现6种脑电微状态（A～F），在患者组中，发现蒙哥马利-艾森贝格抑郁评定量表的抑郁症状较高，且与微状态A的发生呈现相关关系。该实验结果显示，静息态的脑电微状态参数可以在一定程度上反映与抑郁症状相关的大规模脑网络动态变化。Cai H S 等人[84]采用基于案例推理（case-based reasoning，CBR）的机器学习算法分析脑电数据辅助抑郁情绪的检测。

由于精神障碍疾病的复杂特性，抑郁症也可能存在不同的症状组合，Putnam K M等人[20]探究了脑电与具体的抑郁症的症状的关系。作者通过高密度脑电图采样和多项自评量表方法，研究了与抑郁症相关的两个关键症状，即思维反刍（rumination）和自尊（self-esteem）。分析了6名抑郁症病人和7 名健康对照组的静息态 alpha 频段脑电活动与抑郁症状的关系。症状相关量表每天收集5次，测量7 天。该研究发现，在抑郁症组中，当思维反刍症状更加明显时，双侧前额叶相关脑电活动降低；当自尊水平更高时，常伴随着较低的左侧前额叶活动。而这种对应关系在健康对照组并没有被观察到。该结果表明，抑郁症的特定症状可能与前额叶alpha脑电活动特定模式相关。

此外，相似症状的患者中也可能存在不同的疾病亚型，参考文献[85]探索了通过静息态脑电区分不同的精神疾病亚型的可能性。该研究通过从高密度静息态脑电中溯源重建信号，利用静息态脑电的功能连接模式区分创伤后应激障碍和重度抑郁症两个亚型。

5.3 抑郁症的客观评估系统

目前，抑郁症评估与诊断主要靠临床医生根据患者自述以及自评或他评量表进行。由于量表填写过程比较主观，基于这些信息进行的抑郁症评估存在较大的个人差异，难以实现客观的评估。针对抑郁症客观评估的特点，本文提出了基于多模态情感脑机接口的解决方案和下列情绪交互实验的设计目标。

首先，实验需要有心理学或认知科学理论的支撑，通过设计和开发新的实验方案，反映出与心理学或认知科学实验类似的特性。其次，实验需要有一定的沉浸感、趣味性和交互性。由于抑郁症患者一个常见的表现是兴趣匮乏，增强实验的趣味性和交互性可以在一定程度上帮助抑郁症患者积极参与实验，并顺利完成实验任务，从而提升数据的可靠性和有效性。

本文开发的多模态情感脑机接口系统 LEAF，通过同步采集脑电、眼动、视频、音频和文本等多模态数据，能从多个角度对患者的情绪进行建模，从而提高情绪识别的准确率和可靠性，实现抑郁症客观评估的一些基本功能。

具体地，在问诊阶段，通过增加面部表情识别摄像头、录音设备、场景摄像头以及睡眠状态监测手环等，采集患者的行为信息和生理特征。医生问诊结束后，增加情感交互实验环节。在交互实验中融入对睡眠质量、情绪、注意力等指标的客观评测。实验结合个性化引导、机器人交互、多模态刺激等形式，使其既能诱发患者的情绪，又能让被试快速适应实验环境。

根据上述设计目标，本文探讨了如何将目前普遍使用的抑郁量表中的条目转化为客观的交互实验。常见的量表可以分为3类：通用的检查量表、通用的自评量表和用于特殊人群或特殊目的的抑郁量表。具体的常用量表包括：汉密尔顿抑郁量表[86]、Montgomerty-Asberg抑郁量表[87]等检测量表，流调用抑郁自评量表[88]、抑郁自评量表[89]、贝克忧郁量表[90]、9项患者健康问卷[91]等自评量表，以及医院焦虑抑郁量表[92]和纽卡斯尔抑郁诊断量表[93]这两个特殊类型的量表。上述量表大部分是对睡眠状态、情绪、注意力、反应时间、身体和精神状态及兴趣、动力等因素进行测试的。

根据量表反映的信息，笔者设计开发的抑郁症客观评估实验主要包括以下内容：睡眠状态评估、情绪评估、注意力评估以及警觉度评估。在实验中同步采集脑电、眼动、视频、语音和文本等多模态数据，用以建立抑郁症评估模型。

5.4 面向难治性抑郁症治疗的闭环神经调控系统

情绪调控脑机接口在对人的情绪进行解码之后，能够实现有效的情绪调控。在情感障碍疾病的诊治中，人们希望借助多模态情感脑机接口对患者的抑郁状态进行评估，并在恰当时刻进行神经调控。在侵入式神经调控系统中，借助脑深部电刺激（deep brain stimulation，DBS）技术[94,95]可以对相应脑区进行刺激，实现情绪的调节。

闭环脑机接口主要关注的问题是何时以何种方式进行干预最有效。不同的个体所需的最优干预方案可能不同，通过强化学习，可以根据情感脑机接口的反馈信息自适应地调节干预方式。例如，调节脑深部电刺激的刺激参数，从而达到最优的调控效果。图2 给出了一个面向难治性抑郁症治疗的基于强化学习的闭环神经调控框架。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2   基于强化学习的闭环神经调控框架


由于精神障碍在每个患者的大脑中的表现不同，个性化的脑深度刺激存在很多挑战。每个患者的大脑活动和症状对刺激的反应可能非常不同，这使得研究者很难知道刺激对特定患者的效果和影响。来自南加州大学的Shanechi团队开发了一种新方法[96]，通过开发动态输入输出模型来预测大脑多个脑区对刺激模式变化的反应。他们发现大脑网络活动受刺激的幅值和频率的调控，预测刺激的实时动态效果可以帮助研究者设计更加精确的闭环神经调控系统。

另外，来自加州大学旧金山分校的Scangos K W团队发现了轻度刺激对患有严重抗药性抑郁症患者的几个与情绪相关的大脑脑区的作用[97]。他们发现，对几个不同大脑脑区进行90 s的刺激，可以可靠地产生积极情绪，不同程度地改善患者症状，具体情况依赖于患者在刺激时的精神状态。对眶额叶皮质（orbitofrontal cortex）的刺激可以改善患者的情绪[98]。这些工作为下一步重大临床试验奠定了基础。

6 情感脑机接口的机遇与挑战

早在2016年，《科学美国人》就提出了关于未来人类的20个大问题，其中第15个问题是人们能用可穿戴技术探测自己的情绪吗。麻省理工学院罗瑟琳·皮卡回答说：在未来10年，可穿戴设备可以为人们的健康提供个性化的预报。未来 20 年，可穿戴式设备和从其获得的分析数据，能显著降低精神和神经疾病的发病概率。

相对于人类自身仅靠面部表情、语音对话、肢体语言来识别对方的情绪，多模态情感脑机接口系统可以利用更多模态的生理信号。因此，理论上讲，多模态情感脑机接口能更精确、客观地识别人的情绪，从而实现情感智能的研究目标。

6.1 情感脑机接口与通用人工智能

AlphaGo战胜人类围棋顶尖高手，从人工智能的角度，AlphaGo具有强大的逻辑智能，但它并不具有任何情感智能。李世石曾表示跟AlphaGo下棋没有感情上的交流，困难超出想象。这正体现出情感智能的重要性。未来的通用人工智能一定是逻辑智能和情感智能的有机结合，缺一不可。但是，目前无论是学术界还是工业界，还主要侧重于逻辑智能的研究与开发，对情感智能的研究尚处于萌芽阶段。

人工智能追求的终极目标是让机器能像人一样学习、思考和具有情感。根据目前神经科学、认知科学、计算机科学和人工智能的发展水平，要实现像人一样的情感至少需要经历4个阶段[5]。第一阶段，大多数人工智能系统仅具有逻辑智能，而不具备任何情感智能。第二阶段，机器能精确识别人的情绪并进行情感反馈。第三阶段，机器具有自主学习能力并对客观世界有全面的感知和认知。第四阶段，机器具有价值观、意识和创造性，形成自我，具有像人一样的情感，从而具有与人进行自然情感交互的能力。目前人工智能的研究水平正在从第一阶段迈向第二阶段。而在通用人工智能发展过程中，情感脑机接口将发挥重要的作用，因为它是能够使未来机器人精确地识别人的情绪的关键技术。

6.2 情感脑机接口面临的挑战

Shanechi M M[3]对运动脑机接口和情感脑机接口的特点进行了系统的分析和比较，总结了情感脑机接口面临的主要挑战。首先，从脑电信号获取的角度来说，情绪关联着分布式多点皮层网络，并且其职能尚未有明确定义。其次，从行为观测的角度来说，情绪一般按照情绪种类呈现离散化分布，并且情绪的动态变化频率较低。同时，在行为时间上，一种情绪可能持续数分钟至数天或更长。另外，从状态评估的角度来说，情绪评估往往面临的难度更大。常见评估方法是自我评估量表，通常准确性较低。理论上讲，情绪很难找到金标准，原因是每个人实际上都无法准确地定量描述自己的情绪。应用情感脑机接口进行情绪调控，需要充分理解脑刺激的效果，即对电刺激和大脑反应之间的关系进行建模。由于情绪关联着分布式多点皮层网络，建模过程面临更大的挑战。

除了上述提到的挑战，情感脑机接口还有以下尚未解决的问题。

（1）在数据采集方面，目前情感脑机接口的数据集存在较大的局限性。一方面，数据规模相对较小，一般不超过100人次。另一方面，被试比较单一，大部分是大学生。亟须综合考虑年龄、性别、受教育程度等因素，建立更全面、广泛的多模态情感数据集。

（2）在情绪诱发实验方面，情感脑机接口数据的采集主要依靠传统的实验范式，如基于视频、图片的情绪诱发实验。此类实验时间较长、内容单一。另外，目前的情绪实验设定与社交环境是隔离的，被试被动地接受刺激，不能主动地与环境互动。将来，需要通过引入社交互动来改善实验环境，提高情绪诱发的效果。

（3）情感标签被标注为离散的类别，这种方法没有考虑情绪随时间的动态变化。如何在连续的范围内准确地识别情绪，并在较高的时间分辨率下进行情绪类别标注，是需要解决的一个问题。

（4）需要引入更多的传感器模态，研究它们彼此之间的相互作用和互补特性。如何有效地将各种采样率下的不同模态的信号进行有效融合，仍然是一个未解决的问题。

（5）需要考虑实验室环境与实际应用环境的差异。如何将实验室环境下训练的情感模型高效地推广到实际应用环境，也是一个需要继续探索的研究课题。

7 结束语

本文围绕情感脑机接口的研究及应用，对近年来情感脑机接口的相关研究进行了综述。在基础理论方面，介绍了情绪、情绪模型和情绪的神经机理，以及情感脑机接口的基本构成，包括脑电信号的处理、情绪诱发实验的设计、情绪类别的标注以及常用的情绪脑电数据集。结合新的深度学习算法，介绍了基于迁移学习的跨被试和跨模态情感模型的研究进展。在多模态情感机接口方面，介绍了包括脑电、眼动等多模态生理信号，以及视频、音频等外部行为信号的多模态信号融合技术。在应用研究方面，介绍了情感脑机接口在工作负荷检测、情感障碍疾病的辅助治疗领域的应用，重点介绍了情感脑机接口辅助抑郁症的客观评估与治疗的研究进展。最后，列举了情感脑机接口研究需要解决的若干公开问题。

The authors have declared that no competing interests exist.
作者已声明无竞争性利益关系。

参考文献

WOLPAW J R , WOLPAW E W .

脑-机接口:原理与实践

[M]. 伏云发,杨秋红,徐保磊,等,译. 北京: 国防工业出版社, 2017.

[本文引用: 1]

WOLPAW J R , WOLPAW E W .

Brain-computer interfaces:principles and practice

[M]. Translated by FU Y F,YANG Q H,XU B L,et al. Beijing: National Defense Industry Press, 2017.

[本文引用: 1]

GRAIMANN B , ALLISON B Z , PFURTSCHELLER G .

Brain- computer interfaces:revolutionizing human-computer interaction

[M].[S.l.]: Springer Science ＆ Business Media, 2010.

[本文引用: 1]

SHANECHI M M .

Brain-machine interfaces from motor to mood

[J]. Nature Neuroscience, 2019,22: 1554-1564.

[本文引用: 4]

HU X , CHEN J J , WANG F ,et al.

Ten challenges for EEG-based affective computing

[J]. Brain Science Advances, 2019,5(1): 1-20.

[本文引用: 2]

吕宝粮, 郑伟龙 .

情感脑-机接口

[M]// 脑-计算机交互研究前沿. 上海: 上海交通大学出版社, 2021.

[本文引用: 3]

LYU B L , ZHENG W L .

Affective brain-computer interface

[M]// Frontiers of brain-computer interaction research. Shanghai: Shanghai Jiao Tong University Press, 2021.

[本文引用: 3]

EKMAN P .

An argument for basic emotions

[J]. Cognition and Emotion, 1992,6(3-4): 169-200.

[本文引用: 1]

RUSSELL J A .

A circumplex model of affect

[J]. Journal of Personality and Social Psychology, 1980,39(6): 1161-1178.

[本文引用: 1]

LARSEN J T , MCGRAW A P , CACIOPPO J T .

Can people feel happy and sad at the same time?

[J]. Journal of Personality and Social Psychology, 2001,81(4): 684-696.

[本文引用: 1]

FREDRICKSON B L .

Positive emotions broaden and build

[J]. Advances in Experimental Social Psycholog, 2013,47: 1-53.

[本文引用: 1]

BRANNAN S , LIOTTI M , EGAN G ,et al.

Neuroimaging of cerebral activations and deactivations associated with hypercapnia and hunger for air

[J]. Proceedings of the National Academy of Sciences, 2001,98(4): 2029-2034.

[本文引用: 1]

BÜCHEL C , DOLAN R J .

Classical fear conditioning in functional neuroimaging

[J]. Current Opinion in Neurobiology, 2000,10(2): 219-223.

[本文引用: 1]

PHAN K L , WAGER T , TAYLOR S F ,et al.

Functional neuroanatomy of emotion:a meta-analysis of emotion activation studies in PET and fMRI

[J]. Neuroimage, 2002,16(2): 331-348.

[本文引用: 1]

LIOTTI M , PANKSEPP J .

Imaging human emotions and affective feelings:implications for biological psychiatry

[M]. Canada: Wiley-Liss, 2004.

[本文引用: 1]

DOLENSEK N , GEHRLACH D A , KLEIN A S ,et al.

Facial expressions of emotion states and their neuronal correlates in mice

[J]. Science, 2020,368(6486): 89-94.

[本文引用: 1]

宿云, 胡斌, 徐立新 ,等.

面向脑电数据的知识建模和情感识别

[J]. 科学通报, 2015,60(11): 1002-1009.

[本文引用: 1]

SU Y , HU B , XU L X ,et al.

EEG-data-oriented knowledge modeling and emotion recognition

[J]. Chinese Science Bulletin, 2015,60(11): 1002-1009.

[本文引用: 1]

权学良, 曾志刚, 蒋建华 ,等.

基于生理信号的情感计算研究综述

[J]. 自动化学报, 2021,47: 1-16.

[本文引用: 4]

QUAN X L , ZENG Z G , JIANG J H ,et al.

Physiological signals based affective computing:a systematic review

[J]. Acta Automatica Sinica, 2021,47: 1-16.

[本文引用: 4]

张冠华, 余旻婧, 陈果 ,等.

面向情绪识别的脑电特征研究综述

[J]. 中国科学(信息科学), 2019,49(9): 1097-1118.

[本文引用: 1]

ZHANG G H , YU M J , CHEN G ,et al.

A review of EEG features for emotion recognition

[J]. Science in China (Information Sciences), 2019,49(9): 1097-1118.

[本文引用: 1]

DIAZ-PIEDRA C , SEBASTIÁN M V , DI STASI L L .

EEG theta power activity reflects workload among army combat drivers:an experimental study

[J]. Brain Sciences, 2020,10(199): 1-14.

[本文引用: 1]

BROUWER A-M , HOGERVORST M A , VAN ERP J B ,et al.

Estimating workload using EEG spectral power and ERPs in the n-back task

[J]. Journal of Neural Engineering, 2012,9(4): 045008.

[本文引用: 1]

PUTNAM K M , MCSWEENEY L B .

Depressive symptoms and baseline prefrontal EEG alpha activity:a study utilizing ecological momentary assessment

[J]. Biological Psychology, 2008,77(2): 237-240.

[本文引用: 2]

WHEELER R E , DAVIDSON R J , TOMARKEN A J .

Frontal brain asymmetry and emotional reactivity:a biological substrate of affective style

[J]. Psychophysiology, 1993,30(1): 82-89.

[本文引用: 2]

ZHENG W L , LYU B L .

Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks

[J]. IEEE Transactions on Autonomous Mental Development, 2015,7(3): 162-175.

[本文引用: 3]

RAY W J , COLE H W .

EEG alpha activity reflects attentional demands,and beta activity reflects emotional and cognitive processes

[J]. Science, 1985,228(4700): 750-752.

[本文引用: 1]

AHERN G L , SCHWARTZ G E .

Differential lateralization for positive and negative emotion in the human brain:EEG spectral analysis

[J]. Neuropsychologia, 1985,23(6): 745-755.

[本文引用: 1]

MOHAMMADI Z , FROUNCHI J , AMIRI M .

Wavelet-based emotion recognition system using EEG signal

[J]. Neural Computing and Applications, 2017,28(8): 1985-1990.

[本文引用: 1]

JATUPAIBOON N , PAN-NGUM S , ISRASENA P .

Emotion classification using minimal EEG channels and frequency bands

[C]// Proceedings of The 10th International Joint Conference on Computer Science and Software Engineering.[S.l.:s.n. ], 2013: 21-24.

[本文引用: 1]

LI M , LYU B L .

Emotion classification based on gamma-band EEG

[C]// Proceedings of the 31st Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway:IEEE Press, 2009: 1223-1226.

[本文引用: 1]

YANG K , TONG L , SHU J ,et al.

High gamma band EEG closely related to emotion:evidence from functional network

[J]. Frontiers in Human Neuroscience, 2020,14: 89.

[本文引用: 1]

SHARMA K , CASTELLINI C , VAN DEN BROEK E L ,et al.

A dataset of continuous affect annotations and physiological signals for emotion analysis

[J]. Scientific Data, 2019,6(1): 1-13.

[本文引用: 1]

DING Y , HU X , XIA Z Y ,et al.

Inter-brain EEG feature extraction and analysis for continuous implicit emotion tagging during video watching

[J]. IEEE Transactions on Affective Computing, 2018,12(1): 92-102.

[本文引用: 1]

NUMMENMAA L , GLEREAN E , VIINIKAINEN M ,et al.

Emotions promote social interaction by synchronizing brain activity across individuals

[J]. Proceedings of the National Academy of Sciences, 2012,109(24): 9599-9604.

[本文引用: 1]

KOELSTRA S , MUHL C , SOLEYMANI M ,et al.

DEAP:a database for emotion analysis; using physiological signals

[J]. IEEE Transactions on Affective Computing, 2011,3(1): 18-31.

[本文引用: 2]

KATSIGIANNIS S , RAMZAN N .

DREAMER:a database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices

[J]. IEEE Journal of Biomedical and Health Informatics, 2017,22(1): 98-107.

[本文引用: 1]

LIU Y J , YU M J , ZHAO G Z ,et al.

Real-time movie-induced discrete emotion recognition from EEG signals

[J]. IEEE Transactions on Affective Computing, 2017,9(4): 550-562.

[本文引用: 1]

SOLEYMANI M , LICHTENAUER J , PUN T ,et al.

A multimodal database for affect recognition and implicit tagging

[J]. IEEE Transactions on Affective Computing, 2011,3(1): 42-55.

[本文引用: 1]

SUBRAMANIAN R , WACHE J , ABADI M K ,et al.

Emotion and personality recognition using commercial sensors

[J]. IEEE Transactions on Affective Computing, 2016,9(2): 147-160.

[本文引用: 1]

CORREA J A M , ABADI M K , SEBE N ,et al.

AMIGOS:a dataset for affect,personality and mood research on individuals and groups

[J]. IEEE Transactions on Affective Computing, 2018: 1.

[本文引用: 1]

LIN Y P , JUNG T P .

Improving EEG-based emotion classification using conditional transfer learning

[J]. Frontiers in Human Neuroscience, 2017,11: 334.

[本文引用: 3]

LUO Y , ZHANG S Y , ZHENG W L ,et al.

WGAN domain adaptation for EEG-based emotion recognition

[C]// Proceedings of the International Conference on Neural Information Processing.[S.l.:s.n.], 2018: 275-286.

[本文引用: 2]

ZHENG W L , LYU B L .

Personalizing EEG-based affective models with transfer learning

[C]// Proceedings of The 25th International Joint Conference on Artificial Intelligence.[S.l.:s.n.], 2016: 2732-2738.

[本文引用: 3]

WAN Z , YANG R , HUANG M J ,et al.

A review on transfer learning in EEG signal analysis

[J]. Neurocomputing, 2020,421: 1-14.

[本文引用: 1]

WU D R , XU Y F , LYU B L .

Transfer learning for EEG-based brain-computer interfaces:a review of progresses since 2016

[J]. arXiv preprint,2020,arXiv:200406286.

[本文引用: 1]

LI J P , QIU S , SHEN Y Y ,et al.

Multisource transfer learning for cross-subject EEG emotion recognition

[J]. IEEE Transactions on Cybernetics, 2019,50(7): 3281-3293.

[本文引用: 1]

MA B Q , LI H , ZHENG W L ,et al.

Reducing the subject variability of EEG signals with adversarial domain generalization

[C]// The 26th International Conference on Neural Information Processing.[S.l.:s.n.], 2019: 30-42.

[本文引用: 1]

ZHAO L M , YAN X , LYU B L .

Plug-and-play domain adaptation for cross-subject EEG-based emotion recognition

[C]// Proceedings of the 35th AAAI Conference on Artificial Intelligence.[S.l.:s.n.], 2021.

[本文引用: 1]

JIANG Y Z , WU D R , DENG Z H ,et al.

Seizure classification from EEG signals using transfer learning,semi-supervised learning and TSK fuzzy system

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2017,25(12): 2270-2284.

[本文引用: 1]

郑伟龙, 石振锋, 吕宝粮 .

用异质迁移学习构建跨被试脑电情感模型

[J]. 计算机学报, 2020,43(2): 177-189.

[本文引用: 2]

ZHENG W L , SHI Z F , LYU B L .

Building cross-subject EEG-based affective models using heterogeneous transfer learning

[J]. Chinese Journal of Computers, 2020,43(2): 177-189.

[本文引用: 2]

ZHU Y , CHEN Y Q , LU Z Q ,et al.

Heterogeneous transfer learning for image classification

[C]// Proceedings of the 25th AAAI Conference on Artificial Intelligence.[S.l.:s.n.], 2011.

[本文引用: 1]

MARQUART G , CABRALL C , DE WINTER J .

Review of eye-related measures of drivers’ mental workload

[J]. Procedia Manufacturing, 2015,3: 2854-2861.

[本文引用: 3]

ZHU X M , ZHENG W L , LYU B L ,et al.

EOG-based drowsiness detection using convolutional neural networks

[C]// Proceedings of the 2014 International Joint Conference on Neural Networks.[S.l.:s.n.], 2014: 128-134.

[本文引用: 1]

CHANG K M , LIU S H , WU X H .

A wireless sEMG recording system and its application to muscle fatigue detection

[J]. Sensors, 2012,12(1): 489-499.

[本文引用: 1]

NOURBAKHSH N , WANG Y , CHEN F .

GSR and blink features for cognitive load classification

[C]// Proceedings of the IFIP Conference on Human- Computer Interaction.[S.l.:s.n.], 2013: 159-166.

[本文引用: 1]

ROSCOE A H .

Assessing pilot workload.Why measure heart rate,HRV and respiration?

[J]. Biological Psychology, 1992,34(2-3): 259-287.

[本文引用: 3]

SOLEYMANI M , ASGHARI-ESFEDEN S , PANTIC M ,et al.

Continuous emotion detection using EEG signals and facial expressions

[C]// Proceedings of the 2014 IEEE International Conference on Multimedia and Expo. Piscataway:IEEE Press, 2014: 1-6.

[本文引用: 3]

HUANG Y R , YANG J H , LIAO P K ,et al.

Fusion of facial expressions and EEG for multimodal emotion recognition

[J]. Computational Intelligence and Neuroscience, 2017: 2017451

[本文引用: 2]

HUANG X H , KORTELAINEN J , ZHAO G Y ,et al.

Multi-modal emotion analysis from facial expressions and electroencephalogram

[J]. Computer Vision and Image Understanding, 2016,147: 114-214.

[本文引用: 3]

LAN Y T , LIU W , LYU B L .

Multimodal emotion recognition using deep generalized canonical correlation analysis with an attention mechanism

[C]// Proceedings of the 2020 International Joint Conference on Neural Networks.[S.l.:s.n.], 2020: 1-6.

[本文引用: 2]

ZHENG W L , LIU W , LU Y ,et al.

Emotionmeter:a multimodal framework for recognizing human emotions

[J]. IEEE Transactions on Cybernetics, 2018,49(3): 1110-1122.

[本文引用: 2]

LU Y F , ZHENG W L , LI B B ,et al.

Combining eye movements and eeg to enhance emotion recognition

[C]// Proceedings of the 24th International Conference on Artificial Intelligence.[S.l.:s.n.], 2015: 1170-1176.

[本文引用: 1]

EKMAN P .

Facial expression and emotion

[J]. American Psychologist, 1993,48(4): 384-392.

[本文引用: 1]

RUSSELL J A .

Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies

[J]. Psychological Bulletin, 1994,115(1): 102-114.

[本文引用: 1]

COWEN A S , KELTNER D , SCHROFF F ,et al.

Sixteen facial expressions occur in similar contexts worldwide

[J]. Nature, 2020(7841): 1-7.

[本文引用: 1]

SUN Y , AYAZ H , AKANSU A N .

Multimodal affective state assessment using fNIRS+ EEG and spontaneous facial expression

[J]. Brain Sciences, 2020,10(2): 85.

[本文引用: 1]

MINOTTO V P , JUNG C R , LEE B .

Multimodal multi-channel on-line speaker diarization using sensor fusion through SVM

[J]. IEEE Transactions on Multimedia, 2015,17(10): 1694-1705.

[本文引用: 1]

CAI H S , QU Z D , LI Z ,et al.

Feature-level fusion approaches based on multimodal EEG data for depression recognition

[J]. Information Fusion, 2020,59: 127-138.

[本文引用: 1]

GOSHVARPOUR A , GOSHVARPOUR A .

Schizophrenia diagnosis using innovative EEG feature-level fusion schemes

[J]. Physical and Engineering Sciences in Medicine, 2020,43(1): 227-238.

[本文引用: 1]

QIAN M , AGUILAR M , ZACHERY K N ,et al.

Decision-level fusion of EEG and pupil features for single-trial visual detection analysis

[J]. IEEE Transactions on Biomedical Engineering, 2009,56(7): 1929-1937.

[本文引用: 1]

ZHENG W L , DONG B N , LYU B L .

Multimodal emotion recognition using EEG and eye tracking data

[C]// Proceedings of the 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway:IEEE Press, 2014: 5040-5043.

[本文引用: 1]

NGIAM J , KHOSLA A , KIM M ,et al.

Multimodal deep learning

[C]// Proceedings of the 26th International Conference on Machine Learning.[S.l.:s.n.], 2009.

[本文引用: 2]

LIU W , ZHENG W L , LYU B L .

Multimodal emotion recognition using multimodal deep learning

[J]. arXiv preprint, 2016,arXiv:160208225.

[本文引用: 1]

SRIVASTAVA N , SALAKHUTDINOV R .

Multimodal learning with deep boltzmann machines

[J]. The Journal of Machine Learning Research, 2014,15(1): 2949-2980.

[本文引用: 1]

VOS T , ABAJOBIR A A , ABATE K H ,et al.

Global,regional,and national incidence,prevalence,and years lived with disability for 328 diseases and injuries for 195 countries,1990-2016:a systematic analysis for the Global Burden of Disease Study 2016

[J]. The Lancet, 2017,390: 1211-1259.

[本文引用: 1]

HANCOCK P A , MESHKATI N .

Human mental workload

[M].[S.l.]: Elsevier, 1988.

[本文引用: 1]

NAKAMURA J , CSIKSZENTMIHALYI M .

Flow theory and research

[M].[S.l.]: Handbook of Positive Psychology, 2009.

[本文引用: 1]

LOFT S , SANDERSON P , NEAL A ,et al.

Modeling and predicting mental workload in en route air traffic control:critical review and broader implications

[J]. Human Factors, 2007,49(3): 376-399.

[本文引用: 2]

COLLET C , AVERTY P , DITTMAR A .

Autonomic nervous system and subjective ratings of strain in air-traffic control

[J]. Applied Ergonomics, 2009,40(1): 23-32.

[本文引用: 2]

BERKA C , LEVENDOWSKI D J , LUMICAO M N ,et al.

EEG correlates of task engagement and mental workload in vigilance,learning,and memory tasks

[J]. Aviation,Space,and Environmental Medicine, 2007,78(5): B231-44.

[本文引用: 2]

HOGERVORST M A , BROUWER A-M , VAN ERP J B .

Combining and comparing EEG,peripheral physiology and eye-related measures for the assessment of mental workload

[J]. Frontiers in Neuroscience, 2014,8: 322.

[本文引用: 2]

HANCOCK P A , MESHKATI N , ROBERTSON M .

Physiological reflections of mental workload

[J]. Aviation,Space,and Environmental Medicine, 1985,56(11): 1110-1114.

[本文引用: 2]

CHARLES R L , NIXON J .

Measuring mental workload using physiological measures:a systematic review

[J]. Applied Ergonomics, 2019,74: 221-232.

[本文引用: 2]

FALLAHI M , MOTAMEDZADE M , HEIDARIMOGHADAM R ,et al.

Effects of mental workload on physiological and subjective responses during traffic density monitoring:a field study

[J]. Applied Ergonomics, 2016,52: 95-103.

[本文引用: 1]

THIBODEAU R , JORGENSEN R S , KIM S .

Depression,anxiety,and resting frontal EEG asymmetry:a meta-analytic review

[J]. Journal of Abnormal Psychology, 2006,115(4): 715-729.

[本文引用: 1]

DAMBORSKÁ A , TOMESCU M I , HONZÍRKOVÁ E ,et al.

EEG resting-state large-scale brain network dynamics are related to depressive symptoms

[J]. Frontiers in Psychiatry, 2019,10: 548.

[本文引用: 1]

CAI H S , ZHANG X Z , ZHANG Y H ,et al.

A case-based reasoning model for depression based on three-electrode EEG data

[J]. IEEE Transactions on Affective Computing, 2018,11(3): 383-392.

[本文引用: 1]

ZHANG Y , WU W , TOLL R T ,et al.

Identification of psychiatric disorder subtypes from functional connectivity patterns in resting-state electroencephalography

[J]. Nature Biomedical Engineering, 2020: 1-15.

HAMILTON M .

The Hamilton rating scale for depression

[M].[S.l.]: Springer, 1986.

[本文引用: 1]

MONTGOMERY S , ASBERG M .

A new depression scale designed to be sensitive to change

[J]. The British journal of psychiatry, 1979,134(4): 382-389.

[本文引用: 1]

KOHOUT F J , BERKMAN L F , EVANS D A ,et al.

Two shorter forms of the CES-D depression symptoms index

[J]. Journal of Aging and Health, 1993,5(2): 179-193.

[本文引用: 1]

ZUNG W W .

A self-rating depression scale

[J]. Archives of General Psychiatry, 1965,12(1): 63-70.

[本文引用: 1]

BECK A T , BECK R W .

Screening depressed patients in family practice:a rapid technic

[J]. Postgraduate Medicine, 1972,52(6): 81-85.

[本文引用: 1]

KROENKE K , SPITZER R L , WILLIAMS J B .

The PHQ‐9:validity of a brief depression severity measure

[J]. Journal of General Internal Medicine, 2001,16(9): 606-613.

[本文引用: 1]

ZIGMOND A S , SNAITH R P .

The hospital anxiety and depression scale

[J]. Acta Psychiatrica Scandinavica, 1983,67(6): 361-370.

[本文引用: 1]

CARNEY M , SHEFFIELD B .

Depression and the newcastle scales their relationship to Hamilton’s scale

[J]. The British Journal of Psychiatry, 1972,121(560): 35-40.

[本文引用: 1]

PERLMUTTER J S , MINK J W .

Deep brain stimulation

[J]. Annu Rev Neurosci, 2006,29: 229-257.

[本文引用: 1]

DENG Z D , LI D Y , ZHANG C C ,et al.

Long-term follow-up of bilateral subthalamic deep brain stimulation for refractory tardive dystonia

[J]. Parkinsonism and Related Disorders, 2017,41: 58-65.

[本文引用: 1]

YANG Y X , QIAO S Y , SANI O G ,et al.

Modelling and prediction of the dynamic responses of large-scale brain networks during direct electrical stimulation

[J]. Nature Biomedical Engineering, 2021: 1-22.

[本文引用: 1]

SCANGOS K W , MAKHOUL G S , SUGRUE L P ,et al.

State- dependent responses to intracranial brain stimulation in a patient with depression

[J]. Nature Medicine, 2021,27: 229-231.

[本文引用: 1]

RAO V R , SELLERS K K , WALLACE D L ,et al.

Direct electrical stimulation of lateral orbitofrontal cortex acutely improves mood in individuals with symptoms of depression

[J]. Current Biology, 2018,28(24): 3893-3902.

[本文引用: 1]

/

〈 〉