智能科学与技术学报, 2021, 3(1): 49-58 doi: 10.11959/j.issn.2096-6652.202105

专题:情感脑机接口

基于脑电功能连接微状态的情绪状态解码

沈新科1,2, 李奕超1,2, 刘锦1,2, 宋森1,2, 张丹2,3

1 清华大学医学院生物医学工程系,北京 100084

2 清华大学脑与智能实验室,北京 100084

3 清华大学社会科学学院心理学系,北京 100084

Emotional state decoding using EEG-based microstates of functional connectivity

SHEN Xinke1,2, LI Yichao1,2, LIU Jin1,2, SONG Sen1,2, ZHANG Dan2,3

1 Department of Biomedical Engineering, School of Medicine, Tsinghua University, Beijing 100084, China

2 Tsinghua Laboratory of Brain and Intelligence, Beijing 100084, China

3 Department of Psychology, School of Social Sciences, Tsinghua University, Beijing 100084, China

通讯作者: 张丹,dzhang@tsinghua.edu.cn

修回日期: 2021-02-26   网络出版日期: 2021-03-15

基金资助: 国家自然科学基金资助项目.  U1736220.  61977041
教育部关键科学与技术创新项目
清华大学自主科研计划资助项目.  20197010009

Revised: 2021-02-26   Online: 2021-03-15

Fund supported: The National Natural Science Foundation of China.  U1736220.  61977041
Tsinghua University Initiative Scientific Research Program.  20197010009

作者简介 About authors

沈新科(1996-),男,清华大学医学院生物医学工程系博士生,主要研究方向为情感计算、神经影像。 。

李奕超(1997-),男,清华大学医学院生物医学工程系博士生,主要研究方向为认知和计算神经科学。 。

刘锦(1995-),女,清华大学医学院生物医学工程系硕士生,主要研究方向为元学习、跨被试情感计算。 。

宋森(1978-),男,博士,清华大学医学院生物医学工程系副教授,主要研究方向为情感计算、情绪的神经回路、计算神经科学等。 。

张丹(1983-),男,博士,清华大学社会科学学院心理学系副教授,主要研究方向为脑机接口、情感计算、社会认知等。 。

摘要

基于脑电的情绪状态解码大多将个体情绪看作相对稳定的状态,将脑电频域能量、通道间脑电相关性等稳态指标作为解码中使用的特征。基于近年来网络神经科学在脑区间动态功能连接分析中的新发展,设计并实现了功能连接微状态方法,将不同情绪状态下脑区间的动态功能连接模式聚集为具有代表性的微状态,提取微状态的覆盖比例、转移概率等时间动态过程指标作为特征,用于情绪状态解码。基于经典的脑电情绪公开数据集DEAP,动态功能连接微状态新特征在情绪的效价和唤醒两个维度上实现了均方误差分别为3.87±0.28和3.25±0.30的回归预测效力,优于传统频带能量特征的均方误差4.07±0.30(p=0.005)和3.41±0.31(p=0.064)。实验结果展示了基于脑电功能连接微状态的情绪状态解码可行性,并为进一步深入理解情绪的神经机制提供了启发。

关键词: 动态功能连接 ; 微状态 ; 情绪状态解码 ; 脑电图

Abstract

Emotional state decoding based on electroencephalography (EEG) usually regards individual emotion as a relatively static state and uses spectral power or inter-channel correlations of EEG as features.Based on recent advancement of dynamic functional connectivity analysis in the area of network neuroscience, a method called microstates of functional connectivity was designed and implemented, which clustered the inter-regional functional connectivity patterns of the brain under different emotional states to obtain representative microstates, and the temporal statistics, such as coverage and transition probability were extracted as features for emotional state decoding.Based on a widely used publicly available EEG dataset DEAP, new features in microstates of dynamic functional connectivity analysis achieved regression mean squared errors of 3.87±0.28 and 3.25±0.30 on valence and arousal respectively, which were better than those using traditional spectral power features, 4.07±0.30 (p=0.005) and 3.41±0.31 (p=0.064).The results demonstrate the feasibility of emotional state decoding based on microstates of functional connectivity and provide deeper insight into understanding the neural mechanisms of emotion.

Keywords: dynamic functional connectivity ; microstate ; emotional state decoding ; electroencephalography

PDF (1798KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

沈新科, 李奕超, 刘锦, 宋森, 张丹. 基于脑电功能连接微状态的情绪状态解码. 智能科学与技术学报[J], 2021, 3(1): 49-58 doi:10.11959/j.issn.2096-6652.202105

SHEN Xinke. Emotional state decoding using EEG-based microstates of functional connectivity. Chinese Journal of Intelligent Science and Technology[J], 2021, 3(1): 49-58 doi:10.11959/j.issn.2096-6652.202105

1 引言

情感计算致力于提升机器理解人的情感、对人的情感状态做出响应的能力[1]。近年来,基于语音、文本、表情、动作和生理信号的情感计算方法发展迅速[2]。脑电图(electroencephalography,EEG)作为一种神经生理信号,相比基于表情、语音或动作的情感识别更加客观、难以伪装,因此得到情感计算领域研究者越来越多的关注[3,4]

从脑电信号中提取与情绪状态相关的有效特征是脑电情感计算方向当前的研究重点。脑电信号特征提取的主流研究工作主要针对脑电各通道及其相互关系展开。脑电信号各通道的频带能量是较经典的特征之一,例如:顶区和枕区alpha频带(约8~14 Hz)能量与唤醒(arousal)状态高低呈现负相关[5];额区alpha频带能量的不对称性可能反映了情绪效价(valence)的变化[6]。在此基础上,近年来研究者也提取了更多基于通道的特征,其中差分熵[7]、高阶过零分析[8]等特征也被证明可以用于区分不同的情绪状态。而各通道的相互关系则主要使用不同通道间的信号相关性(correlation)、相干性(coherence)、相位同步指数(phase synchronization index)等指标进行刻画[9,10,11],并可以用图网络等方法进行进一步的特征凝练[12],其情感表征的有效性也同样在过往研究中得到了验证。相比基于单通道的特征提取方法,基于各通道相互关系的特征提取方法更强调不同脑区之间的功能连接在情绪状态表征中的功能意义。然而,这些工作大多将个体的情绪状态看作一个相对稳定的状态,对其动态时变特征考虑不足。

近年来网络神经科学的新发展为理解情绪的神经基础提供了新的视角[13]。特别是脑区间动态功能连接的认知功能意义正在被逐步揭示,并引起领域内越来越广泛的共识[14]。有别于主要关注稳态功能连接的经典神经科学理论与方法,动态功能连接强调对连接模式时间动态特性的刻画,认为动态信息对于表示个体的特质或状态有重要意义。在临床有关抑郁症[15]、精神分裂症[16]等精神系统疾病的研究中,研究者发现,动态功能连接分析方法可以有效表示患者与健康人群的差异,体现为短时功能连接模式时间动态特性的群体间差异。功能连接的动态变化也反映着个体的状态,在较低的意识水平下,额叶动态功能连接的复杂度会显著降低[17];焦虑的情绪状态会使突显网络、执行控制网络等网络的内部连接强度随时间发生变化[18,19]。虽然情绪状态的脑电动态功能连接研究还鲜有报道,但情绪的机理研究已经显示,功能连接的动态变化对于理解情绪体验的动态过程具有重要意义[20]。动态功能连接分析可以构建面向情绪状态识别的全新脑电特征,高时间分辨率的脑电动态功能连接也可能为进一步深入理解情绪的神经机制提供新的启发。然而,主流动态功能连接分析方法依赖于对神经数据的长时程统计分析,不能满足情绪状态解码的个体化、实时分析的应用需求。

正在得到脑电领域越来越多关注的微状态方法可能为解决这一问题提供直接、有效的方案。微状态方法假设脑电信号会在几种典型的空间模式之间切换,每种模式平均持续几十到几百毫秒。微状态方法通过分析每种空间模式的平均持续时间、覆盖比例、转移概率等特征来刻画脑电信号的动态变化[21]。微状态特征在精神分裂症[22]、焦虑[23]、痴呆[24]等神经或精神疾病患者与健康人群中存在显著差异,并且可以反映不同的思维状态[25]。经典微状态分析中的空间模式是基于电位分布构建的,有关大脑动态功能连接模式分析的微状态方法研究刚刚起步。例如,2019年有研究报道了基于视觉诱发电位的功能连接微状态分析可在一系列经典视觉认知任务上得到有别于传统分析方案的额外有价值信息[26],初步展示了功能连接微状态分析方法的可行性和应用潜力。然而,功能连接微状态分析还未形成标准的分析方法,面向视觉诱发电位的已有研究方案不能直接用于主要面向连续自然情境的情绪解码范式。

综上所述,本文立足于近年来网络神经科学研究的前沿进展,提出基于脑电功能连接微状态的情绪状态解码方法。本文借鉴经典脑电微状态分析方法,发展了功能连接微状态方法,将不同情绪状态下脑区间的动态功能连接模式聚集为具有代表性的微状态,提取微状态的覆盖比例、转移概率等时间动态过程指标作为特征,并用于情绪状态解码。本文在经典的脑电情绪公开数据集 DEAP[27]上开展了对情绪识别中的微状态类别数、频带范围等关键参数的研究,并与传统频带能量特征方法进行对比,以评估性能。

2 功能连接微状态方法

本文面向情绪状态解码,设计并实现了功能连接微状态方法。该方法的基础数据是随时间变化的脑电通道间功能连接模式数据,应用聚类算法得到功能连接模式的多个微状态类别,即具有代表性的,在一定时间内相对稳定、重复出现的功能连接模式。之后,提取各功能连接微状态(以下简称微状态)的覆盖比例、转移概率等时间动态过程指标作为特征,并建立回归模型,对情绪状态的唤醒和效价维度评分进行预测。图1展示了本文方法的整体流程。

2.1 脑电数据预处理

本文使用情绪识别任务常用的公开数据集DEAP[27]。该数据集包含32名被试观看视频时的脑电数据。每名被试观看了40段1 min的音乐视频(即40个试次)。在观看视频的过程中记录了32导联的脑电数据,采样率为512 Hz。被试在观看每段视频后对观看时的效价、唤醒、支配感(dominance)、喜欢程度和熟悉度进行评分,评分取值为1~9 的连续值。本文仅分析了效价和唤醒,因为情绪的效价-唤醒两维度理论是情绪领域较具影响力的理论之一[28],前人在DEAP上的工作也大多仅分析这两个维度(例如参考文献[29])。

本文使用MATLAB的FieldTrip工具箱[30]对脑电数据进行预处理。预处理流程如下:①将脑电数据降采样至256 Hz;②使用频率范围为49~51 Hz的陷波滤波器去除工频噪声;③对脑电数据做0.05~47 Hz 的带通滤波;④使用独立成分分析(independent component analysis,ICA)去除眼动伪迹;⑤去除带有严重噪声的试次(所有脑电数据中共去除了8个试次);⑥通过人工检查找出噪声通道(所有脑电数据中共有 4 个通道),用其相邻通道的平均值对噪声通道做插值;⑦将去噪后的脑电数据滤波到不同频带(delta:1~3 Hz,theta:3~8 Hz, alpha:8~14 Hz,beta:14~30 Hz,gamma:30~47 Hz);⑧截取每个试次后30 s的脑电数据,因为被试在观看每个试次的后半段视频时可能有较强的情绪响应[27];⑨用各通道每个时刻的电位减去该时刻所有通道的平均电位,即共同平均参考(common average reference),再除以该试次的平均全局场功率(global field power)。全局场功率定义为每个时刻所有通道电位的标准差[21]

2.2 功能连接模式计算

在预处理脑电数据后,本文提取了滑动时间窗内的脑电功能连接模式。为了刻画随时间快速变化的功能连接模式,本文采用100 ms时间窗[26],计算每个时间窗内脑电通道间的皮尔逊相关系数(Pearson correlation coefficient)(以下简称相关系数)矩阵,并将其作为每个时间窗的功能连接模式。此前的研究表明,相关性模式可能比相干性模式具有更好的情绪识别效果[11],并且相对于其他功能连接指标,相关性指标的计算较为简便,因此本文采用相关性指标刻画功能连接模式。在计算中,相邻时间窗之间存在50%的重叠,这使得相邻时间窗有一定的跨度,且不至于因跨度过大而损失靠近时间窗边缘的信息。

2.3 功能连接微状态提取

在计算功能连接模式后,本文用K-means聚类得到几种重复出现的微状态类别,具体做法如下:对一名被试的所有时间窗内的功能连接模式做K-means 聚类。在聚类时,将一个时间窗的功能连接模式矩阵 MRp×p变形成一个向量 xRp2(p为脑电的通道数量),并将其作为一个样本。聚类中的距离定义为:

图1

图1   基于脑电功能连接微状态的情绪状态解码方法流程


d(x,c)=1(xx¯)(cc¯)(xx¯)(xx¯)(cc¯)(cc¯)    (1)

其中,x¯表示一个样本所有维度的均值重复p2次构成的向量。cRp2为聚类中心,c¯表示聚类中心所有维度的均值重复p2次构成的向量。此处的距离即1减去xc的相关系数。需要说明的是,此处的相关系数不需要加绝对值,因为用于聚类的特征是每个时间窗内的功能连接特征,而不是脑电的电位特征。假如两个时间窗内的功能连接是显著负相关的(例如一个时间窗内额区连接为正,枕区连接为负;另一个时间窗内额区连接为负,枕区连接为正),这两种功能连接应该是完全不同的,不应被归入同一类。K-means聚类的初始化采用K-means++算法[31],设定最大迭代次数为 300 次。由于K-means++初始化方法具有随机性,本方法进行了20次不同的初始化,并取20次运行中最优的结果(各聚类内部的点到其聚类中心的距离之和最小)。得到最优的聚类后,便可将每个时间窗分配到一个聚类中,每个聚类即一个微状态类别。将每个聚类中所有时间窗特征的平均作为聚类中心。这样,每名被试可得到K个聚类中心。

为了得到被试之间稳定存在的微状态,在得到每名被试的聚类中心后,将所有被试的聚类中心放到一起,每个聚类中心作为一个样本,进行第二层次的K-means聚类,参数设置与上述设置完全相同。在第二层次聚类中,共有K×n个样本,n为被试数量。聚类后同样可得到K个聚类中心,称之为全局聚类中心。

对于聚类数量,虽然经典微状态主要考虑四聚类,但对微状态的探索较少,情绪识别任务中合适的聚类数量也没有前人经验可以参考,因此本文遍历了聚类数 2~10,以更全面地探索微状态在不同聚类下的特点及其对情绪识别的效力。在后续结果分析中,将重点展示对情绪状态预测效力最好的聚类。

2.4 微状态时间动态过程指标计算

本文参考经典微状态方法,提取各微状态时间动态过程指标(以下简称微状态指标),以刻画功能连接的动态变化。在第2.3节给每个时间窗分配一个微状态类别后,可以得到微状态类别随时间变化的一维离散序列。对于每个试次,从这个一维离散序列中提取4种微状态指标:①覆盖比例,即一个微状态类别包含的时间窗数量除以总的时间窗数量;②平均持续时间,即一个微状态类别每次出现的平均持续时长;③出现频率,即一个微状态类别平均一秒会出现多少次;④转移概率,即给定当前时间窗的微状态类别,下一时间窗出现某一微状态类别的概率。覆盖比例、平均持续时间和出现频率这3种特征的维度与微状态类别数一致,均为k,转移概率的维度为 k×k,故用于情绪识别的一个样本的特征总维度为k×(3+k)。

2.5 回归和相关分析

为了检验功能连接微状态方法对情绪的预测效力,本文进行了多元回归分析,将微状态指标作为自变量,将情绪的效价或唤醒评分作为因变量。在回归分析中,使用随机森林回归器构建了多个回归树,并对每个回归树的预测结果进行投票整合。本文对每个被试的数据进行十折交叉验证。具体来说,每次将 36 个试次的样本作为训练集,其余 4个试次的样本作为验证集,所有计算分别在训练集和验证集中独立进行,同一个试次的样本不会同时出现在训练集和验证集中。选择使每个被试验证集的平均均方误差(mean square error,MSE)最小的超参数,最终将十折交叉验证中的平均 MSE 和平均R值用于评估模型效果(下文的MSE和R值均为所有被试中的平均MSE和平均R值)。MSE为预测评分和被试真实评分之间的模型拟合均方误差,R值为预测评分和真实评分之间的相关系数。随机森林回归器中包含3个超参数:回归树的数量(范围2~30,步长为2)、每棵回归树的最大分叉次数(备选值:2、4、8)和每棵回归树使用的样本比例(备选值:0.3、0.5、0.7)。在十折交叉验证中遍历所有可能的超参数组合。本文重复运行算法5次,并对 5 次运行的结果取平均值,以避免单次运行的随机性引起的偏差[32]。本文比较了分别使用每个频带的特征训练模型和使用所有频带拼合的特征训练模型的回归效果。需要说明的是,本文未在训练集中进行内部交叉验证以选择最优超参数,而在交叉验证的同时进行超参数的优化选择。这一操作通过优化超参数来表达所提取微状态特征在给定数据及回归方法框架下的最大情绪识别效力,所得结果服务于本研究中将该微状态特征用于情绪识别的可行性评估,这也是算法研究中的常用操作[7,33]

为了进一步分析每个微状态指标和情绪的关系,探究与情绪有关的微状态,本文进一步计算了每种微状态指标和情绪评分之间的相关性:首先计算每名被试的微状态指标与个体效价/唤醒主观评分的相关系数;再使用单样本 t 检验来检验 32 名被试的相关系数是否在统计上显著不等于零。

为了评估所提方法的性能,本文将传统的频带能量特征的计算结果作为对照。频带能量特征是情绪识别领域比较经典也十分常用的脑电特征,是算法研究中应用较广泛的对照特征之一[4,5,6,7,27,33,34]。考虑到本文重点为新特征提取方法的提出及其关键参数(微状态数、频带范围等)的探索,性能对照部分没有大篇幅开展,仅选择了比较经典的频带能量特征。更多更系统的性能对比将在未来对该方法进行进一步优化后再开展。频带能量特征由delta、theta、alpha、beta和gamma频带各32个通道特征组成(共160维)。本文参考前人方法,将每个试次后30 s的频带能量减去试次开始前5 s内的基线频带能量作为回归的频带能量特征[27]。频带能量特征的回归方法及超参数设置与前文所述方法一致。

3 回归与相关分析结果

本节首先介绍微状态指标对情绪评分回归分析的表现,并与传统频带能量特征进行对比。为了使读者更直观地理解不同微状态的意义,本文对每类微状态的功能连接模式进行可视化,并展示每种微状态指标与情绪评分间的相关性分析结果。

3.1 回归分析结果

本节介绍微状态指标对效价和唤醒情绪评分的回归结果。首先探索对情绪评分回归的最优聚类数量,使用微状态类别数为2~10时所有频带的拼合特征对效价和唤醒进行回归。图2展示了不同微状态类别数下回归的MSE和R值。对于效价回归, MSE在微状态类别数为8时达到最小值(3.87±0.28),相应地,R值也在微状态类别数为8时达到最大值(0.32±0.02)。微状态类别数为9和10的效果反而不如微状态类别数为3~8时。对于唤醒回归,MSE和 R 值在微状态类别数为 3 时分别达到最小值(3.25±0.30)和最大值(0.30±0.02),在微状态类别数更多时回归效果反而下降。因此,效价回归的最优微状态类别数是 8,唤醒回归的最优微状态类别数是3。

图2

图2   微状态聚类中不同类别数下微状态特征对效价与唤醒回归的MSE与R值


本文对比了微状态特征最优回归结果与经典频带能量特征回归结果(见表1),发现微状态特征的表现更优。在效价回归中,微状态特征的MSE (3.87±0.28)低 于 频 带 能 量 特 征 的 MSE (4.07±0.30),两种特征 MSE 的差异有统计学意义(t(31)=-2.99,p = 0.005,配对样本t检验)。微状态特征的 R 值(0.32±0.02)高于频带能量特征的 R 值(0.25±0.02),R 值的差异有统计学意义(t(31)= 3.21,p= 0.003,配对样本t检验)。在唤醒回归中,微状态特征的 MSE(3.25±0.30)略低于频带能量特征的MSE(3.41±0.31),两者的差异在统计检验中边缘显著(t(31) = -1.92,p =0.064,配对样本t检验)。微状态特征的R值(0.30± 0.03)高于频带能量特征的 R 值(0.22±0.03),其差异有统计学意义(t(31) = 2.77,p= 0.003,配对样本t检验)。

接下来观察最优微状态类别数下(效价为 8,唤醒为3)不同频带的回归表现(如图3所示)。可以看到 gamma 频带在两种情况下都是最优的, delta频带在效价预测上次优,而theta频带在唤醒预测上次优。gamma 频带的回归结果(MSE:3.87±0.27,R值:0.30±0.03)与所有频带拼合特征的效价回归结果相近,唤醒回归结果(MSE:3.35±0.32,R值:0.25±0.03)略差于所有频带拼合特征的回归结果。

表1   微状态特征最优回归结果与经典频带能量特征回归结果

被试编号效价唤醒
微状态特征频带能量特征微状态特征频带能量特征
16.095.754.314.44
27.947.898.338.37
31.871.872.222.20
44.545.243.593.81
54.675.183.483.62
61.991.981.902.02
73.533.622.963.38
83.813.921.982.15
91.812.020.900.95
103.333.781.941.88
113.724.255.185.35
124.034.992.822.75
134.925.183.373.78
144.024.222.862.50
153.194.601.821.89
163.073.053.193.04
171.601.641.321.86
181.321.481.711.69
193.102.782.982.86
202.642.181.441.55
213.343.401.601.66
225.405.663.283.49
232.953.045.695.91
244.084.342.022.26
256.066.413.243.38
266.727.265.535.31
274.264.643.745.90
286.266.466.186.39
294.324.734.415.60
301.721.891.561.79
313.993.495.884.98
323.503.392.452.38
平均值3.874.073.253.41
标准误0.280.300.300.31

新窗口打开| 下载CSV


3.2 微状态可视化

为了使读者更直观地理解每类微状态的功能连接模式,本文对效价回归和唤醒回归中最优微状态类别数下的微状态(即第 2.3 节中第二层次K-means 聚类得到的全局聚类中心)分别进行可视化(如图4所示)。可以看到,在不同频带间存在一些相似的连接模式,但从低频带到高频带又会有所变化。当微状态类别数为3时,常会出现以下3种模式:A,额区电极间正相关、枕区电极间正相关、额区与枕区间负相关;B,左侧额颞区电极间正相关、右侧颞枕区电极间正相关、两者之间负相关;C,右侧额颞区电极间正相关、左侧颞枕区电极间正相关、两者之间负相关。当微状态类别数为8时,部分微状态也呈现出与上述3类微状态类似的模式,同时会出现中央区、顶区电极间正相关及该区域与边缘电极负相关的模式。

图3

图3   最优微状态类别数下不同频带特征的微状态特征对效价与唤醒回归的MSE与R值


图4

图4   效价回归和唤醒回归中最优微状态类别数下的微状态可视化注:图中每条边连接两个电极,显示了对应相关系数绝对值最大的20%的边。正相关的边为红色,负相关的边为蓝色。电极的位置按FieldTrip工具包biosemi32.lay模板的坐标位置排布,每个小图中靠近前额的电极在上,靠近枕区的电极在下


3.3 相关分析结果

本节展示了各微状态指标与效价和唤醒评分做相关分析的结果(如图5所示),以进一步解释哪些微状态与情绪有关。可以看到,delta频带微状态E的覆盖比例和出现频率与效价评分的相关系数小于0(覆盖比例:r¯=0.096,t(31) = -3.54,p =0.001;出现频率:r¯=0.117,t(31) = -3.95,p<0.001;单样本t 检验);theta频带微状态D向微状态 C 的转移概率与效价评分的相关系数大于 0 (r¯=0.078,t(31) = 3.59,p = 0.001,单样本t检验);alpha频带微状态D向微状态F的转移概率与效价评分的相关系数大于0(r¯=0.097,t(31) = 4.14, p<0.001,单样本t检验),微状态F的出现频率与效价评分的相关系数大于0(r¯=0.090,t(31) = 3.55, p = 0.001,单样本t检验)。以上报告的结果为正错误发现率(positive false discovery rate,pFDR) q<0.1的结果,其他p<0.05的结果也在图5中标出。微状态指标与唤醒评分相关系数的t检验均未得到q<0.1的结果,但可以看到,delta频带微状态B的覆盖比例与唤醒评分的相关系数有大于 0 的趋势(r¯=0.097,t(31) = 3.08,p = 0.004,单样本t检验), theta 频带微状态 A 的覆盖比例与唤醒评分的相关系数有大于0的趋势(r¯=0.091,t(31) = 2.75,p =0.010,单样本t检验)。

4 结果分析与讨论

本文提出了基于脑电功能连接微状态的情绪状态解码方法,该方法在DEAP数据集上取得了比传统频带能量特征更优的表现,实验结果表明,微状态特征可能是一种有效的情绪识别特征。

功能连接微状态方法在大多数被试上的表现优于使用频带能量的方法。微状态特征相对于频带能量特征在 24 名(75%)被试的效价回归上更优(MSE 更小)。这 24 名被试的 MSE 平均降低了8.07%,其中最优的降低了30.6%。在唤醒回归上,也有22名(69%)被试的回归取得了更小的MSE,他们的 MSE 相比于频带能量特征平均降低了9.16%,其中最优的降低了36.6%。更重要的是,微状态提供了一个与频带能量不同的视角,它所提取的特征是基于全脑连接性动态变化的特征,而不是局部脑区激活的特征。

在微状态参数与情绪评分的相关性分析中发现,alpha 频带微状态 F 的覆盖比例和出现频率以及微状态D到微状态F的转移概率与效价存在正相关的趋势。gamma频带的微状态F有与alpha频带微状态F相似的空间模式,它的覆盖比例、平均持续时间、出现频率以及微状态E、F、G、H转移到微状态F的概率也都与效价有正相关的趋势。微状态F是左侧额颞区电极间正相关、右侧颞枕区电极间正相关、两者之间负相关的模式。这些结果意味着alpha和gamma频带这些模式出现得越多,被试的情绪可能越积极。delta频带微状态E的覆盖比例、出现频率以及微状态F、H转移到微状态E的概率都与情绪效价有负相关的趋势,这说明 delta 频带这种顶区正相关、两侧前额分别正相关、顶区与两侧前额负相关的模式出现得越多,情绪越消极。在唤醒的相关性分析中,delta频带微状态B的覆盖比例、平均持续时间及微状态B、C转移到微状态B的概率都与唤醒评分有正相关趋势。theta频带微状态 A 的覆盖比例、平均持续时间及微状态 A 到自身的转移概率与唤醒评分有正相关趋势。但在看待以上结果时需要持有谨慎的态度,因为它们的p值在pFDR校正后都没有低于q = 0.05的阈值,仅效价分析中的部分结果达到了q< 0.1。

图5

图5   最优聚类数量下微状态特征与效价 注:图中颜色表示对所有被试的相关系数做单样本t检验的t值。转移概率矩阵中的每一行表示从某一微状态转移出,每一列表示转移到某一微状态。* p<0.05, ** p<0.01, *** p<0.001


此外,本文发现动态脑网络的组织呈现出层次化的结构。随着聚类数量的增加,通常会有一个微状态分裂为两种微状态的组合,而其他微状态基本不变。图6 以 gamma 频带为例,展示了微状态类别数为 2~8 的可视化结果。本文试图将 k+1 类别数下的微状态与k类别数下的微状态进行匹配,比较了两种匹配方法。第一种方法假设微状态类别数增加1时,新产生了一种与原有模式无关的微状态。这里直接将k+1类别中的微状态与k类别的微状态配对,使其配对间的相关系数之和(配对损失)最小。这种方式下的k+1类别中会有一种微状态不与k 类别中的任一微状态配对。第二种方法假设微状态类别数增加1时,原有的某一微状态分裂为两个。此方法对 k+1类别中的两类微状态求和后,再与k类别的微状态配对,遍历k+1类别中两类微状态组合的所有可能性,取配对损失最小的组合。最后,比较两种方法得到的配对,取配对损失更小的方法。本文发现,从k=2到k=7,第二种方法得到的最优配对的配对损失都是最小的,也就意味着假设k+1类别中的某两个微状态是k类别中一种微状态拆分的结果更为合理。这一结果与Reinen J M等人[35]在功能磁共振成像(functional magnetic resonance imaging,fMRI)上的发现相符,即动态功能连接模式存在层次化的组织结构。

功能连接微状态是在经典微状态基础上的延伸,经典微状态刻画了大脑电位活动空间模式的动态变化,功能连接微状态则刻画了脑区间功能连接模式的动态变化,从脑网络的视角来理解大脑的动态活动。功能连接微状态和此前经典微状态在情绪识别的表现上相当[34],说明功能连接微状态指标可以提供与经典微状态指标相似的预测效力。在后续研究中,笔者将探索使用不同时间窗长度以及不同功能连接参数(如相位同步指数、相位滞后指数[36]等)的功能连接微状态方法对情绪预测的效力,并尝试融合经典微状态与功能连接微状态指标,以期获得对情绪状态更好的预测效力。

图6

图6   gamma频带微状态类别数为2~8时的功能连接模式层级化示意图


5 结束语

情感脑机接口近年来受到研究者的关注,情绪识别算法也发展迅速。受神经科学领域功能磁共振等研究发现的启发,从功能连接视角开发情绪识别方法受到研究者的重视。但大多数已有研究是基于稳态功能连接特征的,没有考虑脑网络的动态变化特性。

本文在脑电微状态方法的基础上,融合动态功能连接分析的思想,探索了功能连接微状态时间动态过程指标在情绪识别中的应用。功能连接微状态可以刻画大脑功能连接的快速变化模式,提供了一个理解情绪的新视角。本文发现功能连接微状态特征对于情绪效价和唤醒的回归表现优于经典的频带能量特征,为情绪识别提供了有效的新方法。

The authors have declared that no competing interests exist.
作者已声明无竞争性利益关系。

参考文献

REINEN J M , CHÉN O Y , HUTCHISON R M ,et al.

The human cortex possesses a reconfigurable dynamic network architecture that is disrupted in psychosis

[J]. Nature Communications, 2018,9(1): 1-15.

[本文引用: 1]

STAM C J , NOLTE G , DAFFERTSHOFER A J .

Phase lag index:assessment of functional connectivity from multi channel EEG and MEG with diminished bias from common sources

[J]. Human Brain Mapping, 2007,28(11): 1178-1193.

[本文引用: 1]

PICARD R W .

Affective computing

[M]. MA: MIT Press, 1997.

[本文引用: 1]

PORIA S , CAMBRIA E , BAJPAI R ,et al.

A review of affective computing:from unimodal analysis to multimodal fusion

[J]. Information Fusion, 2017,37: 98-125.

[本文引用: 1]

HU X , CHEN J J , WANG F ,et al.

Ten challenges for EEG-based affective computing

[J]. Brain Science Advances, 2019,5(1): 1-20.

[本文引用: 1]

DING Y , HU X , XIA Z Y ,et al.

Inter-brain EEG feature extraction and analysis for continuous implicit emotion tagging during video watching

[J]. IEEE Transactions on Affective Computing, 2018,12(1): 92-102.

[本文引用: 2]

HU X , YU J W , SONG M D ,et al.

EEG correlates of ten positive emotions

[J]. Frontiers in Human Neuroscience, 2017,11: 26.

[本文引用: 2]

SCHMIDT L A , TRAINOR L J .

Frontal brain electrical activity (EEG) distinguishes valence and intensity of musical emotions

[J]. Cognition and Emotion, 2001,15(4): 487-500.

[本文引用: 2]

ZHENG W L , ZHU J Y , LYU B L .

Identifying stable patterns over time for emotion recognition from EEG

[J]. IEEE Transactions on Affective Computing, 2017,10(3): 417-429.

[本文引用: 3]

PETRANTONAKIS P C , HADJILEONTIADIS L J .

Emotion recognition from EEG using higher order crossings

[J]. IEEE Transactions on Information Technology in Biomedicine, 2009,14(2): 186-97.

[本文引用: 1]

LI P Y , LIU H A , SI Y J ,et al.

EEG based emotion recognition by combining functional connectivity network and local activations

[J]. IEEE Transactions on Biomedical Engineering, 2019,66(10): 2869-2881.

[本文引用: 1]

LEE Y Y , HSIEH S .

Classifying different emotional states by means of EEG-based functional connectivity patterns

[J]. PLOS One, 2014,9(4): e95415.

[本文引用: 1]

WU X , ZHENG W L , LYU B L .

Investigating EEG-based functional connectivity patterns for multimodal emotion recognition

[J]. arXiv preprint, 2020,arXiv:2004.01973.

[本文引用: 2]

SONG T F , ZHENG W M , SONG P ,et al.

EEG emotion recognition using dynamical graph convolutional neural networks

[J]. IEEE Transactions on Affective Computing, 2018,11(3): 532-541.

[本文引用: 1]

BASSETT D S , SPORNS O .

Network neuroscience

[J]. Nature Neuroscience, 2017,20(3): 353-364.

[本文引用: 1]

O'NEILL G C , TEWARIE P , VIDAURRE D ,et al.

Dynamics of large-scale electrophysiological networks:a technical review

[J]. Neuroimage, 2018,180: 559-576.

[本文引用: 1]

LU Q , BI K , LIU C ,et al.

Predicting depression based on dynamic regional connectivity:a windowed Granger causality analysis of MEG recordings

[J]. Brain Research, 2013,1535: 52-60.

[本文引用: 1]

CETIN M S , HOUCK J M , RASHID B ,et al.

Multimodal classification of schizophrenia patients with MEG and fMRI data using static and dynamic connectivity measures

[J]. Frontiers in Neuroscience, 2016,10: 466.

[本文引用: 1]

LEE H , NOH G J , JOO P ,et al.

Diversity of functional connectivity patterns is reduced in propofol-induced unconsciousness

[J]. Human Brain Mapping, 2017,38(10): 4980-4995.

[本文引用: 1]

MCMENAMIN B W , LANGESLAG S J , SIRBU M ,et al.

Network organization unfolds over time during periods of anxious anticipation

[J]. Journal of Neuroscience, 2014,34(34): 11261-11273.

[本文引用: 1]

HERMANS E J , HENCKENS M J , JOËLS M ,et al.

Dynamic adaptation of large-scale brain networks in response to acute stressors

[J]. Trends in Neurosciences, 2014,37(6): 304-314.

[本文引用: 1]

PESSOA L , MCMENAMIN B J .

Dynamic networks in the emotional brain

[J]. The Neuroscientist, 2017,23(4): 383-396.

[本文引用: 1]

MICHEL C M , KOENIG T J .

EEG microstates as a tool for studying the temporal dynamics of whole-brain neuronal networks:a review

[J]. Neuroimage, 2018,180: 577-593.

[本文引用: 2]

LEHMANN D , FABER P L , GALDERISI S ,et al.

EEG microstate duration and syntax in acute,medication-naive,first-episode schizophrenia:a multi-center study

[J]. Psychiatry Research:Neuroimaging, 2005,138(2): 141-156.

[本文引用: 1]

AL ZOUBI O , MAYELI A , TSUCHIYAGAITO A ,et al.

EEG microstates temporal dynamics differentiate individuals with mood and anxiety disorders from healthy subjects

[J]. Frontiers in Human Neuroscience, 2019,13: 56.

[本文引用: 1]

NISHIDA K , MORISHIMA Y , YOSHIMURA M ,et al.

EEG microstates associated with salience and frontoparietal networks in frontotemporal dementia,schizophrenia and Alzheimer’s disease

[J]. Clinical Neurophysiology, 2013,124(6): 1106-1114.

[本文引用: 1]

MILZ P , FABER P L , LEHMANN D ,et al.

The functional significance of EEG microstates—associations with modalities of thinking

[J]. Neuroimage, 2016,125: 643-656.

[本文引用: 1]

DUC N T , LEE B J .

Microstate functional connectivity in EEG cognitive tasks revealed by a multivariate Gaussian hidden Markov model with phase locking value

[J]. Journal of Neural Engineering, 2019,16(2): 026033.

[本文引用: 2]

KOELSTRA S , MUHL C , SOLEYMANI M ,et al.

DEAP:a database for emotion analysis; using physiological signals

[J]. IEEE Transactions on Affective Computing, 2011,3(1): 18-31.

[本文引用: 5]

RUSSELL J A .

A circumplex model of affect

[J]. Journal of Personality and Social Psychology, 1980,39(6): 1161-1178.

[本文引用: 1]

YAN J Z , CHEN S B , DENG S N .

A EEG-based emotion recognition model with rhythm and time characteristics

[J]. Brain Informatics, 2019,6(1): 7.

[本文引用: 1]

OOSTENVELD R , FRIES P , MARIS E ,et al.

FieldTrip:open source software for advanced analysis of MEG,EEG,and invasive electrophysiological data

[J]. Computational Intelligence and Neuroscience, 2011: 15869.

[本文引用: 1]

ARTHUR D , VASSILVITSKII S .

K-means++:the advantages of careful seeding

[C]// Proceeding of the 8th Annual ACM-SIAM Symposium on Discrete Algorithms. New York:ACM Press, 2007.

[本文引用: 1]

WU W , ZHANG Y , JIANG J ,et al.

An electroencephalographic signature predicts antidepressant response in major depression

[J]. Nature Biotechnology, 2020,38(4): 439-447.

[本文引用: 1]

KATSIGIANNIS S , RAMZAN N .

DREAMER:a database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices

[J]. IEEE Journal of Biomedical and Health Informatics, 2017,22(1): 98-107.

[本文引用: 2]

SHEN X K , HU X , LIU S Z ,et al.

Exploring EEG microstates for affective computing:decoding valence and arousal experiences during video watching

[C]// Proceedings of the 2020 42nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway:IEEE Press, 2020: 841-846.

[本文引用: 2]

/