基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究

doi:10.11959/j.issn.1000-436x.2017294

通信学报 ›› 2017, Vol. 38 ›› Issue (12): 109-120.doi: 10.11959/j.issn.1000-436x.2017294

基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究

李幼军^1,^2,³,黄佳进^1,^2,³,王海渊^1,^2,³,钟宁^1,^2,^3,⁴

¹ 北京工业大学国际WIC研究院，北京 100124
² 磁共振成像脑信息学北京市重点实验室，北京 100124
³ 脑信息智慧服务北京市国际科技合作基地，北京 100124
⁴ 北京未来网络科技高精尖创新中心，北京 100124

修回日期:2017-11-23 出版日期:2017-12-01 发布日期:2018-01-19
作者简介:李幼军（1978-），男，河南栾川人，北京工业大学博士生，主要研究方向为生物信号分析、机器学习及情感计算等。|黄佳进（1977-），男，贵州遵义人，博士，北京工业大学助理研究员，主要研究方向为人工智能、推荐系统等。|王海渊（1981-），男，山西朔州人，博士，北京工业大学工程师，主要研究方向智能传感器、人工智能、智慧医疗系统的开发等。|钟宁（1956-），男，北京人，北京工业大学教授、博士生导师，主要研究方向为人工智能、Web智能、脑信息学、知识发现与数据挖掘、粒计算等。
基金资助:
国家自然科学基金资助项目(61420106005）);国家重点基础研究发展计划基金资助项目(2014CB744600);国家国际科技合作专项基金资助项目(2013DFA32180)

Study of emotion recognition based on fusion multi-modal bio-signal with SAE and LSTM recurrent neural network

You-jun LI^1,^2,³,Jia-jin HUANG^1,^2,³,Hai-yuan WANG^1,^2,³,Ning ZHONG^1,^2,^3,⁴

¹ Institute of International WIC，Beijing University of Technology，Beijing 100124，China
² Beijing Key Laboratory of Magnetic Resonance Imaging and Brain Informatics，Beijing 100124，China
³ Beijing International Collaboration Base on Brain Informatics Wisdom and Services，Beijing 100124，China
⁴ Beijing Advanced Innovation Center for Future Internet Technology，Beijing 100124，China

Revised:2017-11-23 Online:2017-12-01 Published:2018-01-19
Supported by:
The National Natural Science Foundation of China(61420106005）);The National Basic Research Program of China(2014CB744600);The International Science＆Technology Cooperation Program of China(2013DFA32180)

摘要/Abstract

摘要：

为了提高情感识别的分类准确率，提出一种将栈式自编码神经网络（SAE）和长短周期记忆单元循环神经网络（LSTM RNN）融合的多模态融合特征情感识别方法。该方法通过SAE对不同模态的生理特征进行信息融合和压缩，随后用LSTM RNN对长时间周期的融合进行情感分类识别。通过将该方法用到开源数据集中进行验证，得到情感分类准确率达到0.792 6。实验结果表明，SAE对多模态生理特征进行了有效融合，LSTM RNN能够有效地对长时间周期中的关键特征进行识别。

关键词: 多模态生理信号情感识别, 栈式自编码神经网络, 长短周期记忆循环神经网络, 多模态生理信号融合

Abstract:

In order to achieve more accurate emotion recognition accuracy from multi-modal bio-signal features，a novel method to extract and fuse the signal with the stacked auto-encoder and LSTM recurrent neural networks was proposed.The stacked auto-encoder neural network was used to compress and fuse the features.The deep LSTM recurrent neural network was employed to classify the emotion states.The results present that the fused multi-modal features provide more useful information than single-modal features.The deep LSTM recurrent neural network achieves more accurate emotion classification results than other method.The highest accuracy rate is 0.792 6

Key words: multi-modal bio-signal emotion recognition, stacked auto-encoder neural network, LSTM recurrent neural network, multi-modal bio-signals fusion

中图分类号:

TP181，TP183

李幼军,黄佳进,王海渊,钟宁. 基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究[J]. 通信学报, 2017, 38(12): 109-120.

You-jun LI,Jia-jin HUANG,Hai-yuan WANG,Ning ZHONG. Study of emotion recognition based on fusion multi-modal bio-signal with SAE and LSTM recurrent neural network[J]. Journal on Communications, 2017, 38(12): 109-120.

图/表 14

表1

图1

表2

表3

图2

图3

图4

图5

表4

表5

表6

图6

表7

表8

参考文献 25

[1]	聂聃, 王晓韡, 段若男 ,等. 基于脑电的情绪识别研究综述[J]. 中国生物医学工程学报, 2012,31(4): 595-606.
	NIE D , WANG X H , DUAN R N ,et al. A survey on EEG based emotion recognition[J]. Journal of Biomedical Engineering, 2012,31(4): 595-606.
[2]	JONGHWA K , ANDRE E . Emotion recognition based on physiological changes in music listening[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008,30: 2067-2083.
[3]	赵力, 钱向民, 邹采荣 ,等. 语音信号中的情感识别研究[J]. 软件学报, 2001,12(7): 1050-1055.
	ZHAO L , QIAN X M , ZOU C R ,et al. A study on emotional recognition in speech signal[J]. Journal of Software, 2001,12(7): 1050-1055.
[4]	林奕琳, 韦岗, 杨康才 . 语音情感识别的研究进展[J]. 新能源进展, 2007,12(1): 90-98.
	LIN Y L , WEI G , YANG K C . A survey of emotion recognition in speech[J]. Journal of Circuits and Systems, 2007,12(1): 90-98.
[5]	赵腊生, 张强, 魏小鹏 . 语音情感识别研究进展[J]. 计算机应用研究, 2009,26(2): 34-38.
	ZHAO L S , ZHANG Q , WEI X P . Survey on speech emotion recognition[J]. Application Research of Computers, 2009,26(2): 34-38.
[6]	OTHMAN M , WAHAB A , KARIM I ,et al. EEG emotion recognition based on the dimensional models of emotions[J]. Procedia-Social and Behavioral Sciences, 2013,97(2): 30-37.
[7]	陈曾, 刘光远 . 脑电信号在情感识别中的应用[J]. 计算机工程, 2010,36(9): 168-170.
	CHEN Z , LIU G Y . Application of EEG signal in emotion recognition[J]. Computer Engineering, 2010,36(9): 168-170.
[8]	张栋, 陈东伟, 游雅 ,等. 基于自适应Lempel-Ziv复杂度的情感脑电信号特征分析[J]. 计算机应用与软件, 2014(9): 162-165.
	ZHANG D , CHEN D W , YOU Y ,et al. Analyzing emotional EEG signals feature based on adaptive LEMPEL-ZIV complexity[J]. Computer Applications and Software, 2014(9): 162-165.
[9]	UPASANA T , SHYAMANTA M H . Estimation of mental fatigue during EEG based motor imagery[C]// IHCI 2016:Intelligent Human Computer Interaction. 2016: 122-132.
[10]	BAJAJ V , PACHORI R B . Detection of human emotions using features based on the multiwavelet transform of EEG signals[M]. Springer International Publishing, 2015: 215-240.
[11]	HOSSEINI S A , NAGHIBISISTAN M B . Emotion recognition method using entropy analysis of EEG signals[J]. International Journal of Image Graphics＆Signal Processing, 2011,3(5): 30-36.
[12]	王凯明, 钟宁, 周海燕 . 基于改进功率谱熵的抑郁症脑电信号活跃性研究[J]. 物理学报, 2014,63(17): 178701-178701.
	WANG K M , ZHONG N , ZHOU H Y . Activity analysis of depression electroencephalogram based on modified power spectral entropy[J]. Acta Phys Sin, 2014,63(17): 178701-178701.
[13]	KREIBIG S D . Autonomic nervous system activity in emotion:a review[J]. Biological Psychology, 2010,84(3): 394-421.
[14]	KOELSTRA S , MUHL C , SOLEYMANI M ,et al. DEAP:a database for emotion analysis; using physiological signals[J]. IEEE Transactions on Affective Computing, 2012,3(1): 18-31.
[15]	PAUL E . An argument for basic emotions[J]. Cognition and emotion, 1992,6(3/4): 169-200.
[16]	POSNER J , RUSSELL J A , PETERSON B S . The circumplex model of affect:an integrative approach to affective neuroscience,cognitive development,and psychopathology[J]. Development and Psychopathology, 2005,17(3): 715-734.
[17]	ZHANG P , MA X , ZHANG W ,et al. Multimodal fusion for sensor data using stacked autoencoders[C]// IEEE Tenth International Conference on Intelligent Sensors,Sensor Networks and Information Processing. 2015.
[18]	HOCHREITER S , SCHMIDHUBER J . Long short-term memory[J]. Neural Computation, 1997,9(8): 1735-1780.
[19]	HUANG N E , SHEN Z , LONG S R ,et al. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[J]. The Royal Society, 1998,454(1971): 903-995.
[20]	AGRAFIOTI F , HATZINAKOS D , ANDERSON A K . ECG pattern analysis for emotion detection[J]. IEEE Transactions on Affective Computing, 2012,3(1): 102-115.
[21]	BAILENSON J N , PONTIKAKIS E D , MAUSS I B ,et al. Real-time classification of evoked emotions using facial feature tracking and physiological responses[J]. International Journal of Human-Computer Studies, 2008,66(5): 303-317.
[22]	LISETTI C L , NASOZ F . Using noninvasive wearable computers to recognize human emotions from physiological signals[J]. Eurasip Journal on Advances in Signal Processing, 2004,2004(11): 1672-1687.
[23]	FLEUREAU J , GUILLOTEL P , QUAN H T . Physiological-based affect event detector for entertainment video applications[J]. IEEE Transactions on Affective Computing, 2012,3(3): 379-385.
[24]	CHUNG S Y , YOON H J . Affective classification using Bayesian classifier and supervised learning[C]// International Conference on Control,Automation and Systems. 2012: 1768-1771.
[25]	LI X , SONG D , ZHANG P ,et al. Emotion recognition from multi-channel EEG data through Convolutional Recurrent Neural Network[C]// IEEE International Conference on Bioinformatics and Biomedicine. 2017: 352-359.

提出者	情感种类	基本情感
Paul	6种	生气、厌恶、害怕、高兴、悲伤、吃惊
Parrot	6种	生气、害怕、高兴、喜爱、悲伤、吃惊
Frijda	6种	渴望、高兴、感兴趣、吃惊、惊奇、悲伤
Plutchik	8种	接纳、生气、期望、厌恶、快乐、害怕、悲伤、吃惊
Tomkins	9种	生气、感兴趣、轻蔑、厌恶、悲痛、害怕、高兴、害羞、吃惊

情感分类标签	样本个数
HVHA	348
LVHA	298
LVLA	282
HVLA	352
合计	1 280

分类	HVHA	LVHA	LVLA	HVLA
效价	1.634 35	?1.108 59	?2.324 97	1.185 36
唤醒度	2.127 02	1.267 37	?1.596 66	?1.896 65

生理信号类型（维数）	特征值及描述
脑电信号（EEG）特征值（32×5×60）	32导脑电数据× 60 s×5层IMF提取的PSD 特征值
眼电信号（EOG）特征值（4×60）	4个测量点×60信号能量特征值
肌电信号（EMG）特征值（2×60）	斜方肌肌电1×60、颧肌肌电1×60信号能量特征值
皮肤电信号（GSR）特征值（1×60）	1×60 0～2.4 Hz功率谱能量特征值

生物信号类别	输入层宽度	第一隐藏层宽度	第二隐藏层宽度
脑电信号	160	80
眼电信号	4	2	64
肌电信号	2	1	64
皮肤电信号	1	1

基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究

Study of emotion recognition based on fusion multi-modal bio-signal with SAE and LSTM recurrent neural network

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 25

相关文章 15

Metrics

推荐阅读 0

信号类型	准确率	F1得分
皮肤电信号、眼电信号和肌电信号特征	0.543 7	0.528 7
脑电信号特征	0.762 3	0.744 8
多模态融合信号	0.792 6	0.768 2

分类方法	特征提取时间窗口时长
分类方法	1s	2s	3s	4s	5s	10 s	60 s
Complex Tree	0.413 2	0.453 4	0.432 3	0.477 2	0.519 1	0.512 3	0.511 2
KNN	0.423 2	0.463 4	0.482 3	0.527 2	0.549 1	0.572 3	0.531 2
SVM	0.637 2	0.651 0	0.672 1	0.641 0	0.628 1	0.665 7	0.626 0
RNN	0.572 1	0.558 2	0.543 9	0.551 3	0.533 7	0.521 7	0.501 0
LSTM RNN	0.594 3	0.648 9	0.792 6	0.755 6	0.683 4	0.678 1	0.507 5

主要研究者	情感刺激媒体	识别情感类型	被测试个数	生理信号种类	数据分析方法	正确率
Agrafioti	视频，游戏	正负唤醒度和效价	44	心电信号	EMD	正向唤醒度：0.784 3负向唤醒度：0.524 1留一交叉验证
Bailenson	视频	有趣、悲伤、平静	41	脸部表情、心电、皮肤电传导、体细胞活性	WEKA 数据分析平台中的相关分析方法	对于有趣情感类型，结合脸部表情和生理信号识别率达到0.90二折交叉验证
Lisetti	电影片段数学难题	悲伤、气氛、害怕、吃惊、挫败、有趣	29	皮肤电反应、心率、体温	KNN	对于不同的情感类型识别率0.704～0.809留一交叉验证
Fleureau	视频片段声音片段	事件判定、效价判定	10	皮肤电反应、肌电	高斯函数	对效价的最好分类达到0.854 1二折交叉验证
Chung	视频片段	唤醒度、效价、喜欢程度	32	脑电、肌电、皮肤电、血压、体温、呼吸	Bayes classifier	0.666效价0.664唤醒度
Li	视频片段	唤醒度、效价、喜欢程度	32	脑电、肌电、皮肤电、血压、体温、呼吸	CNN+RNN	0.720 6效价0.741 2唤醒度
Koelstra	视频片段	唤醒度、效价、喜欢程度	32	脑电、肌电、皮肤电、血压、体温、呼吸	Single-trial Classification	0.616～0.647

[1]	钱榕, 许建婷, 张克君, 董宏宇, 邢方远. 隐马尔可夫模型的异质网络链接预测方法研究[J]. 通信学报, 2022, 43(5): 214-225.
[2]	顾亦然, 姚朱鹏, 杨海根. 融合注意力胶囊的深度因子分解机模型[J]. 通信学报, 2021, 42(10): 130-139.
[3]	顾秋阳, 吴宝, 孙兆洋, 池仁勇. 基于改进灰狼优化的复杂网络重要节点识别算法[J]. 通信学报, 2021, 42(6): 72-83.
[4]	杨晓晖,刘晓明. 基于双向邻居修正的局部异常因子算法[J]. 通信学报, 2020, 41(8): 130-140.
[5]	徐丰力,李勇. 城市环境下的用户移动行为建模概述[J]. 通信学报, 2020, 41(7): 18-28.
[6]	顾纯祥,吴伟森,石雅男,李光松. 基于自编码器的未知协议分类方法[J]. 通信学报, 2020, 41(6): 88-97.
[7]	邱飞岳,陈博文,陈铁明,章国道. 稀疏诱导流形正则化凸非负矩阵分解算法[J]. 通信学报, 2020, 41(5): 84-95.
[8]	闫光辉, 张萌, 罗浩, 李世魁, 刘婷. 融合高阶信息的社交网络重要节点识别算法[J]. 通信学报, 2019, 40(10): 109-118.
[9]	吴宾,陈允,孙中川,叶阳东. 联合成对排序的物品推荐模型[J]. 通信学报, 2019, 40(9): 193-206.
[10]	杨晓晖,张圣昌. 基于多粒度级联孤立森林算法的异常检测模型[J]. 通信学报, 2019, 40(8): 133-142.
[11]	殷晓玲,陈晓江,夏启寿,何娟,张鹏艳,陈峰. 基于智能手机内置传感器的人体运动状态识别[J]. 通信学报, 2019, 40(3): 157-169.
[12]	刘浩然,丁攀,郭长江,常金凤,崔静闯. 基于贝叶斯算法的中文垃圾邮件过滤系统研究[J]. 通信学报, 2018, 39(12): 151-159.
[13]	张俐,王枞. 基于最大相关最小冗余联合互信息的多标签特征选择算法[J]. 通信学报, 2018, 39(5): 111-122.
[14]	康岚兰,董文永,宋婉娟,李康顺. 无惯性自适应精英变异反向粒子群忧化算法[J]. 通信学报, 2017, 38(8): 66-78.
[15]	章鹏,刘全,钟珊,翟建伟,钱炜晟. 增量式双自然策略梯度的行动者评论家算法[J]. 通信学报, 2017, 38(4): 166-177.