%A 刘栋军, 王宇涵, 凌文芬, 彭勇, 孔万增 %T 基于脑机协同智能的情绪识别 %0 Journal Article %D 2021 %J 智能科学与技术学报 %R 10.11959/j.issn.2096-6652.202107 %P 65-75 %V 3 %N 1 %U {https://www.infocomm-journal.com/znkx/CN/abstract/article_171216.shtml} %8 2021-03-15 %X

面部表情识别是一种直接、有效的情绪识别模式。机器学习可以对图像表情进行形式化表征,但由于缺乏大脑的认知表征能力,在小样本数据集或复杂表情(伪装)数据集上的识别性能并不理想。针对此问题,将机器人工智能的形式化表征与人脑通用智能的情感认知能力结合,提出一种基于脑机协同智能的情绪识别方法。首先,从脑电图信号中提取脑电情感特征,以获取大脑对情绪的认知表征。其次,从情感图像中提取图像的视觉特征,以获取机器对情绪的形式化表征。为了增强机器模型的泛化能力,在特征学习中引入样本间的迁移适配。在得到图像视觉特征和脑电情感特征后,采用随机森林回归模型训练得到图像视觉特征与脑电情感特征之间的脑机映射关系。测试图像的图像视觉特征经过脑机映射关系产生虚拟脑电情感特征,然后将虚拟脑电情感特征与图像视觉特征进行融合,用于情绪识别。该方法已经在中国面孔表情图片系统上进行了验证,发现对7种情绪的平均识别准确率为88.51%,相比单纯基于图像的方法,提升了3%~5%。